分布式编目归集系统（Ottomi-Atlas）

1、数据安全边界：明确大数据中心与各单位之间的数据安全边界，厘清各方责任，降低数据泄露风险。

2、缓冲区作用：作为数据编目与归集的过渡缓冲区，避免对各单位生产系统的直接影响，增强系统的灵活性。

3、数据推送机制：促使各单位主动“推送”数据，而非被动抽取，增强数据共享的自愿性和透明度。

4、编目与合规性：通过编目系统摸清数据底数，确保数据共享符合国务院有关规范，提供“不予共享”数据的法律依据。

5、共享分类：为大数据中心提供“有条件共享”和“无条件共享”数据的清晰视图，便于后续的数据归集工作。

6、安全责任：大数据中心承担前置机系统的运维及数据安全责任，确保数据在存储和传输过程中的加密保护，维护数据的机密性和完整性。

综上所述，前置机数据编目归集系统为数据共享提供了安全、合规和高效的解决方案，促进了各单位与大数据中心之间的合作与信任。

政府数据局、委办局、各行业企业，期望摸清数据资产家底和集中数据的用户。

1、针对机构隐瞒申报数据目录和数据资产的现象，采用自动化编目手段，彻底理清数据资产。

2、提供向导式数据采集工具，一键采集全库或批量数据，极大减轻各单位操作负担。

3、通过库表接口对接、库表增量抽取、CDC同步、文件导入、数据填报等多种方式采集数据，兼容异构数据库和不同版本，适应各种复杂的场景。

1、全息排查：系统能够全面、彻底地摸排和管理数据资产目录，确保所有数据资源都被识别，全面了解数据资产的分布和状态，减少数据孤岛现象。

2、合规要求：系统依据国务院政务信息资源共享的要求进行数据分类和管理，确保组织在数据使用和共享的合规性，降低法律风险，提升数据治理能力。

3、自动统计：提供多维度的统计功能，自动生成各机构的数据编目发布和共享情况报告，帮助管理层实时了解数据资源的使用情况和共享效率，为决策提供数据支持。

4、弹性扩充能力：分布式系统具备弹性扩充的能力，可以根据业务需求的变化灵活地增加或减少资源，支持大规模数据处理和存储，确保系统在高负载情况下依然能够稳定运行。

5、高可用性：系统采用分布式架构，具备容错能力和负载均衡机制，确保在部分节点故障的情况下，系统仍能保持高可用性，保障数据服务的连续性。

6、实时数据访问：通过分布式数据管理，用户能够快速访问所需数据，支持实时数据分析和决策，提升业务响应速度。

7、安全性：系统设计考虑到数据安全性，支持多层次的安全机制，包括数据加密、访问控制和审计日志，确保数据在存储和传输过程中的安全性，降低数据泄露风险。

8、灵活的数据模型：系统支持多种数据模型和格式的存储，能够适应不同类型的数据需求，包括结构化、半结构化和非结构化数据，提升数据管理的灵活性。

9、易用性：用户界面友好，操作简单，支持自助式的数据查询和管理，降低了用户的学习成本，提高了数据使用的效率。

10、支持多种数据源：系统能够接入多种类型的数据源，包括数据库、文件系统、API等，提升了数据集成的灵活性和多样性。

11、数据版本控制：系统支持数据的版本管理，能够追踪数据的变化历史，方便用户查看和恢复特定版本的数据，提高数据管理的透明度和可追溯性。

1、数据编目

自动采集数据目录或元数据。

数据目录共享方式（有条件共享、无条件共享、不予共享）管理。

数据目录发布管理。

数据资源与信息项统计，以及变更统计报表。

编目指标发布与考核管理。

2、数据归集

通过集成各类数据库的JDBC驱动程序，实现系统对远程数据库数据类型的自动适配和兼容性处理。

数据归集方式包括：

• 数据填报：通过在线表单配置和模块开发，用户可在线创建和管理表单模型，并实现表单的增删改查功能。支持字段配置，包括字段名称、备注、长度、小数点位数、默认值、类型、主键设置及空值允许性。

• 准实时库表抽取：通过配置归集策略，实现数据的准实时同步。支持根据限制条件自动筛选数据，兼容不同版本数据库的字段类型自动映射，支持增量标识、差异比对及全量替换，具备数据加密和流控限速功能。

• API获取：在线配置和适配源端应用系统的API，自动化实现数据的定时抽取功能。支持加密数据的对接和解密，以及各类复杂的数据接口场景。

• 文件同步：支持文件上传和保存，自动将文件内容存储至数据库中。

• CDC日志同步：实时同步数据库日志，确保目标端数据的即时更新。

自动核对两端数据同步差异，在线查看同步任务状态。

内置读写并行计算引擎，性能卓越。

3，数据安全

支持https数据传输，以及数据加密存放。

通过多租户体系，保障数据隔离。

1、快速寻找目标数据：通过集中管理集团所有数据目录信息，用户可以根据字段描述快速定位所需数据源，提升数据检索效率。

2.、公共数据目录编制：编制并维护集团核心数据目录，形成统一的数据资产库。依据国务院信息资源共享管理暂行办法，推动数据目录的共享与发布，促进跨部门和跨机构的数据协作。

3、“黑暗数据”梳理：随着应用系统的增加和数据分析需求的提升，机构内部产生大量“黑暗数据”。为了遵循《通用数据保护条例》和《数据安全法》，需要对这些数据进行识别和分类，明确哪些是可用数据，哪些是受限数据，从而降低潜在的合规风险。

4、三清单制定：制定需求清单、责任清单和负面清单，明确数据使用需求、相关责任和禁止使用的数据类型，确保数据管理的规范性和透明度。

5、数据迁移：支持将数据从多个源系统迁移至目标系统或数据湖，确保数据在迁移过程中的完整性和一致性，提升数据整合效率。

6、建立数据湖：构建一个集中化的数据湖，支持海量数据的存储和管理，便于后续的数据分析挖掘和利用，促进数据驱动决策。

7、数据质量监控与治理：持续监控数据质量，实施数据治理措施，确保数据的准确性、一致性和可靠性，提升数据的使用价值。

8、合规性与审计支持：系统提供全面的数据追踪和审计功能，确保数据使用符合相关法规要求。

9、数据共享与协作：通过数据编目与归集系统，促进不同部门和业务单位之间的数据共享与协作，提升整体数据利用效率，推动业务创新。