数据质管卫士(Ottomi-Guardian)

2025-01-08

149
0

一句话优势

以DAMA规范为指导,全面掌握数据质量状况。

 

系统价值

自动检测表结构和数据内容,全面了解数据质量。

按单位形成详细的质量报告。

支持全库或多表扫描表结构,可选择不同规则逐一检查字段数据质量。

典型用户

政府委办局、各行业企业,期望了解数据质量,形成详尽的质检报告的用户。

 

解决用户痛点

1、数据治理标准化:缺乏统一的数据治理框架和流程,导致管理效率低下。

2、数据安全与合规性:在数据质检过程中,确保数据安全和合规性面临挑战。

3、实时数据处理需求:对实时数据质量监控的需求日益增加,现有能力不足。

4、数据质量指标不统一:不同部门对数据质量的定义和指标存在差异,影响沟通和管理。

5、数据质量文化缺失:企业对数据质量的重视程度不足,缺乏良好的数据质量文化。

6、技术集成难度:不同数据管理工具和系统之间的集成复杂,影响整体效率。

7、人工质检效率低:依赖人工质检效率低且容易出错,急需自动化工具。

8、数据生命周期管理不足:数据在各阶段的管理不完善,影响数据质量的持续性。

通过关注这些关键痛点,企业可以有效提升数据质量管理水平,支持更好的业务决策。

产品优点

1、规则丰富:系统内嵌多种技术质检规则和业务检查规则,并支持规则自定义。

2、报告详实:多维度的检查报告,支持自定义报告。

3、批量检查:可以按机构、按照库、指定表多种方式检查。

4、兼容性强:兼容广泛的数据库类型。

5、内置并行计算引擎:提升大规模并行质检的性能,降低对数据库的压力。

典型功能

1、简便易懂的操作界面。

2、全库自动检查表结构质量,如表非空、有时间戳、注释齐全、有主键、有重复数据、引用完整性、最后更新时间。

3、自带丰富的字段规则库,符合DAMA数据质检规范中的:准确性(Accuracy)完备性(Completeness)一致性(Consistency)完整性(Integrity)合理性(Reasonability)及时性(Timeliness)唯一性/数据去重(Uniqueness/Deduplication)有效性。

4、丰富的统计图表展示。

5、可以将脏数据管理和数据清洗模块联动,实现自动化质检和清洗的功能。

6、批量导入或自定义质检规则。

 

应用场景

1、数据质量考核:实现对各机构源数据质量的自动检查,自定义数据质量报告模板,自动对各机构数据质量考核评分。

2、数据清洗:数据清洗前,先要把握数据质量情况,长期有效地自动检查数据质量,并形成详细的质量报告。数据中心以此可以反馈给数据源部门。

3、数据标准建设:通过数据质量检测报告,逐步建立数据质量规范,形成机构数据标准。

4、数据分层:实现ODS、DWD等分层,通常ODS是保持与源数据一致,用于溯源和质量检测,而DWD层数据是经过质量筛选的干净数据。

图1-功能架构图

质检流程.jpg

图2-质检流程图