一、概述

数据质管卫士（Ottomi-Guardian） 是一款专注于数据质量管理的工具，旨在帮助企业或机构发现、分析和提升数据质量问题。通过制定数据质量规则、监控数据状态、生成质量报告等功能，确保数据在业务运行、管理和决策中的可靠性与准确性。

二、核心功能模块

1. 数据质量管理组织架构

1.1 数据质量管理领导小组

  • 职责：
    • 审批数据质量管理相关办法、流程和规范。
    • 协调与决策数据质量管理的重大事项。
    • 定期听取工作小组关于数据质量管理工作的汇报。

1.2 数据质量工作小组

  • 职责：
    • 组织、推动和协调数据质量管理相关工作。
    • 汇报重大事项，提出重要决策建议。

1.3 数据质量管理部门

  • 职责：
    • 起草数据质量管理相关办法、流程和规范。
    • 制定数据质量度量规则及检核方法模板。
    • 分析数据质量问题，编写提升需求报告。
    • 提出数据质量管理工具需求及考核方案建议。

2. 数据质量问题管理

2.1 数据质量问题发现

  • 方式：
    • 使用数据质量工具，根据预设的度量规则进行自动检核。
    • 发现问题后生成数据质量问题报告。

2.2 数据质量问题分析

  • 内容：
    • 分析问题原因，包括业务流程、操作规范性、管理制度及IT系统需求等。
    • 提交数据质量提升需求至数据质量管理部门。

2.3 数据质量提升

  • 方式：
    • 使用数据质量提升工单系统执行改进任务。
    • 数据质量管理部门评估和检查提升结果，并编写总结报告。

3. 数据质量度量规则管理

3.1 度量规则制定

  • 依据：
    • 已发布的数据标准。
    • 业务运行、管理和决策需求。
    • 外部监管及政策法规要求。

3.2 规则维护

  • 数据质量管理部门负责管理和维护度量规则及检核方法。

4. 数据质量管理工具

4.1 数据稽查工具

  • 功能：
    • 收集和分析数据质量问题。
    • 形成各类数据质量报告。

4.2 数据标准管理工具

  • 功能：
    • 管理和维护数据标准，确保数据一致性。

4.3 数据质量提升工具

  • 功能：
    • 自动化处理数据质量问题。
    • 提供工单系统支持，跟踪提升进度。

4.4 工作流调度工具

  • 功能：
    • 自动化调度数据质量管理任务。
    • 实现任务的分配、执行和监控。

5. 数据质量维度评估

5.1 准确性（Accuracy）

  • 数据值与真实值的一致程度。
  • 测量依赖于与已验证为准确的数据源的比较。

5.2 完备性（Completeness）

  • 存储数据量与潜在数据量的百分比。
  • 数据应覆盖所有相关方面。

5.3 一致性（Consistency）

  • 数据在不同系统或时间点之间的一致性。

5.4 完整性（Integrity）

  • 数据结构和内容的完整性，无缺失或错误。

5.5 合理性（Reasonableness）

  • 数据符合逻辑和业务规则的程度。

5.6 及时性（Timeliness）

  • 数据更新是否满足业务需求的时间要求。

5.7 唯一性/去重（Uniqueness/De-duplication）

  • 数据记录的唯一性，避免重复。

5.8 有效性（Validity）

  • 数据是否符合定义的标准或格式。

质检规则通常会涉及到单列、跨列、单行、跨行。如下是集中特性的举例：

img

​ 图-质量维度与行列关系

三、系统特点

1. 高效性

  • 自动化工具减少人工干预，提升问题发现和解决效率。

2. 全面性

  • 覆盖数据质量的多个维度，确保全方位评估。

3. 可视化

  • 提供数据质量报告和图表展示，便于直观分析。

4. 灵活性

  • 支持自定义度量规则和提升方案，适应不同业务需求。

5. 安全性

  • 符合国家《密码法》要求，支持SM4算法加解密。

四、适用场景

1. 数据治理

  • 用于企业或机构内部的数据质量管理，提升数据价值。

2. 业务运营

  • 确保业务数据的准确性、完整性和一致性，支撑高效决策。

3. 合规审计

  • 满足外部监管及政策法规要求，降低合规风险。

4. 数据迁移

  • 在数据迁移过程中发现和修复质量问题，保证数据一致性。