一、概述

数据资产管家（Ottomi-Vault ） 是一个全面的数据管理工具，旨在帮助企业实现数据的高效整合、管理和利用。它通过统一连接管理、数据分层、元数据管理、血缘分析等功能，提升数据质量和可发现性，支持数据分析和决策制定。

二、核心功能模块

1. 数据连接管理

  • 功能描述：通过添加不同数据库的JDBC驱动程序，系统可以连接源端数据库、数据湖、数仓或前置机等。
  • 支持的数据库类型：
    • 关系型数据库：MySQL、SQLServer、Oracle、PostgreSQL、达梦、人大金仓等。
    • 非关系型数据库：Hive、HBase、MongoDB、Elasticsearch等。
  • 操作功能：
    • 在线测试连接状态。
    • 编辑/删除连接信息。
    • 兼容不同类型和版本的数据库。

2. 数据分层管理

  • 功能描述：将数据分为多个层次，确保数据有序流转，减少重复开发，统一数据口径。
  • 分层结构：
    1. 源数据层（DB）：包括关系型数据库、非关系型数据库及文件形式存在的数据。
    2. 操作数据存储层（ODS）：贴源层，直接沿用外围系统数据结构和数据，不对外开放。
    3. 数据仓库层（DW/EDW）：
      • 数据明细层（DWD）：存储最细粒度的事实数据。
      • 轻度汇总层（MID/DWB）：用于中间统计需要的小型聚合表。
      • 主题层/数据服务层（DWS）：针对业务领域的宽表数据。
    4. 数据集市层/应用层（DM）：前端应用直接读取的数据库。
    5. 维表层：包含高基数维度数据（如用户资料表）和低基数维度数据（如配置表）。

3. 元数据管理

  • 功能描述：对数据的结构、内容、上下文和管理规则进行描述，提升数据的可发现性和管理效率。
  • 主要功能：
    • 元数据采集：
      • 支持推、拉、异步和同步模型。
      • 自动获取策略和调度时间配置。
    • 元数据维护：
      • 包括定义、变更及版本管理。
      • 管控主机信息、数据库信息、用户信息、数据对象信息等。
    • 元数据检索：
      • 提供全文检索功能，快速查找表名、字段名、指标名等信息。
    • 元数据查看：
      • 树状结构展示数据库表及衍生加工的指标、标签、API等信息。
    • 分类分级标签：
      • 自动生成或人工绑定分类分级标签，并通过血缘关系扩散到关联字段。
    • 元数据统计：
      • 提供可视化分析页面，展示元数据对象数量、分布、同步情况等。

4. 数据血缘分析

  • 功能描述：追踪数据从源头到最终使用的全过程，明确数据的来源、传输方式及影响范围。
  • 主要功能：
    • 展示数据的机构、应用系统、所属数据库、创建时间等信息。
    • 手动绑定表与表之间的从属关系。
    • 分析上下游数据的影响关系。

5. 版本管理

  • 功能描述：记录元数据的历史变更，支持版本发布和比对。
  • 主要功能：
    • 元数据对象版本管理：每次提交形成一个版本，提供历史版本对比功能。
    • 基线版本管理：对某一阶段产生的元数据对象形成数据集，支持不同阶段的数据集版本比较。

6. 数据标准管理

  • 功能描述：建立一套统一的数据标准，规范数据定义、分类、格式、编码等，确保数据的一致性和准确性。
  • 主要功能：
    • 业务代码标准：定义参考数据或自定义标准，如行政区划代码、语种名称代码等。
    • 数据元标准：详细定义每个字段的业务属性和技术属性。
    • 标准执行流程：包括标准规划与申请、标准制定、标准审核发布、标准落地执行、标准评估改进。

7. 资源透视

  • 功能描述：提供实时查询和管理接入的源端目标端数据的功能。
  • 主要功能：
    • SQL引擎查询数据。
    • 一键美化SQL。
    • 页面数据查询排序查看。
    • 仅开放给管理员使用，不与分类分级权限关联。

三、应用场景

数据资产管家（Ottomi-Vault） 通过标准化、高效性、灵活性、可视化和安全性特点，确保企业能够高效管理和利用数据资源。其自动化功能、可视化分析页面及灵活的数据治理配置，使得企业能够更科学、严谨地进行数据管理和决策，实现数据资产的最大化应用。

1. 多源数据连接与管理

应用场景：企业需要管理多个数据源，且这些数据源类型多样，包括关系型数据库、非关系型数据库和数据湖等，需要统一连接管理、维护和监控这些数据源。

使用功能：数据连接管理模块支持添加不同数据库的JDBC驱动程序，兼容常见类型和版本的数据库（如MySQL、SQLServer、Oracle、PostgreSQL、达梦、人大金仓等关系型数据库，以及Hive、HBase、MongoDB、Elasticsearch等非关系型数据库）。通过在线测试连接状态、编辑/删除连接信息的操作，确保数据源的高效连接与管理。

2. 数据分层管理与治理

应用场景：企业需处理大量多源数据，并希望依据数据的重要性、处理阶段等分层管理，形成规范的数据治理体系，减少重复开发，统一数据口径。

使用功能：数据分层管理模块将数据分为源数据层、操作数据存储层、数据仓库层、数据集市层和维表层，每个层次针对数据管理的不同需求，确保数据在不同阶段有序流转，提升数据治理效率。

3. 全面的元数据管理

应用场景：企业需要对数据的结构、内容、上下文和管理规则进行全面描述和管理，以提升数据的可发现性和利用效率。

使用功能：元数据管理模块提供元数据采集（支持推、拉、异步和同步模型），元数据维护（包括定义、变更及版本管理），元数据检索（提供全文检索功能），元数据查看（树状结构展示），以及元数据统计（可视化分析页面），帮助企业全面管理和利用数据资源。

4. 数据血缘分析与追踪

应用场景：企业在数据处理和使用过程中，需要追踪数据的来源和传输过程，以明确数据的完整血缘关系，确保数据使用的可靠性和可追溯性。

使用功能：数据血缘分析模块通过展示数据的机构、应用系统、所属数据库、创建时间等信息，手动绑定表之间的从属关系，分析上下游数据的影响关系，帮助企业全面追踪和分析数据的血缘关系。

5. 数据版本管理

应用场景：企业需要记录和管理元数据的历史变更，支持版本发布和比对，确保重要数据变更有据可查，便于数据的改进和追踪。

使用功能：版本管理模块包括元数据对象版本管理（每次提交形成一个版本，提供历史版本对比功能），基线版本管理（对某一阶段产生的元数据对象形成数据集，并支持不同阶段的数据集版本比较）。

6. 数据标准管理与执行

应用场景：企业需要建立一套统一的数据标准，规范数据的定义、格式、编码等，确保数据的一致性和准确性，提升数据管理效率。

使用功能：数据标准管理模块提供业务代码标准（定义参考数据或自定义标准，如行政区划代码、语种名称代码等），数据元标准（详细定义每个字段的业务属性和技术属性），标准执行流程（包括标准规划与申请、标准制定、标准审核发布、标准落地执行、标准评估改进），帮助企业建立和执行统一的数据管理标准。

综合应用场景分析

数据资产管家（Ottomi-Vault） 通过全面的数据连接与管理、数据分层治理、元数据管理、数据血缘分析、版本管理和数据标准管理等功能模块，能够广泛适用于多种业务环境和行业，包括但不限于以下几类：

  1. 金融行业：帮助金融机构管理各类结构化和非结构化数据，提升数据质量，确保金融数据的安全和可追溯性。
  2. 制造业：在智能制造过程中，通过数据分层管理和血缘分析，优化生产流程，提高整体生产效率。
  3. 零售和电子商务：统一管理和整合来自不同数据源的客户、销售和库存数据，提升数据利用率，支持业务运营和市场决策。
  4. 医疗和健康：管理病人的多源数据，通过统一的数据治理、版本控制和标准管理，提升医疗数据的可信度和使用效率。
  5. 公共服务和政务：整合管理各类民生数据，通过数据血缘分析和标准管理，增强数据治理能力，提高公共服务和行政效率。
  6. 科技与互联网：管理复杂的用户行为数据和技术数据，通过优化数据流程和标准管理，提升数据驱动的产品及服务创新能力。