一、概述
奥腾数据中台(Ottomi-Nexus) 是全链路自动化数据处理和数据服务的协同平台,功能包含了前置机数据编目与归集、数据标准管理、数据质量管理、数据清洗、数据沙箱、数据开发、数仓建模等数据处理、数据分类分级、资产管理、申请流程审批、动态脱敏、数据接口服务、数据订阅与推送、数据授权、数据分析、数据共享服务等。数据协同体现在基于统一身份认证的部门数据管控与授权、基于多租户体系的跨业务系统的数据流动、多人协同的开发建模管理等。
二、核心功能详解
1. 前置机数据编目与归集
功能描述
前置机负责将分散在各业务系统的数据进行收集和整理,形成统一的数据目录。通过自动化的元数据提取工具,能够快速识别并记录数据来源、结构和内容,生成标准化的数据清单。这一过程不仅提高了数据采集的效率,还为后续的数据治理奠定了基础。
主要特点
- 自动化元数据提取:减少人工干预,提高准确性。
- 实时更新机制:确保数据目录始终反映最新的数据状态。
- 多源数据支持:兼容各种格式和协议的数据源。
2. 数据标准管理
功能描述
数据标准管理模块定义了企业内部数据的标准规范,包括数据类型、字典与格式的统一。通过调研分析、草案制定、范围确定等步骤,最终形成标准化文档。这些文档涵盖了总则、人口、法人、房屋等多个方面,为企业提供了清晰的数据操作指南。
主要特点
- 全面覆盖:涵盖所有关键业务领域。
- 灵活调整:支持根据业务需求动态更新标准。
- 易于理解:文档简洁明了,便于技术人员和非技术人员使用。
3. 数据质量管理
功能描述
数据质量管理模块致力于提升数据的质量和可靠性。通过对数据完整性、一致性、准确性和时效性的监控,及时发现并解决数据质量问题。同时,该模块还提供了丰富的质量评估指标和报告,帮助用户全面了解数据健康状况。
主要特点
- 实时监控:持续跟踪数据质量变化。
- 智能诊断:自动识别潜在问题并提出改进建议。
- 详细报告:生成详尽的质量分析报告,辅助决策。
4. 数据清洗
功能描述
数据清洗模块负责对原始数据进行预处理,去除冗余、错误或不完整的信息,使其符合特定的业务需求。该模块支持多种清洗规则和算法,用户可以根据实际需要定制清洗策略。
主要特点
- 多样化规则:支持复杂的数据清洗逻辑。
- 高效执行:优化算法以加快清洗速度。
- 结果验证:提供清洗前后对比功能,确保效果。
5. 数据沙箱
功能描述
数据沙箱为用户提供了一个安全可控的环境,用于测试和验证新的数据处理方法或模型。在沙箱中,用户可以自由操作数据,而不会影响其他租户数据。
主要特点
- 隔离保护:确保不影响其他租户数据。
- 灵活配置:支持多种场景支持及扩展。
- 快速部署:简化实验环境搭建流程。
6. 数据开发
功能描述
数据开发模块提供了强大的开发工具和支持,帮助用户构建复杂的数据处理流程。支持SQL、Python、Scala等多种编程语言,满足不同层次的开发需求。
主要特点
- 多语言支持:适应多样化的开发需求。
- 组件化设计:便于复用和维护。
- 可视化界面:降低开发门槛,提高效率。
7. 数仓建模
功能描述
数仓建模模块专注于数据仓库的设计和实现,提供从需求分析到模型构建的全流程支持。支持星型、雪花型等多种建模方式,满足不同业务场景的需求。
主要特点
- 专业指导:提供最佳实践建议。
- 灵活扩展:支持模型的动态调整。
- 性能优化:提升查询和存储效率。
8. 数据分类分级
功能描述
数据分类分级模块根据数据的重要性和敏感程度对其进行分类和分级,以便实施差异化的管理和保护措施。通过明确的数据分类分级策略,可以更好地保护企业和用户的隐私。
主要特点
- 精细化管理:根据不同级别采取相应措施。
- 动态调整:支持分类分级标准的更新。
- 合规保障:满足相关法律法规要求。
9. 资产管理
功能描述
资产管理模块对企业的所有数据资产进行全面的登记和管理,包括数据的来源、用途、生命周期等信息。通过资产管理,企业可以更清楚地掌握自身数据资源的整体情况。
主要特点
- 全面登记:覆盖所有数据资产。
- 实时更新:保持资产信息的最新状态。
- 便捷查询:支持多种条件检索。
10. 申请流程审批
功能描述
申请流程审批模块规范了数据访问和使用的申请流程,确保每一项数据操作都经过严格的审核和批准。通过设定合理的审批流程,既保证了数据的安全性,又提升了工作效率。
主要特点
- 规范化流程:明确每个环节的责任和要求。
- 高效审批:缩短审批时间,加快业务进程。
- 全程记录:保留完整的审批历史。
11. 动态脱敏
功能描述
动态脱敏模块在数据传输和使用过程中,实时对敏感信息进行遮蔽或替换,有效防止数据泄露。支持多种脱敏规则和策略,可根据具体场景灵活配置。
主要特点
- 实时处理:不影响正常业务操作。
- 多样规则:适应不同脱敏需求。
- 安全性高:显著降低数据泄露风险。
12. 数据接口服务
功能描述
数据接口服务模块提供标准化的API接口,方便外部系统调用数据中台的功能和服务。通过统一的接口管理,简化了跨系统集成的复杂度。
主要特点
- 标准化接口:遵循行业标准,易于对接。
- 安全性强:内置多种安全机制。
- 易用性强:文档详尽,示例丰富。
13. 数据订阅与推送
功能描述
数据订阅与推送模块允许用户订阅感兴趣的数据变化,并在发生变更时第一时间收到通知。通过这种机制,用户可以及时获取最新数据,做出快速反应。
主要特点
- 实时通知:确保信息传递的及时性。
- 灵活定制:支持多种订阅条件。
- 多种渠道:支持多种数据源、数据类型、推送方式等要求。
14. 数据授权
功能描述
数据授权模块控制用户对数据的访问权限,确保只有授权用户才能查看或修改特定数据。通过细粒度的权限管理,实现了数据的安全共享。
主要特点
- 细粒度控制:精确到字段级。
- 动态调整:支持权限的实时变更。
- 审计追踪:记录所有授权操作。
15. 数据分析
功能描述
数据分析模块提供强大的分析工具和算法,帮助用户深入挖掘数据价值。支持多种统计分析方法和机器学习模型,满足不同层次的分析需求。
主要特点
- 丰富算法:涵盖常用分析方法。
- 交互式界面:简化分析操作。
- 可视化展示:直观呈现分析结果。
16. 数据共享服务
功能描述
数据共享服务模块促进企业内部及外部的数据交流与合作,通过建立统一的共享平台,打破了数据孤岛现象。支持多种共享模式,满足不同的业务需求。
主要特点
- 统一平台:集中管理共享数据。
- 多样化模式:支持多种共享方式。
- 安全保障:严格控制数据流向。
三、数据协同特性
1. 统一身份认证的部门数据管控与授权
通过统一身份认证系统,确保各部门数据的安全访问和授权管理。支持单点登录、会话保持等功能,提升用户体验的同时保障数据安全。
2. 多租户体系的跨业务系统数据流动
基于多租户架构,实现不同业务系统间的数据无缝流动。每个租户拥有独立的数据空间,同时又能与其他租户共享部分数据,既保证了数据隔离,又促进了资源共享。
3. 多人协同的开发建模管理
支持多人在线协作开发和建模,提供版本控制、任务分配等功能,极大提高了团队协作效率。