利用多租户体系建立专题库
上海奥腾科技 2025年02月01日 12:01

一、概念

主题库

  主题库是指包含了某一特定主题领域内的相关信息资源的集合体。它是在基础库的基础上构建而成,对基础库中特定主题领域进行深入挖掘和整理,形成更加精准和深入的信息资源库。主题库的特点包括:

  • 信息精准:主题库中的信息资源针对特定主题,更加精准和深入。

  • 跨学科整合:主题库注重跨学科领域的整合与交叉,促进学科交叉融合。

专题库

  专题库是指在基础库和主题库的基础上,为解决特定问题或开展特定活动而建设的一种信息资源库。它具有明确的应用目标和范围,通常是对某一特定问题或业务需求进行数据组织和存储的数据库。专题库的特点包括:

  • 问题导向:专题库的建设是为了解决特定问题或开展特定活动,具有鲜明的问题导向性。
  • 定制化服务:专题库的信息资源需要根据具体需求进行定制化整理。

  专题库特点:

  • 针对特定研究、项目或问题的详细数据集合。
  • 数据可能来自多个主题库或基础库。
  • 具有较短的生命周期,根据项目或研究的进展进行更新或废弃。

基础库

  基础库是指包含了各个学科领域中基础知识和基础数据的集合体。它是构建其他库的基础,数据标准化且旨在实现资源共享。基础库的特点包括:

  • 数据标准化:基础库中的数据需具有一定的标准化格式,以保证数据的准确性和可比性。

  上述概念来自百度AI的答复,在实际应用中如何区分基础库、主题库、专题库?以数据资源管理局而言,DWD中的数据,就是为其他委办局和街镇使用的基础库,而人、法人、空间地理、电子证照是国家定义的四大基础主题库,也就是核心的主题库,基础库和主题库是由数据资源局完成数据融合与治理,是面向所有需求单位提供基本服务。专题库是为委办局、街镇独立划分的由这些单位自行融合治理的数据库,为各自单位的业务提供支撑服务。而专题库的数据来源除了单位沉淀的数据外,其他可以从数据资源局申请而来。

  委办局、街镇等业务单位缺少数据处理软件怎么办?通常数据资源局有较为完整的数据处理软件体系,但是这些委办局、街镇未必建设了数据中台体系。为了避免重复建设,并且与数据局的标准保持一直,这些业务单位寄希望使用数据局现有的数据处理软件体系。但是数据是需要安全管控,并且几十个业务单位之间数据是一定不能随便互通的。这就引发一个问题,怎样的权限管控体系才能满足业务单位专题库的生产呢?

二、多租户隔离体系

  多租户体系是一种架构设计,允许多个用户或业务部门共享同一套基础设施,同时多租户体系通过逻辑隔离、物理隔离、访问控制、加密技术和审计监控,确保多个业务部门的数据独立和安全。其核心特点包括:

  • 资源共享:多个租户共享硬件和软件资源,降低成本。
  • 数据隔离:通过技术手段确保各租户数据独立,防止串通。
  • 权限管理:严格的权限控制,确保租户只能访问自己的数据。
  • 弹性扩展:根据需求动态分配资源,提升灵活性。

  多租户体系如何实现数据隔离

逻辑隔离:

  • 数据库隔离:每个租户使用独立的数据库或表,通过权限控制访问。
  • Schema隔离:在同一数据库中为每个租户创建独立的Schema,确保数据分离。

物理隔离:

  • 独立服务器:为高安全性需求的租户提供专用服务器。
  • 虚拟化技术:使用虚拟机或容器为每个租户提供独立环境。

访问控制:

  • 身份认证:通过多因素认证确保用户身份。
  • 权限管理:基于角色的访问控制(RBAC)限制数据访问。

加密技术:

  • 数据加密:对存储和传输的数据进行加密,防止未授权访问。
  • 密钥管理:每个租户使用独立的加密密钥。

审计与监控:

  • 审计日志:记录所有数据访问和操作,便于追踪。
  • 实时监控:监控系统活动,及时发现异常行为。

三、专题库建设需要用到多租户体系

  通常在单一租户内,数据权限是跟随部门用户走,上级部门可以看到下级部门的数据。同级之间数据共享,或者下级部门想获取上级部门的数据,是需要经过审批流程审核的。但是,我们在建设主题库或者专题库的时候,往往需要多个部门人员共同参与,因而,这里就要求能根据项目为多部门用户进行授权。

权限.png

图1-多租户权限体系
  经过多个项目的实践,我们发现,凡是能充分获取委办局数据并且数据共享非常活跃的数据资源管理局如上海市闵行区大数据中心,必然已形成了一套数据获取方法论,以及数据共享流程体系。分布式前置机编目归集系统,是充分获取数据的有效方案,而为委办局提供最便捷的数据资产查询及申请方式,以及快捷的响应,是数据要素流通、数据共享的高效辅助手段。其中,前置机系统必定采用多租户体系,才能保证几十个委办局之间的数据隔离。

  前置机系统是交给委办局和街镇自行实现数据编目和数据归集的。因而,这些业务部门,有使用前置机系统的权限。但是很多案例中,数据治理、主题库数据建模的系统并没有给业务部门开放权限,这就导致业务部门难以完成专题库建设。所以,只有将数据治理、数据建模的系统改造为多租户体系,才能让几十个业务单位自行建立专题库,而又不影响大数据中心的数据安全。 专题库2.jpg

图2-多租户系统建设专题库

四、总结

  在多租户系统的架构下,业务部门自行建立专题库具有以下重要的优势:

(1)提升业务部门的数据自主权

  • 业务部门通过多租户提供的数据平台,能够将其从基础库、主题库中选取所需数据,聚焦于特定业务场景,以实现高度针对性的专题分析和挖掘。
  • 多租户提供基础设施和工具支持,无需依赖数据中心的复杂预约和审批流程,业务部门可以快速组建符合自身需求的专题库。

(2)支持快速试验和创新

  • 在竞争激烈的市场中,快速响应并进行创新实验至关重要。通过自行建立专题库,业务部门可以随时尝试新的分析方法、指标设计或者投放策略,降低实验成本,加速创新周期。

(3)提升决策效率

  • 专题库通常面向特定问题设计,数据源少而精,分析速度快,可以迅速为业务决策提供支持。
  • 举例:一个市场推广团队在上线一项活动时,可以围绕特定主题(如活动转化率)自行建立专题库,通过实时更新分析模型调整推广策略。

(4)促进数据灵活整合

  • 业务部门可以灵活地将来自多租户系统中的不同主题库、基础库的数据整合到专题库中,形成全景视图,提升数据的综合利用率。 举例:一支销售团队可以将客户数据、地域分布数据和产品库存数据整合到专题库中,为制定精准的区域推广策略提供支持。

(5)避免资源重复浪费

  • 如果数据中心全权管理专题库,可能会因为不了解具体需求,导致重复建设或资源浪费。让业务部门自行创建专题库,可以精准投入所需的数据资源,避免大规模的资源消耗,同时降低数据中心的工作负载。

业务部门和数据中心的双赢关系

  在引入多租户系统后,数据中心和业务部门都能从中受益:

(1)对业务部门的好处

  • 更高的灵活性:实现前置机编目与归集以及专题库的自主管理,让业务部门在数据准备和探索阶段更加自主、灵活、高效。
  • 更精准的分析:业务部门可以根据自身的特定需求定制数据处理逻辑和应用场景,生成更具针对性的分析结果。
  • 更快的响应速度:将部分数据治理责任交还给业务团队,减少了数据获取的延迟,赋能业务部门快速决策和创新。

(2)对数据中心的好处

  • 减少工作负担:通过分权模式,业务部门分担数据治理的部分工作,数据中心只需提供平台支持和基础规范。
  • 优化资源管理:数据中心可以专注于多租户模式的底层架构优化,提升系统效率和性能。
  • 增强协作:让业务部门参与到数据管理的部分流程中,促进跨团队协调和理解,避免数据需求不协调的问题。

  通过多租户系统的引入,业务部门的需求与数据中心的服务能力得到了平衡,实现了数据驱动决策范式下的高效协同,是企业数据架构优化和敏捷化推进的重要一步。