一、概念
主题库
-
信息精准:主题库中的信息资源针对特定主题,更加精准和深入。
-
跨学科整合:主题库注重跨学科领域的整合与交叉,促进学科交叉融合。
专题库
- 问题导向:专题库的建设是为了解决特定问题或开展特定活动,具有鲜明的问题导向性。
- 定制化服务:专题库的信息资源需要根据具体需求进行定制化整理。
专题库特点:
- 针对特定研究、项目或问题的详细数据集合。
- 数据可能来自多个主题库或基础库。
- 具有较短的生命周期,根据项目或研究的进展进行更新或废弃。
基础库
基础库是指包含了各个学科领域中基础知识和基础数据的集合体。它是构建其他库的基础,数据标准化且旨在实现资源共享。基础库的特点包括:
- 数据标准化:基础库中的数据需具有一定的标准化格式,以保证数据的准确性和可比性。
上述概念来自百度AI的答复,在实际应用中如何区分基础库、主题库、专题库?以数据资源管理局而言,DWD中的数据,就是为其他委办局和街镇使用的基础库,而人、法人、空间地理、电子证照是国家定义的四大基础主题库,也就是核心的主题库,基础库和主题库是由数据资源局完成数据融合与治理,是面向所有需求单位提供基本服务。专题库是为委办局、街镇独立划分的由这些单位自行融合治理的数据库,为各自单位的业务提供支撑服务。而专题库的数据来源除了单位沉淀的数据外,其他可以从数据资源局申请而来。
委办局、街镇等业务单位缺少数据处理软件怎么办?通常数据资源局有较为完整的数据处理软件体系,但是这些委办局、街镇未必建设了数据中台体系。为了避免重复建设,并且与数据局的标准保持一直,这些业务单位寄希望使用数据局现有的数据处理软件体系。但是数据是需要安全管控,并且几十个业务单位之间数据是一定不能随便互通的。这就引发一个问题,怎样的权限管控体系才能满足业务单位专题库的生产呢?
二、多租户隔离体系
多租户体系是一种架构设计,允许多个用户或业务部门共享同一套基础设施,同时多租户体系通过逻辑隔离、物理隔离、访问控制、加密技术和审计监控,确保多个业务部门的数据独立和安全。其核心特点包括:
- 资源共享:多个租户共享硬件和软件资源,降低成本。
- 数据隔离:通过技术手段确保各租户数据独立,防止串通。
- 权限管理:严格的权限控制,确保租户只能访问自己的数据。
- 弹性扩展:根据需求动态分配资源,提升灵活性。
多租户体系如何实现数据隔离
逻辑隔离:
- 数据库隔离:每个租户使用独立的数据库或表,通过权限控制访问。
- Schema隔离:在同一数据库中为每个租户创建独立的Schema,确保数据分离。
物理隔离:
- 独立服务器:为高安全性需求的租户提供专用服务器。
- 虚拟化技术:使用虚拟机或容器为每个租户提供独立环境。
访问控制:
- 身份认证:通过多因素认证确保用户身份。
- 权限管理:基于角色的访问控制(RBAC)限制数据访问。
加密技术:
- 数据加密:对存储和传输的数据进行加密,防止未授权访问。
- 密钥管理:每个租户使用独立的加密密钥。
审计与监控:
- 审计日志:记录所有数据访问和操作,便于追踪。
- 实时监控:监控系统活动,及时发现异常行为。
三、专题库建设需要用到多租户体系
通常在单一租户内,数据权限是跟随部门用户走,上级部门可以看到下级部门的数据。同级之间数据共享,或者下级部门想获取上级部门的数据,是需要经过审批流程审核的。但是,我们在建设主题库或者专题库的时候,往往需要多个部门人员共同参与,因而,这里就要求能根据项目为多部门用户进行授权。
前置机系统是交给委办局和街镇自行实现数据编目和数据归集的。因而,这些业务部门,有使用前置机系统的权限。但是很多案例中,数据治理、主题库数据建模的系统并没有给业务部门开放权限,这就导致业务部门难以完成专题库建设。所以,只有将数据治理、数据建模的系统改造为多租户体系,才能让几十个业务单位自行建立专题库,而又不影响大数据中心的数据安全。
四、总结
在多租户系统的架构下,业务部门自行建立专题库具有以下重要的优势:
(1)提升业务部门的数据自主权
- 业务部门通过多租户提供的数据平台,能够将其从基础库、主题库中选取所需数据,聚焦于特定业务场景,以实现高度针对性的专题分析和挖掘。
- 多租户提供基础设施和工具支持,无需依赖数据中心的复杂预约和审批流程,业务部门可以快速组建符合自身需求的专题库。
(2)支持快速试验和创新
- 在竞争激烈的市场中,快速响应并进行创新实验至关重要。通过自行建立专题库,业务部门可以随时尝试新的分析方法、指标设计或者投放策略,降低实验成本,加速创新周期。
(3)提升决策效率
- 专题库通常面向特定问题设计,数据源少而精,分析速度快,可以迅速为业务决策提供支持。
- 举例:一个市场推广团队在上线一项活动时,可以围绕特定主题(如活动转化率)自行建立专题库,通过实时更新分析模型调整推广策略。
(4)促进数据灵活整合
- 业务部门可以灵活地将来自多租户系统中的不同主题库、基础库的数据整合到专题库中,形成全景视图,提升数据的综合利用率。 举例:一支销售团队可以将客户数据、地域分布数据和产品库存数据整合到专题库中,为制定精准的区域推广策略提供支持。
(5)避免资源重复浪费
- 如果数据中心全权管理专题库,可能会因为不了解具体需求,导致重复建设或资源浪费。让业务部门自行创建专题库,可以精准投入所需的数据资源,避免大规模的资源消耗,同时降低数据中心的工作负载。
业务部门和数据中心的双赢关系
在引入多租户系统后,数据中心和业务部门都能从中受益:
(1)对业务部门的好处
- 更高的灵活性:实现前置机编目与归集以及专题库的自主管理,让业务部门在数据准备和探索阶段更加自主、灵活、高效。
- 更精准的分析:业务部门可以根据自身的特定需求定制数据处理逻辑和应用场景,生成更具针对性的分析结果。
- 更快的响应速度:将部分数据治理责任交还给业务团队,减少了数据获取的延迟,赋能业务部门快速决策和创新。
(2)对数据中心的好处
- 减少工作负担:通过分权模式,业务部门分担数据治理的部分工作,数据中心只需提供平台支持和基础规范。
- 优化资源管理:数据中心可以专注于多租户模式的底层架构优化,提升系统效率和性能。
- 增强协作:让业务部门参与到数据管理的部分流程中,促进跨团队协调和理解,避免数据需求不协调的问题。
通过多租户系统的引入,业务部门的需求与数据中心的服务能力得到了平衡,实现了数据驱动决策范式下的高效协同,是企业数据架构优化和敏捷化推进的重要一步。