几乎所有大企业都面临着管理数据量、速度和种类的挑战。在大数据平台,Hadoop在复杂数据分析能力以及按相对低廉的成本实现大数据扩展性方面提供了一些优势,同时带来的挑战之一就是元数据管理,如果没有良好的元数据管理和数据治理,Hadoop将会缺乏透明度、可审计性以及数据的标准化与重复利用能力,企业仍将需要对数据相关的关键信息如来源、质量和所有权进行可见性管理,否则Hadoop将变成环境内的又一个更大的数据孤岛。
数据治理有如下分类,但不是企业内的数据治理需要全部用到,根据实际情况部署一到多个分类治理,达到预期目标即可:
数据治理分类
|
数据标准管理 | 标准定义、标准查询、标准发布 |
|
数据质量管理 | 质量规则定义、质量检查、质量报告 |
|
数据集成管理 | 数据处理、数据加工、数据汇集 | 数据血缘 |
数据资产管理 | 数据资产编目、数据资产服务、数据资产审批 |
|
数据安全管理 | 数据权限管理、数据脱敏、数据加密 | 数据备份 |
数据生命周期管理 | 数据归档、数据销毁 |
|
主数据管理 | 主数据申请、主数据发布、主数据分发 |
|
中易科技在数据治理上的应用案例:通过建立数据资产共享、管控、合作流程和机制,构建数据资产管理平台,规范数据资产生命周期管理,实现数据可视,提升数据质量和使用效率,减少个人隐私保护风险。