价值与目标

价值

高质量数据本身不是目的，其价值是为公司提供经营、决策的一种手段，在数据驱动业务的思路下，决策依靠报表、经营依靠数据分析，一切都建立在数据之上，因此有必要建设数据质量体系，提高经营、决策的基础数据支撑能力。

目标

1. 定义一种技术和业务平衡的、受管理的方法，使数据适合要求。
2. 定义一个指标集合，用来量化评价数据质量。
3. 定义数据质量控制的标准和规范，作为整个数据生命周期的一部分。

模型与标准

采用国标《GB/T36344-2018信息技术数据质量评价指标》的规范，在第三级定义若干具体可实现的标准。

• 规范性
  • 数据标准
    • 字段命名是否符合标准。
  • 数据模型
  • 元数据
  • 业务规则
  • 权威参考数据
  • 安全规范
• 完整性
  • 数据元素完整性
    • 技术完整性。必填字段是否缺失。
  • 数据记录完整性
    • 业务完整性。满足最小业务含义的一组关联字段，是否有缺失。
• 准确性
  • 数据内容正确性
  • 数据格式合规性
    • 字段映射是否在字典内。
    • 数据类型是否符合标准。
  • 数据重复率
  • 数据唯一性
  • 脏数据出现率
• 一致性
  • 相同数据一致性
  • 关联数据一致性
• 时效性
  • 基于时间段的正确性
    • 调度作业是否报错。
    • 调度工作流是否报错。
    • ods、dws、dwd、ads 各层数据加工时是否出错。
  • 基于时间点的及时性
    • 调度作业是否在规定时间前计算完成。
  • 时序性
• 可访问性
  • 可访问
    • 承诺时间内，查询数据是否能返回。
  • 可用性
• 其他特性（扩展国标）
  • 可监控性
    • 关键数据¹是否有监控覆盖。
    • 关键数据监控是否报异常。

评价

指标

得分公式

Proof of Concept

步骤包括:

1. 确定要评估的数据。重点应放在一个小的数据集，甚至一个数据元素，或一个特定的数据质量问题上。
2. 识别数据的用途和数据的使用者。沟通评价机制。
3. 根据标准检查数据，对数据质量进行打分。
4. 记录问题的级别和问题类型。
5. 根据初步发现进行额外的深入分析，以便：
   1. 量化结果。
   2. 根据业务影响优化问题。
   3. 提出关于数据问题根本原因的假设。
   4. 与数据分析师、业务方会面，确认问题和优先级。
   5. 使用调查结果作为规划的基础。
6. 解决问题，最好是找到问题的根本原因。
7. 控制和改进处理流程，以防止问题重复发生。
8. 持续控制和汇报。

参考

【腾讯文档】数据质量的衡量指标 https://docs.qq.com/sheet/DR29BWldMWmdPdnBS