数据治理平台数据治理平台
产品介绍
  • 概述
  • 数据治理概览
  • 数仓规划
  • 数据标准管理
  • 数据模型管理
  • 元数据管理
  • 数据资产管理
  • 数据质量管理
  • 数据服务管理
  • 自助可视化分析
  • 数据安全管理
  • 数据源
  • 审批工单
  • 知识库
  • 系统管理
  • 任务调度
  • 安全管理
  • 平台API
  • 数据治理示例
  • 附录
  • 概述
  • 数据库部署
  • 应用部署(Fatjar)
  • 应用部署(Docker)
  • DolphinScheduler部署
  • Atlas部署
  • Kerberos
  • 概述
  • 实施工作流
  • 数仓分层
  • 数仓建模
  • 指标体系建模
  • 数仓技术架构
云数创智
产品介绍
  • 概述
  • 数据治理概览
  • 数仓规划
  • 数据标准管理
  • 数据模型管理
  • 元数据管理
  • 数据资产管理
  • 数据质量管理
  • 数据服务管理
  • 自助可视化分析
  • 数据安全管理
  • 数据源
  • 审批工单
  • 知识库
  • 系统管理
  • 任务调度
  • 安全管理
  • 平台API
  • 数据治理示例
  • 附录
  • 概述
  • 数据库部署
  • 应用部署(Fatjar)
  • 应用部署(Docker)
  • DolphinScheduler部署
  • Atlas部署
  • Kerberos
  • 概述
  • 实施工作流
  • 数仓分层
  • 数仓建模
  • 指标体系建模
  • 数仓技术架构
云数创智
  • 数据质量管理

    • 概述
    • 检查数据源
    • 质量规则模型
    • 质量规则配置
    • 质量任务调度
    • 质量检查结果
    • 质量问题工单
    • 质量检查报告
    • 脚本模板
    • 数据质量API

质量检查报告

对数据质量检查结果进行各个维度的汇总统计,可按数据库或执行日期范围筛选,并生成直观图表。

后台任务:生成数据质量报告

抽取数据质量检查结果,形成数据质量报告数据。

每日 01:00:00 执行一次。

质量分计算公式

对象质量分计算公式
规则规则可以分为正向规则及反向规则,正向规则即比值越高,代表数据质量越好;
反向规则即比值越高,则数据质量越差。
正向规则包含唯一值率、重复值率、合法比率规则,反向规则包含空值率规则。
正向规则评分=满足规则的数据行数/数据总行数*满分(5,10,100)。
反向规则评分=(1-满足规则的数据行数/数据总行数)*满分(5,10,100)。
当表为空,即总行数为0时,正向规则评分固定为满分,反向评分固定为0分。
数据表根据规则权重加权平均
数据库根据规则权重加权平均
规则模型根据规则权重加权平均
主题域根据规则权重加权平均
数据分层根据规则权重加权平均
数据责任人根据规则权重加权平均
部门根据规则权重加权平均

规则的比率计算公式

序号规则模型比率计算公式
1空值检测1 - 空值数据行数/数据总行数
2自定义SQL校验成功:1,失败:0
3两表准确性校验关联后总行数/左表总行数
4两表值比对校验成功:1,失败:0
5长度校验1 - 不符合数据行数/数据总行数
6唯一性校验1 - 重复数据行数/数据总行数
7正则表达式校验1 - 不符合数据行数/数据总行数
8及时性校验成功:1,失败:0
9枚举值校验1 - 不符合数据行数/数据总行数
10表行数校验成功:1,失败:0
11最小值校验1 - 不符合数据行数/数据总行数
12范围校验1 - 不符合数据行数/数据总行数
13最大值校验1 - 不符合数据行数/数据总行数
14汇总值校验成功:1,失败:0
15平均值校验成功:1,失败:0
16条件校验成功:1,失败:0

日期范围

日期范围组件支持常用的日期范围快捷选择。

日期范围

质量分 趋势

按日期统计质量分,可按数据库和日期范围筛选。 折线图显示质量趋势。

质量检查报告-走势

规则数和表覆盖数 趋势

按日期统计规则数和表覆盖数,可按数据库和日期范围筛选。 折线图显示质量趋势。

质量检查报告-各类规则异常数

质量分 排名

按不同维度统计质量分,可按日期范围筛选。

数据负责人

质量检查报告-数据负责人

部门

质量检查报告-部门

数据库

质量检查报告-数据库

数据表

质量检查报告-数据表

规则模型

质量检查报告-规则模型

主题域

质量检查报告-主题域

数据分层

质量检查报告-数据分层

最近更新:: 2025/8/9 15:09
Contributors: yangxiaoming
Prev
质量问题工单
Next
脚本模板