质量检查报告
对数据质量检查结果进行各个维度的汇总统计,可按数据库或执行日期范围筛选,并生成直观图表。
后台任务:生成数据质量报告
抽取数据质量检查结果,形成数据质量报告数据。
每日 01:00:00 执行一次。
质量分计算公式
对象 | 质量分计算公式 |
---|---|
规则 | 规则可以分为正向规则及反向规则,正向规则即比值越高,代表数据质量越好; 反向规则即比值越高,则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则,反向规则包含空值率规则。 正向规则评分=满足规则的数据行数/数据总行数*满分(5,10,100)。 反向规则评分=(1-满足规则的数据行数/数据总行数)*满分(5,10,100)。 当表为空,即总行数为0时,正向规则评分固定为满分,反向评分固定为0分。 |
数据表 | 根据规则权重加权平均 |
数据库 | 根据规则权重加权平均 |
规则模型 | 根据规则权重加权平均 |
主题域 | 根据规则权重加权平均 |
数据分层 | 根据规则权重加权平均 |
数据责任人 | 根据规则权重加权平均 |
部门 | 根据规则权重加权平均 |
规则的比率计算公式
序号 | 规则模型 | 比率计算公式 |
---|---|---|
1 | 空值检测 | 1 - 空值数据行数/数据总行数 |
2 | 自定义SQL校验 | 成功:1,失败:0 |
3 | 两表准确性校验 | 关联后总行数/左表总行数 |
4 | 两表值比对校验 | 成功:1,失败:0 |
5 | 长度校验 | 1 - 不符合数据行数/数据总行数 |
6 | 唯一性校验 | 1 - 重复数据行数/数据总行数 |
7 | 正则表达式校验 | 1 - 不符合数据行数/数据总行数 |
8 | 及时性校验 | 成功:1,失败:0 |
9 | 枚举值校验 | 1 - 不符合数据行数/数据总行数 |
10 | 表行数校验 | 成功:1,失败:0 |
11 | 最小值校验 | 1 - 不符合数据行数/数据总行数 |
12 | 范围校验 | 1 - 不符合数据行数/数据总行数 |
13 | 最大值校验 | 1 - 不符合数据行数/数据总行数 |
14 | 汇总值校验 | 成功:1,失败:0 |
15 | 平均值校验 | 成功:1,失败:0 |
16 | 条件校验 | 成功:1,失败:0 |
日期范围
日期范围组件支持常用的日期范围快捷选择。
质量分 趋势
按日期统计质量分,可按数据库和日期范围筛选。 折线图显示质量趋势。
规则数和表覆盖数 趋势
按日期统计规则数和表覆盖数,可按数据库和日期范围筛选。 折线图显示质量趋势。
质量分 排名
按不同维度统计质量分,可按日期范围筛选。