质量检查报告
对数据质量检查结果进行各个维度的汇总统计,可按数据库或执行日期范围筛选,并生成直观图表。
后台任务:生成数据质量报告
抽取数据质量检查结果,形成数据质量报告数据。
每日 01:00:00 执行一次。
质量分计算公式
| 对象 | 质量分计算公式 |
|---|---|
| 规则 | 规则可以分为正向规则及反向规则,正向规则即比值越高,代表数据质量越好; 反向规则即比值越高,则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则,反向规则包含空值率规则。 正向规则评分=满足规则的数据行数/数据总行数*满分(5,10,100)。 反向规则评分=(1-满足规则的数据行数/数据总行数)*满分(5,10,100)。 当表为空,即总行数为0时,正向规则评分固定为满分,反向评分固定为0分。 |
| 数据表 | 根据规则权重加权平均 |
| 数据库 | 根据规则权重加权平均 |
| 规则模型 | 根据规则权重加权平均 |
| 主题域 | 根据规则权重加权平均 |
| 数据分层 | 根据规则权重加权平均 |
| 数据责任人 | 根据规则权重加权平均 |
| 部门 | 根据规则权重加权平均 |
规则的比率计算公式
| 序号 | 规则模型 | 比率计算公式 |
|---|---|---|
| 1 | 空值检测 | 1 - 空值数据行数/数据总行数 |
| 2 | 自定义SQL校验 | 成功:1,失败:0 |
| 3 | 两表准确性校验 | 关联后总行数/左表总行数 |
| 4 | 两表值比对校验 | 成功:1,失败:0 |
| 5 | 长度校验 | 1 - 不符合数据行数/数据总行数 |
| 6 | 唯一性校验 | 1 - 重复数据行数/数据总行数 |
| 7 | 正则表达式校验 | 1 - 不符合数据行数/数据总行数 |
| 8 | 及时性校验 | 成功:1,失败:0 |
| 9 | 枚举值校验 | 1 - 不符合数据行数/数据总行数 |
| 10 | 表行数校验 | 成功:1,失败:0 |
| 11 | 最小值校验 | 1 - 不符合数据行数/数据总行数 |
| 12 | 范围校验 | 1 - 不符合数据行数/数据总行数 |
| 13 | 最大值校验 | 1 - 不符合数据行数/数据总行数 |
| 14 | 汇总值校验 | 成功:1,失败:0 |
| 15 | 平均值校验 | 成功:1,失败:0 |
| 16 | 条件校验 | 成功:1,失败:0 |
日期范围
日期范围组件支持常用的日期范围快捷选择。

质量分 趋势
按日期统计质量分,可按数据库和日期范围筛选。 折线图显示质量趋势。

规则数和表覆盖数 趋势
按日期统计规则数和表覆盖数,可按数据库和日期范围筛选。 折线图显示质量趋势。

质量分 排名
按不同维度统计质量分,可按日期范围筛选。
数据负责人

部门

数据库

数据表

规则模型

主题域

数据分层
