iconDataValid 数据质量校验工具 icon
 
DataValid—是一款对数据进行质量校验,帮助企业及时发现数据问题的工具。产品通过事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据的及时性、完整性、一致性、有效性、准确性进行多维度评估, 保障企业数据服务。
iconDataValid 功能介绍icon

DataValid 兼容多种数据源类型, 通过单表校验规则和多表比对规则两种类型的选择, 满足日常不同的数据校验诉求。配置的规则可通过多种调度方式实现数据的校验。系统会根 据配置的规则内容, 自动生成质量分析报告, 辅助问题分析。 对于校验不满足规则的数据, 产品可实时发出告警信息, 及时发现问题。

规则配置 对于接入平台的数据源,通过配置不同的规则类型,即可完成相应的校验需求。单表校验规则——适用于对单张表中的结果数据进行质量校验。目前单表校验支持四种规则类型:表级规则——通过监控表行数评估数据是否正常产出字段级规则——支持二十余规则函数评估数据产出的完整性、准确性数据格式校验—— 自动校验数据格式如身份证、手机号、邮箱等类型, 来评估数据产出的有效性自定义SQL——对于复杂校验逻辑, 支持自定义SQL编辑校验逻辑多表比对规则适用于数据迁移、 代码优化、BI数据验证等场景。通过比对两张表的数据一致性, 及时发现数据差异。

数据源管理
数据源管理 支持多种数据源的数据质量校验,只需要通过JDBC 即可轻松完成连接。目前支持Hive、MaxCompute、 MySQL、Oracle、SQL Server、TiDB、Impala、 Greenplum 数据源。
项目管理
通过项目、角色、用户体系的管理,实现各个项目数据质量的独立管控、独立评估。

 

任务查询
平台会记录每个规则每次运行的实例信息, 自动生成规则监控报告、 表级监控报告、 错误明细数据等内容。 对于运行失败、 校验未通过等各类异常情况, 可及时发出系统提醒。
 
概览页
通过DashBoard的方式统计分析各类规则告警信息,如告警数、 告警趋势、 告警排行等,清晰明了地暴露出问题数据, 对全局的数据质量有足够的把控。
iconDataValid优势与特性—支持多种质量监控场景icon
适配多种数据源类型
DataValid目前支持市面上大部分数据源类型:Hive、MaxCompute、MySQL、Oracle、SQL Server、TiDB、 Impala、Greenplum。对大数据统计分析、业务系统的数据均可进行质量监控。
满足多种业务场景
对于BI报表数据的准确性验证、业务系统数据的生成监控,均可通过单表校验规则实现; 对于数据迁移、代码优化、计算逻辑验证等业务场景,可通过多表比对规则满足需求。
icon丰富的监控校验规则icon

系统内置多种统计函数

自定义 SQL 规则

对于需要复杂计算的数据结果校验, 系统支持用户自定义 SQL 编写计算逻辑, 然后对 SQL 的输出结果进行结果校验。

icon支持多种任务调度方式icon
远程触发执行
当配置的校验规则需要控制工作流时,可对配置的规则生成远程调用 API,避免错误数 据流入下游。比如配置了一张dwd层数仓表的校验规则,在下游某张dws层数仓表跑调度任务之前先调用该校验规则 API,如果校验结果未通过,下游任务不能执行。
本地周期执行
系统支持多种周期调度方式,小时、天、周、月、手动,可自由配置调度有效期及任务执行时间。对于执行未通过的任务,可通过邮件、 短信、 钉钉方式及时发出提醒。
icon产品性能参数icon

icon产品应用案例 数据质量监控平台icon
项目背景

某中部地区城商行,每日需要给总行业务部门、 全国分行展示近百张BI数据报表。这些报表的数据准确性要求非常高,因为一旦出现问题数据、或者相同指标数据却不一致的情况,很容易影响一线的业务决策,造成部门投诉。

项目目标

需要有个数据质量管理的工具,重点监控上述BI 报表数据,对数据的及时性、完整行、准确性、 有效性、一致性进行校验,每天凌晨系统自动完成数据质量校验,将问题以钉钉、邮箱、短信的方式提醒责任人,数据开发可在第二天上班之前完成问题修复。

解决方案

标准产品输出,主要应用单表校验规则。

产品推荐 查看更多>>
    Talend数据集成

    Talend数据集成是一个企业数据集成工具,用于连接、访问和管理从任何源到几乎任何目标的任何数据。

    高效稳步

    功能完备

    奇点云金融保险数据智能解决方案

    奇点云金融保险数据智能解决方案是面对金融保险机构繁杂多样的数据,提供高效、安全的数据治理解决方案,并提供金融消费者画像, 营销获客、运营优化、风险预警等。

    个性化产品推荐

    客户体验提升

    活动运营自动化

    保险代理人赋能

    万博思图DataVis一站式数据可视化平台

    万博思图DataVis一站式数据可视化平台,专业的企业级大数据产品,通过完善的产品体系为用户提供 从数据接入、数据处理、数据过滤、数据分析到数据展示以 及推广营销一站式解决方案。

    高效可视化分析

    强大的图表库

    智能仪表盘

    可视化大屏