数据质量监控规则怎么配？一条完整规则从定义到告警

本文适合谁读数据工程师、数据治理实施人员、数据质量管理员需要对业务数据入库后进行自动化的质量监控希望了解旁路监测Sidecar Monitoring模式的实操配置方法。核心观点旁路监测是数据质量治理中投入产出比最高的起步方式——不侵入生产链路、不阻断数据流转通过可视化规则配置实现质量问题的持续发现、追踪与闭环。本文以龙石数据中台的质量模块为例从评测模型搭建、规则配置到任务调度、结果闭环完整演示一条质量监控规则的全生命周期。运维同事发来一条消息“上周出的客户分析报表有问题——联系方式空了 1,200 行手机号 800 多条格式明显不对8 位 12 位的都有。能不能在数据入库的时候自动扫一遍”这其实不是一个新需求。龙石数据数据质量管理中旁路监测是投入产出比最高的起步方式不用改现有数据链路不用写 SQL可视化配置几条规则就能将问题数据识别出来。下面以一条完整的质量监控规则为主线从评测模型搭建到任务调度再到结果闭环走一遍数据质量模块的完整操作流程。前置准备理解旁路监测数据质量校验有两种模式。强校验在数据入库前执行检查不合格即拦截。逻辑上没有问题但实际项目中风险不小——凌晨的 ETL 任务因为一个正则表达式配置错误整条管道卡住运维被电话叫醒最后发现是误报。旁路监测则采用另一种策略数据正常同步入库质量检查并行运行。发现问题后单独记录到问题库标记状态、生成告警、推动修复不影响任何生产链路。这种方式更符合 DAMA《数据管理知识体系指南》DMBOK2中质量管理应优先保障业务连续性的原则也是成熟数据质量平台普遍采用的核心设计理念——不侵入、不阻断、可闭环。本文以龙石数据中台的质量模块为例进行演示该平台为信通院《数据治理产业图谱 3.0》入选厂商、DAMA 大中华区实训基地其旁路监测模式已在多个项目中得到验证。GB/T 36344-2018《信息技术 数据质量评价指标》定义了六个评价维度完整性、准确性、一致性、唯一性、时效性、可访问性。除可访问性外前五个维度直接影响数据应用效果也是实操中最常配置规则的维度。技术小贴士旁路监测与强校验并非互斥关系可以在同一套数据管道中按字段分级使用——核心交易字段如身份证号、统一社会信用代码走强校验业务属性字段如客户标签、备注信息走旁路监测兼顾数据质量与链路稳定性。操作步骤配置一条完整的质量监控规则我们用一个最常见的业务场景来实操客户基础信息表customer_info每天从 CRM客户关系管理系统增量同步到数据中台的 DW治理层数据仓库。需要在入库后自动检查三件事——客户姓名和手机号不能为空、手机号格式必须合规、性别代码得在标准字典里。第一步创建评测模型评测模型是按业务域组织质检规则的容器。一个模型对应一个业务主题一个模型下可以挂多条规则。进入「数据质量 → 评测模型管理」点击新增。填写模型名称客户信息质量评测模型描述建议写清楚评测内容和业务目标例如本模型对 CRM 客户基础信息进行质量监控确保客户姓名、联系方式、性别编码等核心字段的完整性和准确性。选择评测数据库为治理库DW保存。这里有一个容易忽略的细节模型创建后如果修改关联数据库之前配置的所有评测规则都需要重新配置。因此一开始就要确认好评测库避免后期返工。第二步添加评测对象在模型详情页点击「新增评测对象」选择customer_info表作为评测对象。平台要求被评测表必须有物理主键或逻辑主键物理主键是数据库层面定义的主键字段如果表没有物理主键可以指定一组字段共同作为唯一标识即逻辑主键。后续问题追溯和修复都依赖这个标识来定位具体的记录。评测对象还有一个容易忽略的配置项——「业务标识字段」。它决定了问题列表里优先展示哪个字段来代表这条记录。比如把customer_name设为业务标识后续查看问题数据时直接看到是哪条客户记录出了问题而不是面对一个 ID 猜测对应实体。技术小贴士业务标识字段建议选择具有业务可读性的字段如姓名、编号、名称避免选择无业务含义的代理键如自增 ID、UUID。这直接影响后续问题列表的可读性和跨部门协作效率。第三步配置空值检查规则最常见的质量问题就是字段为空。先配置一条客户姓名和手机号的非空检查。点击「新增规则」规则类型选择「空值检查」。逐项填写规则名称客户姓名与电话非空检查检查字段customer_name、phone检查方式每个字段都不能为空如果选所有字段不能同时为空只要有一个字段有值就不会触发这显然不是我们要的规则权重高错误描述客户姓名或电话存在空值影响客户画像生成和营销触达修复建议核对 CRM 客户基础信息是否完整录入必要时联系业务负责人确认规则描述和修复建议不要写技术语言。像customer_name 字段不满足 NOT NULL 约束这种写法业务部门看不懂技术支持看不出业务影响告警在两个部门之间来回转。更合适的写法是客户姓名存在空值影响标签生成和客户分组请确认 CRM 录入是否完整。技术小贴士空值检查与数据库 NOT NULL 约束的区别在于——前者记录违规数据并生成工单后者直接拒绝写入。生产环境中二者可以配合使用NOT NULL 约束兜底最关键字段空值检查规则覆盖更广泛的业务字段并生成治理闭环。第四步配置格式规范性检查规则字段有值不代表值是正确的。手机号是否为 11 位格式是否合规这是格式规范性检查的用武之地。新增第二条规则规则类型选择「格式规范性检查」。检查方式选择 EL 表达式ELExpression Language是一种轻量级表达式语言平台用它来做规则配置无需编写 Java 代码在表达式中写入#phone REGEXP ^1[3-9][0-9]{9}$这条表达式的含义是phone 字段的值必须是以 1 开头、第二位为 3-9、后面跟 9 位数字的 11 位手机号格式。不符合的自动标记为问题数据。EL 表达式适合简单规则的快速配置。如果校验逻辑较为复杂——比如需要根据多字段条件判断、或者涉及外部 API 调用——可以采用 JAVA 代码或自定义扩展方式实现。技术小贴士格式规范性检查通常依赖正则表达式。建议在配置阶段利用平台的抽检功能第六步会介绍验证正则是否匹配预期的正例和反例避免因正则编写错误造成大量误报或漏报。常见的坑\d在某些引擎中会匹配全角数字建议使用[0-9]明确语义。空值检查和格式规范性检查的侧重点不同前者检查有没有后者检查对不对。建议配置完空值规则后同步配置格式规则两件事一起覆盖。第五步配置引用完整性字典校验规则再看性别字段。CRM 系统里同一个字段出现了M“F”“男”“女”“未知”0六种写法——历史遗留问题不是一朝一夕能清理干净的。但至少可以先用质检规则把不在标准字典内的异常值标记出来。前提是数据标准模块里已经定义了性别代码字典表M男/F女。新增第三条规则规则类型选择「引用完整性检查」检查字段gender引用类型引用字典表选择性别代码字典规则名称性别代码引用完整性检查错误描述性别字段存在非标准值影响客户画像分组统计修复建议在数据标准模块确认标准字典后批量映射修正引用完整性检查有一个重要特性规则引用的是数据标准模块的字典定义。标准变更后比如新增了U未知质检规则自动同步无需手动逐条修改规则。技术小贴士引用完整性检查的前提是数据标准体系已经建立。如果尚未统一数据标准建议先落地核心字典表如性别、行政区划、行业分类等国家标准代码再逐步扩展至业务自定义字典。字典管理本身是数据治理的基础工作投入一次质检、建模、报表等多个环节复用。第六步抽检验证三条规则都配置完毕后先不要急于创建任务。点击「抽检」按钮系统会用当前规则参数快速运行一次返回若干条样例数据。这一步的目的是验证规则参数是否正确——比如正则表达式是否书写正确、检查字段是否选对了表——而不是等着夜间定时任务执行后才发现异常。第七步创建评测任务并调度规则验证无误后进入「评测任务管理」点击新增。选择客户信息质量评测模型开始配置调度策略。首次执行建议使用「手工触发」——手动执行一次对照问题数据清单逐条确认这是真实问题还是误报确认规则准确后再切换为调度模式。确认规则无误后可以改为定时策略。平台支持四种执行模式手工触发完全手动适合首次验证定时执行指定日期执行一次适合一次性数据迁移场景重复执行按天/周/月定时适合持续监控。比如每天早上 6 点自动执行一次CronLinux 定时任务表达式最灵活比如每天 6 点和 18 点各执行一次可以写0 0 6,18 * * *日常监控场景推荐使用重复执行-按天每天早上自动扫描前一天的增量数据。技术小贴士调度时间的设定需要考虑上游数据就绪时间。如果 ETL 任务通常在凌晨 3 点完成质量评测调度应设为凌晨 4 点之后避免数据未到位导致的误报。Cron 表达式也可以配置依赖触发模式——上游任务完成后自动拉起质量评测避免时间窗口估算偏差。第八步查看结果与闭环任务执行完成后进入「问题数据查看」。可以按主题、模型、规则、问题状态、评测日期等维度筛选。每个问题记录包含评测字段值、违反的规则、错误描述、发现时间和当前状态。修复源数据之后下次评测任务执行时问题状态会自动从待修复变为已关闭。这就是旁路监测的闭环逻辑扫描发现问题 → 标记状态 → 推动修复 → 验证后自动关闭。每次扫描都是一次质量快照持续迭代数据质量曲线逐步上移。附12 类质检规则一览数据质量模块内置 12 类质检规则全部支持可视化配置。上文演示了空值检查、格式规范性检查、引用完整性字典校验三类其余规则的使用方式类似——选择类型、指定字段、配置参数、添加描述规则类型用途典型场景空值检查必填项校验客户姓名不能为空数据缺失检查检测归集/共享丢数据源库 1,000 条目标库只有 950 条唯一性检查检测重复数据同一个学号不能出现两次值域检查校验取值范围交易金额必须大于 0格式规范性检查校验格式标准化手机号/身份证号/邮箱格式引用完整性检查校验字典值性别只能是男/女一致性检查跨表数据比对CRM 与订单系统的客户信息一致逻辑检查多字段逻辑关系验证毛利率是否等于(收入-成本)/收入交叉比对检查多表联合验证订单状态 vs 出库记录 vs 物流SQL 检查自定义 SQL 深度验证已发货订单的承诺日期校验关联关系检查表间关系验证每个员工有且仅有一张工卡自定义扩展对接外部 API 服务调用第三方接口专项校验常见问题Q1旁路监测会影响数据同步性能吗一般不会。质量评测是数据同步完成之后独立运行的与主链路不竞争资源。首次全量扫描时如果数据量较大千万级以上可以通过评测对象的过滤条件限定数据范围或分批分次执行评测。Q2发现质量问题后系统会自动修复数据吗不会。质量管理的职责是发现问题和推动治理不是直接修改业务数据。问题数据进入问题库标注清楚是哪条记录、违反了什么规则、建议如何修复。业务侧修正源数据后下次评测任务执行时问题状态自动关闭。Q3什么时候用旁路监测什么时候用强校验两者并不冲突。身份证号、统一社会信用代码等核心交易数据、对准确性要求极高的场景强校验较为合适。客户信息、设备数据、业务标签等字段旁路监测通常更为稳妥——不会因为少量脏数据阻塞整条链路同时能够持续发现问题。Q4规则配置错误如何快速修正评测模型管理中支持对单条规则进行编辑和禁用。如果已经产生大量误报问题数据可以先用「清除所有问题」清理错误数据修改规则后重新触发评测任务。这也是第七步强调先手工触发验证的原因——目的是避免批量误报的发生。Q5业务表新增了字段规则需要重新配置吗如果新增字段不影响已有规则比如仅增加了备注列规则本身无需修改。如果新增字段需要纳入质量监控直接在评测模型里新增对应的评测规则即可无需重建整个模型。Q6评测任务执行到一半失败了怎么办先查看评测任务日志——进入「评测任务日志」页面找到失败任务的执行记录日志会给出具体报错信息。常见原因包括数据库连接超时检查网络和连接池配置、规则中引用的字段已被删除检查元数据是否同步了最新表结构、EL 表达式语法错误规则编辑时使用抽检功能提前验证。数据质量管理的目标并不是一次性清理所有问题而是在不影响业务运行的前提下让问题能够持续被发现、被跟踪、被修复。规则不在多——从一个核心业务域的三五条规则起步运行稳定后再逐批扩展。规则持续运行质量持续提升数据治理才能真正成为日常工作的一部分而不是项目验收时的一次专项行动。参考来源GB/T 36344-2018《信息技术 数据质量评价指标》国家市场监督管理总局、中国国家标准化管理委员会DAMA International《DAMA 数据管理知识体系指南》DMBOK2机械工业出版社中国信通院《数据治理产业图谱 3.0》2024