为什么数据治理是人工智能时代IT的核心职责

多年来数据治理一直处于边缘地位仅仅是合规性检查、季度审计和一份束之高阁的政策文件。IT 团队负责构建数据管道、管理基础设施和维护系统运行。治理似乎是其他人的事。这种情况已经不再成立了。生成式人工智能从根本上改变了数据治理的含义及其责任主体。如果您的组织正在部署人工智能模型、自动化工作流程或构建数据产品那么数据的质量、上下文和沿袭将直接决定这些系统的成败。本文详细阐述了数据治理的实际内容、人工智能使其变得紧迫的原因以及 IT 和数据专业人员需要了解哪些内容才能抢占先机。数据治理的真正含义是什么数据治理的核心是一套流程、政策和标准用于决定组织内部如何收集、存储、管理、使用和保护数据。把它想象成数据的操作系统。没有它团队会基于不同版本的“真相”开展工作人工智能模型会基于不可靠的输入进行训练数据质量问题会悄无声息地累积最终导致业务失败。数据治理通常涵盖数据所有权谁对特定数据集负责数据质量数据是否准确、完整、一致元数据管理这些数据是什么意思它来自哪里它发生了哪些变化数据沿袭数据如何在系统间流动从源头到最终用户访问和安全策略谁可以使用数据以及在什么条件下可以使用数据对于IT和数据专业人员来说治理并非抽象的概念。它体现在你的管道、目录、访问控制和监控仪表板中。人工智能为何改变了一切在人工智能出现之前数据治理不善虽然代价高昂但尚可控制。糟糕的仪表盘、延迟的报告、错失的洞察这些都是可以解决的问题。生成式人工智能大大提高了风险。原因如下人工智能系统并非只从数据库和数据仓库中读取结构化数据它们会读取所有类型的数据文档、电子邮件、图像、日志、聊天记录、传感器数据等等。据行业估计非结构化数据占企业全部信息资产的 80% 到 90%而且其增长速度大约是结构化数据的四倍。当人工智能模型基于这些数据进行训练或微调时所有质量问题都会被放大。有偏差的数据会产生有偏差的输出。缺乏文档记录的数据会产生无法解释的输出。在很多情况下人工智能的失败根本不是模型本身的问题而是上游治理环节的失败。此外还出现了一种新型的数据消费者。生成式人工智能工具包括副驾驶、助手和自主代理会持续且大规模地查询您的数据。与能够识别异常情况的人类分析师不同人工智能模型会毫不质疑地使用其获得的任何数据。您的治理框架需要考虑到这一点。IT团队最常犯的治理错误理解治理是一回事有效实施治理又是另一回事。以下是一些容易出错的模式。将治理视为一次性项目许多组织会指定数据所有权发布政策文件然后认为工作已经完成。然而十二个月过去了实际运营中却没有任何改变。治理是一个持续的过程而非一项可以交付的成果。脱离语境的编目列出现有数据的数据目录固然有用但解释数据含义、收集方式和使用方法的目录则更有价值尤其对于需要可解释元数据才能可靠运行的人工智能系统而言更是如此。先购买工具再修复流程通过购买平台来解决治理问题看似诱人但将治理工具叠加在糟糕的流程之上只会让混乱局面更加自动化而无法真正消除混乱。应该先定义流程然后再确定支持该流程的工具。孤立的所有权数据治理不能仅仅局限于IT部门或数据团队内部它需要与法务、合规、风险和业务部门积极协作。最接近数据的团队应该帮助定义数据的含义、质量标准和合理用途。良好的数据治理在实践中是什么样的对于IT和数据专业人员来说有效的治理有三个实际支柱。1. 统一的元数据架构元数据是基础。它告诉系统和用户数据的含义、来源以及处理方式。在人工智能环境中元数据使模型和下游应用程序能够使用具有适当上下文的数据。目标是构建一个机器可读、维护一致且贯穿整个数据环境从数据摄取、转换到使用的元数据层。当这一基础架构搭建完成时数据沿袭将变得可追溯审计跟踪将变得可靠人工智能系统也能以更高的透明度和可控性运行。2. 定义关键数据元素并非所有数据都值得投入同等的治理资源。关键数据元素是指对业务决策和人工智能模型性能影响最大的特定字段、实体和数据集。识别出这些问题并确保它们得到充分记录、质量检查和正确分类比试图一次性管理所有问题更有价值。先从最重要的事情入手然后再逐步扩展。3. 变革管理与跨团队协作许多技术上合理的治理方案都止步于此。政策若不付诸实施就只是纸上谈兵。有效的数据治理需要变革管理技能阐明治理的重要性在团队间建立共同责任感并使人们能够轻松遵循正确的流程。能够将技术实施与组织行为相结合的IT专业人员是治理项目中最有价值的人员之一。一个切实可行的起点如果您的组织正处于治理发展的初期阶段以下是一条简单明了的前进道路盘点现有数据。找出最关键的数据资产那些为最重要的系统、报告或人工智能工具提供数据支持的数据。明确责任归属。每个关键数据集都应指定一名负责人负责其质量和文档编写。记录数据的背景信息而不仅仅是结构。对于每个关键数据集都要记录其含义、收集方式以及任何已知的局限性。建立数据质量基线。明确关键数据集的“良好”标准并建立监测机制以便在数据质量下降时及时发现。尽早建立跨职能关系。明确法务、风险以及最依赖数据的业务部门的对口人员。治理作为一种共同协作的机制才能发挥最佳效果。人工智能并没有让数据治理变得更复杂而是让它变得更加重要。那些能够从人工智能中获得可靠、可靠且可扩展价值的组织是那些将数据视为受控资产而非不受控制的资源的组织。这一切的核心在于数据质量。治理框架、元数据层和所有权模型只有在底层数据准确、一致且可信的情况下才能发挥价值。数据质量并非部署后才需要考虑的下游问题而是所有人工智能系统、自动化工作流程和数据产品赖以构建的基础。一旦数据质量出现问题再多的工具或策略也无法弥补输出结果。对于IT和数据专业人士而言这是一个绝佳的机会。所需的技能包括严谨的技术能力、系统思维和跨职能协作——而这些正是该职业赖以生存的技能。治理工作并不光鲜亮丽但却至关重要。而在人工智能时代基础就是一切。