TID质量竞争大会议题｜腾讯PCG：AI评测质量工程进化，质量工程正在进入新阶段

大模型应用加速落地之后很多团队都开始面对一个新的质量问题AI能力不是“接上模型就结束了”而是要持续回答一个更关键的问题——它是否稳定、可信、可评估、可持续优化在传统软件质量体系里很多问题可以通过明确的输入、输出、断言和流程来验证。但到了AI应用场景中情况变得更加复杂。同一个问题不同模型可能给出不同答案 同一个业务场景不同Prompt、知识库、参数配置也可能带来不同结果 一次评测通过不代表下一次版本迭代仍然稳定。因此AI评测正在从“辅助验证工具”逐步变成AI应用工程化落地中的关键质量能力。在本届 TID质量竞争大会 上腾讯PCG工程效能专家张超将带来议题《AI评测质量工程进化》这场分享将围绕AI评测在真实业务场景中的质量挑战、体系建设和工程演进展开值得正在关注AI测试、AI评测、质量工程和研发效能的团队重点关注。讲师介绍张超腾讯PCG工程效能专家拥有15年软件研发和效能领域从业经验。目前负责应用效能技术部质效中心AI测评平台建设以及视频商业化后台质效保障工作。作为12级工程效能专家张超长期深耕软件架构、系统重构、工程效能和质量保障方向具备丰富的系统解决方案设计与落地经验。从软件工程到效能工程再到AI评测质量工程张超的实践背景本身也代表了一个重要趋势质量保障正在从传统测试环节逐步走向更前置、更系统、更智能化的工程体系。为什么AI评测会成为质量工程的新命题过去我们谈测试更多关注功能是否正确、流程是否可用、性能是否达标、缺陷是否收敛。但AI应用带来的质量问题并不完全等同于传统软件问题。AI系统的输出往往具有一定不确定性评判标准也更依赖业务语境。尤其在内容理解、智能问答、搜索推荐、智能客服、视频商业化等复杂场景中AI的表现不只是“能不能回答”更要看是否符合业务标准 是否稳定可复现 是否具备足够的可信度 是否能够支撑版本持续迭代 是否能在问题发生后被追踪和复盘。这也使得AI评测不再只是一次性的人工打分而是需要进入质量工程体系成为AI应用持续演进的一部分。AI评测面临的典型挑战张超本次分享中将重点关注AI评测过程中常见的几类痛点。效率压力AI应用迭代速度很快模型、Prompt、知识库、业务规则都可能频繁变化。如果评测主要依赖人工往往会出现周期长、成本高、覆盖不足的问题。尤其当评测对象从单轮问答扩展到多轮对话、复杂任务和多模型对比时效率压力会进一步放大。标准不统一不同业务团队、不同角色、不同评测人员对于“什么是好结果”可能有不同理解。如果缺少统一的评测标准和过程规范评测结果就很难沉淀也很难在不同业务之间复用和对比。扩展能力不足AI评测不是单点能力而是涉及数据、任务、模型、规则、报告、反馈等多个环节。当业务场景越来越多评测规模越来越大平台能力如果缺少良好的工程设计很容易出现模块混杂、扩展困难、维护成本上升等问题。过程难追溯AI评测结果是否可信很大程度上取决于过程是否透明。数据来自哪里评测标准是什么使用了哪个模型版本采用了什么配置最终判断依据是什么这些信息如果不能被记录和追踪后续复盘就会变得非常困难。这场分享值得关注的几个看点相比单纯讨论“AI怎么测”这场议题更值得关注的地方在于它会从质量工程视角重新审视AI评测。看点一从工具能力走向工程体系AI评测不是简单做一个自动打分工具。真正进入业务深水区后评测需要具备方案管理、任务执行、智能评判、报告分析、数据沉淀和持续优化等能力。这背后体现的是质量工程从“点状工具”到“体系能力”的升级。看点二从人工经验走向标准化评测AI评测很容易陷入“凭感觉判断”的状态。但对于企业级场景来说仅靠人工经验很难支撑规模化应用。评测标准如何定义、评测过程如何规范、评测结果如何复盘是AI质量体系必须解决的问题。看点三从一次评测走向持续演进AI应用不是上线后就结束了。模型会更新业务会变化用户问题会持续出现知识库也需要不断迭代。因此AI评测更像是一个持续运行的质量反馈机制。它不仅用于发现问题也会反过来推动模型、数据、规则和系统能力不断优化。看点四从单点质量保障走向平台化能力张超分享中提到的“数据×能力×效率”三引擎联动体现了AI评测平台建设中的一个重要方向评测不只是执行任务而是要让数据沉淀下来让评判能力逐步增强让业务使用门槛不断降低。这也是AI评测从项目实践走向平台能力的关键一步。AI评测质量工程的核心价值对于正在推进AI应用落地的团队来说AI评测质量工程至少有四个方面的价值。提升评测效率通过更加规范化、自动化、平台化的方式降低重复评测成本提高AI应用迭代过程中的验证效率。保障结果质量通过更清晰的评测标准和更完整的评判机制帮助团队识别AI应用中的准确性、稳定性、合规性和业务适配问题。支撑规模扩展当AI应用从单一场景扩展到多个业务场景时评测能力必须具备可复用、可扩展、可管理的特征。推动持续进化评测结果不仅是验收依据也可以成为后续优化模型、Prompt、知识库和业务规则的重要输入。从AI评测看质量工程的新变化AI时代的质量工程正在发生明显变化。过去质量更多关注“软件是否按预期工作” 现在质量还要进一步关注“智能系统是否可信工作”。过去测试更多发生在研发交付流程中 现在评测需要贯穿AI应用从构建、上线到持续运营的全过程。过去质量体系依赖规则、流程和工具 现在质量体系还需要融合数据、模型、知识和反馈闭环。这意味着未来质量团队的能力边界会继续扩大。测试人员不只要理解业务和系统还要理解AI应用的评测方式、数据质量、模型表现、知识库效果和智能体行为。这也是本届 TID质量竞争大会 关注AI评测质量工程的重要原因。为什么推荐关注这场分享张超的《AI评测质量工程进化》不是单纯讨论AI评测概念而是从工程效能和质量保障视角观察AI应用进入真实业务后的质量挑战。对于以下几类人群这场分享都值得关注关注AI测试和AI评测的质量团队 正在建设大模型应用平台的研发团队 希望提升AI应用稳定性和可信度的业务团队 正在探索质量工程智能化升级的管理者 关注研发效能、平台工程和工程治理的技术负责人。AI评测不会只是一个短期热点而会成为AI应用规模化落地过程中不可绕开的基础能力。当AI应用越来越多地进入业务系统质量工程也必须随之进化。在TID质量竞争大会现场腾讯PCG工程效能专家张超将围绕 AI评测质量工程进化 展开分享带来来自真实业务场景的观察、思考与实践经验。AI时代的质量竞争已经不只是测试效率的竞争 更是评测体系、工程平台、数据资产和持续演进能力的竞争。