当 Harness 遇上 CMMI

Harness工程让AI正确地做事CMMI让人正确地做事。把AI当作人CMMI同样适用于AI。一、问题的提出过去两年AI 在工程中的角色发生了根本性变化早期AI 是一次性工具发一条 Prompt拿一个答案结束。现在AI 长期参与产品开发跨任务协作与人或其他 AI 配合甚至会记住上下文、维护状态、调用工具链。当 AI 不再是一次性调用而是持续参与生产过程的角色它就具备了可被管理、可被规范、可被度量的特征——这正是 CMMI能力成熟度模型集成的用武之地。二、核心类比为什么CMMI适用于AI维度人AISkill/Harness模式输入需求文档、任务单Prompt、上下文、工具调用接口输出代码、文档、设计方案生成内容、工具执行结果出错方式理解偏差、粗心、遗漏幻觉、偏离指令、不一致能力差异经验、培训、技能水平模型能力、Prompt 质量、Skill 定义改进方式培训、复盘、流程约束Few-shot、Skill 迭代、输出校验这张表的每一列都说明同一件事AI的行为偏差在结构上与人类高度相似。CMMI 以过程纪律来约束人的偏差同理也可以用来约束 AI 的偏差。三、CMMI关键过程域在Harness工程中的映射3.1需求开发与管理RDM→Skill目标定义AI 也需要需求。Skill的目标描述 AI 的需求文档输入/输出Schema 接口需求约束条件风格、格式、禁止行为 非功能需求实践建议每个 Skill 必须有 objective.md明确 success criteriaSkill 的输入输出契约用 JSON Schema 定义可自动化校验追溯至人类任务或产品需求建立双向可追溯性3.2计划PLAN监控管理MC→Harness执行计划AI 任务也是工作包。Skill调用计划 项目计划Token /成本预算 资源估算重试策略、降级策略 风险管理执行日志 过程可追溯实例实践建议每次 AI 执行 一个可度量的工作单元记录失败率、一致性指标建立过程性能基线PPB对超出预算Token/时间的任务触发告3.3配置管理CM→Prompt/Skill/脚本版本化AI 的产物同样需要版本化这是最容易忽视却最关键的一点。Prompt 版本Skill 版本脚本版本知识库 / Few-shot 示例版本实践建议Git 管理 skills/、harness/、prompts/ 目录每个 AI 输出必须可追溯至Model versionSkill versionInput snapshot输入快照改变 Prompt 或 Skill 后必须有回归测试3.4过程资产开发PAD过程管理PCM→定义AI正确做事的标准这是 CMMI 与 Harness 工程结合的核心如何写SkillSOP 定义如何验证Skill验证与确认如何评审AI输出同行评审何时人工介入门禁机制如何升级Skill持续改进CARSkill的标准目录结构参考PAD思想skill/├── prompt.md #作业指导书SOP├── schema.in.json #输入需求├── schema.out.json #输出契约├── examples/ #培训样例Few-shot├── test-cases/ #验证材料└── metric.md #绩效考核标准3.5验证与确认VV→AI输出不是终点AI 生成的内容是中间产品不是最终交付物。AI 生成代码 → 静态检查 单元测试AI 生成方案 → 人评审 / A/B 测试AI 调用结果 → 契约校验Schema 验证实践建议自动校验脚本schema / test / lint作为必经门禁AI 输出不能直接合并到主干必须通过人工签名门禁交叉验证AI 审 AI多模型交叉人审 AI抽样审计3.6绩效管理MPM→过程能力基线这是 CMMI 量化管理的核心也是 AI 工程最值得投入的方向。度量指标对应CMMI实践工程意义一次通过率PLAN/MPMSkill 质量的直接反映人工干预率MCAI 自主能力的上限回归错误率VV输出稳定性Token 效率Token/任务EST成本可控性平均重试次数MC过程可靠性这些指标累积起来就是 AI 的过程性能基线PPB可以用来做预测和量化管理。四、为什么这是必然可行的4.1 AI已从工具变为角色当 AI 拥有持久状态上下文窗口 / 记忆文件工具调用能力读文件、执行代码、调 API多轮协作能力与人对话、与其他 AI 配合它就不再是一个函数调用而是一个有角色职责的加工者。对加工者的管理CMMI 有 30 年的积累。4.2 Harness工程已经是过程工程Harness脚本编排、Skill 调度、工具链整合的本质是过程控制流顺序 / 分支 / 重试 / 人工审批对应 CMMI 的流程定义、过程监控、风险管理所以 Harness 工程与 CMMI 的结合不是勉强套用而是天然契合。4.3 CMMI的本质不是人而是可控、可改进的过程CMMI 的每一个实践域描述的都是如何确保一群执行者的输出是可预期的、可追溯的、可改进的这个定义里没有人这个限定词。执行者是人或者是 AI在过程管理的意义上是等价的。4.4不引入过程纪律AI规模化管理必然失控这是最根本的判断。当你有10 个 Skill100 个 Prompt 模板1000 次 AI 调用/天没有版本管理、没有输出校验、没有性能度量系统必然会退化——Prompt 漂移、Skill 冲突、输出质量不可控。CMMI 就是防止这种退化的工程纪律。5 再次强调Harness工程解决AI能不能把事做成CMMI解决AI是否持续、可靠、可控地把正确的事做成。当AI成为生产成员CMMI就是它的工程纪律。