智能体安全

风险层级、攻击路径、治理对象都变了。智能体安全不是传统AI安全的简单延伸至少有三个根本变化。第一风险层级变了。模型安全主要关注内容生成风险例如幻觉、越狱、违规输出。智能体安全则进入执行风险层它调用了什么工具、访问了什么数据、执行了什么动作都会影响最终后果。第二攻击路径变了。传统AI攻击更多针对模型本身例如Prompt注入、对抗样本、数据投毒。智能体攻击则经常利用Agent的合法权限。攻击者不一定需要攻破系统只要诱导一个拥有正常权限的Agent去做错误动作就可能造成真实损害。第三治理对象变了。模型安全主要治理模型和输出智能体安全治理的是一整套运行体系包括身份、权限、工具、数据、记忆、行为和运行环境。这意味着企业不能只用模型安全思路管理Agent。智能体安全的本质是把一个具备执行能力的数字主体纳入企业安全治理体系。