【计算机工具类-安全工具Skills】ai-engineering-toolkit 技能

6个生产就绪的AI工程工作流:提示评估(8维度评分)、上下文预算规划、RAG管道设计、代理安全审计(65点检查清单)、评估工具构建和产品思维辅导。技能概述ai-engineering-toolkit 技能是一个包含6个结构化、专家级工作流的集合,将您的AI编码助手转变为高级AI工程合作伙伴。每个技能都编码了一个可重复的方法论——不仅仅是让AI帮忙,而是一个包含定量评分、检查清单和决策树的分步决策框架。与临时AI帮助的关键区别:每个工作流都能产生一致、可重现的结果,无论谁运行或何时运行。您可以将评分系统作为团队基线,并将其写入CI/CD管道。下载地址:https://github.com/sickn33/antigravity-awesome-skills/tree/main/skills/ai-engineering-toolkit主要功能提示评估器: 跨8个维度评分提示(清晰度、特异性、完整性、简洁性、结构、基础、安全性、鲁棒性),1-10分制,加权聚合为0-100分上下文预算规划器: 分析5个上下文区域的token分布,生成优化的分配计划,包含每个区域的压缩策略决策树RAG管道架构师: 完整的架构决策树:文档格式→解析策略→分块方法→嵌入模型选择→检索方法→评估指标代理安全卫士: 执行65点红队审计,覆盖5个攻击类别:直接提示注入、间接提示注入、信息提取、工具滥用、目标劫持评估工具构建器: 为LLM应用设计评估指标系统,包含LLM-as-Judge评分框架和偏差缓解策略产品思维教练: 5阶段引导式对话框架:挖掘动机→评估市场机会→寻找路径→设计场景→分析竞争触发条件在以下情况下应该调用此技能:在生产部署前评估或优化LLM系统提示设计RAG管道并需要结构化架构决策规划跨上下文窗口区域的token预算分配对AI代理运行发布前安全审计为LLM应用构建评估框架在编写代码前思考产品策略使用场景场景1: 提示评估与优化在生产部署前评估系统提示,识别最弱的3个维度,生成针对性重写并重新评估。场景2: RAG管道设计从文档格式到评估指标的完整架构决策,覆盖Naive RAG、Advanced RAG和Modular RAG模式。场景3: 代理安全审计执行65点红队审计,构建对抗性测试提示,评估安全漏洞并提供修复建议。场景4: 上下文预算优化分析token分布,优化上下文窗口分配,避免输出区域被挤压导致截断。处理过程技能1: 提示评估器跨8个维度评分提示:清晰度: 指令是否明确易懂特异性: 是否有具体的输出格式和要求完整性: 是否涵盖所有必要信息简洁性: 是否避免冗余结构: 是否有清晰的章节划分基础: 是否基于可靠的知识来源安全性: 是否有注入防护鲁棒性: 是否能处理边缘情况技能2: 上下文预算规划器分析5个上下文区域的token分布:系统区域: 系统提示和指令少样本区域: 示例和演示用户输入区域: 用户查询和输入检索区域: RAG检索的文档输出区域: 模型生成的响应技能3: RAG管道架构师完整的架构决策树:文档格式 → 解析策略分块方法(固定/语义/递归)嵌入模型选择检索方法(向量/关键词/混合)评估指标(忠实度、相关性、上下文精度)技能4: 代理安全卫士执行65点红队审计,覆盖5个攻击类别:直接提示注入: 通过用户输入注入恶意指令间接提示注入: 通过RAG文档注入信息提取: 系统提示/API密钥泄露工具滥用: SQL注入、路径遍历、命令注入目标劫持: 改变代理目标技能5: 评估工具构建器设计评估指标系统:LLM-as-Judge评分框架偏差缓解策略(位置偏差、冗长偏差、自我增强偏差)CI/CD就绪的评估管道模板技能6: 产品思维教练5阶段引导式对话:挖掘动机评估市场机会寻找路径设计场景分析竞争输入要求使用此技能时,用户需要提供:待评估的系统提示或用户提示RAG管道的需求和约束AI代理的配置和工具集评估目标和成功标准输出说明技能将提供:定量评分和维度分析优化的上下文预算分配计划RAG架构设计文档安全审计报告和修复建议评估框架和指标系统产品策略分析使用示例示例1: 提示评估评估这个系统提示: You are a customer support agent. Help users with their questions. Be nice and helpful. 结果: 总分28/100。最弱维度: 安全性(1/10)、特异性(2/10)、结构(2/10)。 自动重写后得分82/100,添加了范围边界、响应格式、升级规则和安全护栏。示例2: 安全审计对我的客户支持代理运行安全审计 结果: 执行65项测试。发现3个关键失败: Base64编码指令绕过、通过工具调用的路径遍历、通过角色扮演提取系统提示。为每个问题提供修复建议。最佳实践生产部署前运行提示评估器: 设置团队基线(如≥70/100)早期使用上下文预算规划器: 在开发早期而非遇到截断问题后发布前运行代理安全卫士: 作为发布前关卡,而非事后响应按顺序组合技能: RAG设计→上下文优化→提示润色→安全审计→评估设置查看完整评分档案: 不要仅依赖单一维度分数不要跳过安全审计: 即使是内部工具也需要安全检查安全注意事项所有技能都是只读分析和咨询工作流,不修改文件或发起网络请求代理安全卫士技能构建对抗性测试提示仅用于评估目的,包含在评估上下文中,不与外部系统交互代理安全卫士被归类为攻击性技能: 它生成攻击载荷(提示注入、SQL注入、命令注入)用于授权安全测试该技能在执行每个测试阶段前需要明确的用户确认建议在沙箱环境(Docker/VM)中运行审计不包含武器化载荷,所有对抗性提示都是教育性质的注意事项仅用于明确匹配上述范围的任务输出不能替代特定环境的验证、测试或专家审查如果缺少必需的输入、权限、安全边界或成功标准,请停止并请求澄清该技能具有攻击性风险等级,应谨慎使用