大模型应用-筑基期【02：大模型核心概念入门】

W1 · 知识点02大模型核心概念入门学习目标理解Token、Temperature、Top-P等核心概念以设备维修系统为场景建立大模型工作原理的认知。一、大模型是怎么说话的大模型本质是一个概率预测器。当你输入空压机排气温度过高的常见原因模型一个字一个字地预测最可能的下一个词。用户输入: 空压机排气温度过高的常见原因 模型预测: 1 (0.30) → 空 (0.25) → 冷 (0.20) → ... 选择1后继续: 1. → 冷 → 却 → 器 → 堵 → 塞 → ... → 最终输出: 1. 冷却器堵塞...二、Token模型的阅读单位大模型按Token处理文本不是按字或词。# 设备维修相关的Token示例空压机→ 大约2-3个Token中文通常1-2个字1个Tokenbearing replacement→2个Token设备维修养护系统V2.0→ 大约8-10个Token# 一份维修工单大约有多少Token设备名称3号空压机\n故障描述运行时出现异常振动和噪音排气温度偏高...# 这样一份200字的工单大约 200-300 个Token为什么Token对设备维修系统很重要你的系统每次调用API分析一条工单就要消耗Token假设每天处理100条工单每条工单输入300 Token 输出200 TokenGPT-4o-mini价格输入$0.15/百万Token输出$0.60/百万Token每天成本 ≈ 100 × (300×0.15 200×0.60) / 1,000,000 ≈ $0.0165一年约$6成本可控。但如果模型更贵或数据量更大就需要认真规划了三、Temperature控制输出的创造力Temperature 0最保守 → 设备故障诊断场景适用同样的故障描述每次都给出同样的分析 → 空压机异响 → 永远先说轴承磨损 Temperature 0.7适中 → 生成维修建议或客户回复时适用有一定变化但不离谱 → 每次生成的维修报告措辞略有不同 Temperature 1.5最奔放 → 设备维修场景基本不用你不希望AI在故障诊断时天马行空设备维修系统的参数建议功能模块建议Temperature原因故障诊断分析0 - 0.2需要稳定一致的判断维修方案生成0.3 - 0.5核心步骤固定细节可以灵活客户沟通话术0.7 - 0.9需要自然多样的表达维修报告生成0.3 - 0.5结构严谨措辞专业四、Top-P另一种创造力控制Top-P 0.1 → 故障诊断场景只从最可能的故障原因中选择非常聚焦 Top-P 0.9推荐默认值 → 大部分设备维修场景适用 Top-P 1.0 → 全部可能性都参与适合头脑风暴如设备改造方案讨论实践建议Temperature和Top-P通常只调一个。设备维修系统中建议固定Top-P1.0根据功能模块调Temperature。五、其他常见参数# 设备维修系统的典型API调用参数params{model:gpt-4o-mini,temperature:0.3,# 故障诊断用低温度max_tokens:1000,# 维修方案不需要太长frequency_penalty:0,# 技术文档允许重复术语presence_penalty:0,# 不限制话题范围stop:[\n---],# 用分隔符标记内容结束seed:42,# 固定种子故障诊断结果可复现}六、动手练习练习1Temperature对故障诊断的影响用同一个设备故障描述在不同Temperature下测试故障描述: 3号空压机运行2小时后排气温度从正常的85°C逐渐升高到105°C 同时冷却水出口温度偏高机器无明显异响。 Temperature 0: ___测试3次看是否一致 Temperature 0.5: ___ Temperature 1.0: ___ Temperature 1.5: ___练习2Token计算设备维修场景估算以下设备维修文本的Token数再用Tokenizer验证1. 更换轴承 → 预估___个实际___个 2. 一份500字的维修工单 → 预估___个实际___个 3. 一份设备保养手册约2000字 → 预估___个实际___个练习3为你的系统规划参数| 系统功能 | Temperature | Top-P | max_tokens | 原因 | |---------|-------------|-------|------------|------| | 故障自动分类 | | | | | | 维修工单生成 | | | | | | 保养计划建议 | | | | | | 客户通知短信 | | | | |七、本知识点检验标准能用自己的话解释Token并能估算设备维修文本的Token量能说出Temperature和Top-P的作用知道设备维修系统各模块该用什么参数能计算系统每日的API调用成本八、延伸阅读OpenAI Tokenizer — 在线Token计数工具The Illustrated Transformer — 可视化讲解Transformer