核心概念扫盲——Token、Prompt、Embedding 是什么

一、 什么是大语言模型LLM大语言模型是一种基于深度学习的人工智能模型它能够从海量的文本数据中学习并理解人类语言的模式和规则。这些模型通常包含数十亿甚至更多的参数通过复杂的神经网络结构来模拟人类的语言处理能力。参考之前的文章一文读懂大语言模型通俗点讲是一个大号的词语接龙机器。给它今天天气真它猜下一个字是好。你给它11“它猜下一个字是2”。你给它写一段Java代码实现快速排序它猜接下来一个字符一个字符地吐出完整代码。训练时喂给它几万亿字的文本让它不断练习猜下一个字。使用时你给它一句话它接着往下写。它不是真的理解了什么它是一个超级预测引擎。但这个预测引擎涌现出了看起来像推理、编程、翻译的能力——这就是 GPTGenerative Pre-trained Transformer的神奇之处。二、 Token——大模型的最小单位一句话版大模型不认识字它只认识 Token。我喜欢Java → [我喜欢, Java] Hello world → [Hello, world]Token 不是字不是词是模型自己学出来的一种切分方式。一般情况下1个英文单词 ≈ 1-2个Token1个中文字 ≈ 1.5-2个Token1000个Token ≈ 750个英文单词 ≈ 500个汉字为什么要关心Token因为大模型有两个硬限制限制说明实际影响上下文窗口一次对话能塞多少内容你不能把一本《红楼梦》丢进去问问题按Token计费API调用按Token数收钱你一天调1万次Token用得多就贵得多所以做RAG的时候有个经典优化先把文档检索出最相关的几段再塞给模型而不是把整本书丢进去。三、 Prompt——你跟AI对话的咒语一句话版Prompt就是你发过去的那段文本提示词决定AI输出什么。同样是写一篇产品介绍不同Prompt效果天差地别Prompt 1差写一篇关于智能手表的产品介绍。Prompt 2好你是小米的产品经理模型角色。写一篇智能手表的电商详情页文案目标用户是25-35岁的运动爱好者目标用户重点突出心率监测和续航重点内容语气简洁有力语气要求300字以内长度限制。为什么Prompt 2好因为它给了模型角色、目标用户、重点内容、语气要求、长度限制。这五点就是Prompt工程的核心框架。4. 上下文Context 上下文窗口一句话版上下文就是对话的记忆区上下文窗口就是能记住多长。我我叫孟林洁 AI好的孟林洁 我我刚才说我叫什么 AI你叫孟林洁。 ← 因为上面两轮对话都在上下文窗口里 聊了500轮之后 我我叫什么 AI请问您怎么称呼 ← 上下文窗口装不下了前面的对话被遗忘了不同模型的上下文窗口模型厂商上下文窗口约等于GPT-4oOpenAI128K约10万字Claude 4 OpusAnthropic200K约15万字Gemini 2.5 ProGoogle1M约75万字DeepSeek-V4-ProDeepSeek1M约75万字Qwen3-Max阿里128K约10万字Llama 4Meta128K约10万字5. Embedding——把文字变成数字一句话版把一段话变成一个数学向量语义相近的话向量也相近。猫是一种动物 → [0.23, 0.87, -0.15, ...] 猫咪是一种宠物 → [0.25, 0.82, -0.12, ...] ← 跟上面很接近 今天天气不错 → [-0.67, 0.12, 0.91, ...] ← 跟上面差别很大RAG检索增强生成的核心就是靠 Embedding 来找语义相关的内容用户问题 → 向量化 → 去向量库找最接近的文档片段 → 拼进Prompt → 发给LLM6. Function Calling函数调用一句话版让AI能够调用你的代码。普通模式用户今天武汉天气怎么样 AI抱歉我的知识截止到2024年无法提供实时天气。有了 Function Calling 之后用户今天武汉天气怎么样 AI识别到需要查天气 → 调用 getWeather(武汉) → 拿到结果 AI武汉今天多云转晴18-25℃适合出门。对Java程序员来说Function Calling 就是让 AI 能动态调用我们的Service方法。你写一个getOrderById(String orderId)注册给 LLM用户问帮我查订单123AI 自动调你的方法。7. 温度Temperature——控制AI的想象力Temperature 0.1 → 112确定适合数学/代码 Temperature 0.7 → 春风吹绿了江南岸适中适合写作 Temperature 1.2 → 春天的风把长江南岸吹成了一块抹茶蛋糕跑偏了适合创意实际建议代码生成、数据提取用 0.1对话、内容生成用 0.7头脑风暴用 1.0。写在最后关于大模型相关的其他概念和术语参考Prompt、Agent、RAG、MCP……这些词到底什么关系一条线带你看清大模型的底层逻辑