大模型学习入门：从预训练到微调，小白也能掌握的核心流程（收藏版）

本文系统讲解了大语言模型LLM训练的核心流程涵盖了从预训练到微调的关键概念。内容从让模型“读万卷书”的预训练过程讲起深入浅出地介绍了Embeddings技术如何将文字转为数字向量以及词表与向量的关系如何构成模型的“字典语义地图”。此外还详细解释了前向传播与反向传播的工作原理以及PEFT技术如何高效微调大模型。最后对比了safetensors和GGUF两种模型格式帮助读者全面理解大模型训练的各个环节。一、预训练Pre-training——让模型读万卷书1.1 什么是预训练预训练Pre-training是大模型在大规模通用数据集上进行的初始训练阶段。目标是让模型学习语言的基本结构、常识知识、语法、语义关系等通用能力而不是针对某个特定任务。1.2 预训练的核心特点特点说明数据规模使用数千亿甚至数万亿词的海量文本学习方式自监督学习无需人工标注训练目标学习语言的通用规律和知识输出结果具备通用能力的基座模型1.3 常见的预训练任务1.4 通俗理解预训练就是让大模型读万卷书先成为通才再通过后续步骤成为专才。GPT-3 先在数千亿词语料上预训练学会像人类一样生成连贯文本之后可通过少量标注数据微调用于客服对话、代码生成等具体场景二、Embeddings——将文字变成数字向量2.1 什么是 EmbeddingsEmbeddings嵌入是将离散的符号如单词、句子转换为连续的、低维的实数向量的技术。这些向量能捕捉语义、语法或上下文信息让计算机可以理解人类语言。2.2 直观示例假设三个词经过 Embedding 后词语向量表示简化说明猫[0.8, -0.2, 0.5]狗[0.75, -0.18, 0.48]与猫向量接近都是宠物汽车[-0.3, 0.9, -0.6]与猫向量差别大不同类别2.3 Embeddings 的关键特点特点说明离散转连续文字符号变成可计算的数值向量语义编码向量间的距离反映语义相似度支持推理国王 - 男人 女人 ≈ 女王2.4 静态 vs 动态 Embeddings2.5 应用场景自然语言处理文本分类、语义搜索、机器翻译推荐系统用户和商品的向量化表示多模态CLIP 将图像和文本映射到同一向量空间三、词表与向量的关系——字典与语义地图3.1 核心概念概念作用类比词表Vocabulary定义模型能认识的基本语言单元字典的词条列表Embedding为每个词表项提供语义向量表示每个词条的详细解释3.2 两者的紧密关系词表和 Embedding 就像字典的目录页和正文页——目录告诉你词在第几页正文给你详细解释。关系一一一对应数量绑定词表中有多少个词Embedding 矩阵就有多少行。关系二查表流程使用绑定模型处理文本时必须先用词表找到编号再用编号去 Embedding 矩阵查向量。关系三训练中的角色分工组件训练前训练中作用词表固定不变始终不变提供索引系统Embedding预训练权重加载不断调整优化学习语义含义3.3 Embedding 矩阵结构3.4 关键要点一一对应词表中每个 token 对应 Embedding 矩阵的一行查表机制输入文本 → 分词 → 获取 ID → 从矩阵中取出对应向量覆盖范围词表决定了模型能处理哪些词超出词表的词需要子词切分共同演化词表通常固定Embedding 向量在训练中不断优化3.5 总结没有词表Embedding 无从索引没有 Embedding词表只是符号无法被模型计算。二者共同构成了大模型理解语言的字典 语义地图。四、前向传播与反向传播——模型如何学习4.1 用做菜比喻理解4.2 前向传播Forward Propagation“先做一遍看看味道怎么样”关键点数据从输入层 → 隐藏层 → 输出层单向流动目的是得到预测值并计算损失不改变模型参数只是试做4.3 反向传播Backpropagation“分析哪里调料放多了/少了然后调整”关键点信息从输出层 → 隐藏层 → 输入层反向流动目的是计算每个参数的梯度即该参数对损失的责任梯度用于更新参数优化器如 SGD、Adam4.4 完整的训练循环4.5 一句话总结过程核心作用通俗理解前向传播计算预测和损失“跑一遍模型看看错在哪”反向传播计算参数梯度“搞清楚谁该为错误负责”参数更新调整模型权重“告诉它怎么改”五、PEFT——参数高效微调5.1 什么是 PEFTPEFTParameter-Efficient Fine-Tuning是一类微调技术核心思想是保持预训练模型大部分参数冻结仅训练少量额外参数实现高效、低成本的模型适配。5.2 为什么需要 PEFT全参数微调的痛点问题说明显存消耗巨大需存储所有参数的梯度和优化器状态计算成本高训练时间长算力开销大存储成本高每个任务都要保存完整模型副本5.3 常见的 PEFT 方法5.4 PEFT 的核心优势优势说明节省资源消费级 GPU 可微调百亿模型避免灾难性遗忘主干参数冻结保留预训练知识便于部署每个任务只存几百 MB 增量文件多任务切换加载不同 PEFT 权重即可切换功能5.5 实际案例LoRA7B 参数的 LLaMA 模型5.6 总结PEFT 是四两拨千斤的微调策略——不动大模型主体只训练一小撮聪明的附加参数就能让大模型快速适应新任务。如今PEFT尤其是 LoRA已成为大模型应用落地的标配技术。六、模型格式对比——safetensors vs GGUF6.1 两种格式概述格式开发者主要用途safetensorsHugging Face训练、微调、Python 推理GGUFllama.cpp (Georgi Gerganov)CPU/GPU 本地推理含量化6.2 核心区别对比6.3 详细对比特性safetensorsGGUF是否包含量化❌ 原生不支持 ✅ 可配合 bitsandbytes✅原生支持多种量化依赖环境Python safetensors 库无需 PythonC/C 友好文件内容纯权重张量需配合 config.json自包含架构 权重 分词器典型文件model-00001.safetensorsadapter_model.safetensorsllama-3-8b.Q4_K_M.gguf6.4 格式转换关系6.5 使用场景场景推荐格式用 LoRA 微调 LLaMAsafetensors输出 adapter在 Mac 上用 LM Studio 运行GGUF手机/树莓派本地推理GGUF量化版本服务器端 Python 推理safetensors6.6 总结safetensors 和 GGUF 是兄弟不是父子。它们分别服务于两个主流技术栈safetensors → Hugging Face 生态训练/微调/Python 推理GGUF → llama.cpp 生态本地/边缘设备/C 推理 量化在实际工作中两者经常前后衔接使用先用 safetensors 训练再转为 GGUF 部署。附录核心概念速查表概念一句话解释预训练让模型读万卷书学习通用语言规律Embeddings把文字变成有意义的数字向量词表模型认识的词汇列表与 Embedding 一一对应前向传播模型做预测计算误差反向传播分析误差来源计算调整方向PEFT/LoRA只训练少量参数高效微调大模型safetensorsHugging Face 的模型存储格式GGUFllama.cpp 的量化推理格式最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】