【2026超详细汇总】大模型面经指南（附答案）

本文将深入探讨大模型LLMs的进阶技巧覆盖系统设计、提示词工程、平台应用开发、知识库应用、微调开发、垂直领域模型训练以及多模态大模型应用等方面。内容将结合CSDN平台爆款文章和爆款标题的风格为读者提供全面且实用的指导。目录大模型LLMs基础面目前 主流的开源模型体系 有哪些prefix LM 和 causal LM 区别是什么涌现能力是啥原因大模型LLM的架构介绍大模型LLMs进阶面llama 输入句子长度理论上可以无限长吗什么是 LLMs 复读机问题为什么会出现 LLMs 复读机问题如何缓解 LLMs 复读机问题LLMs 复读机问题llama 系列问题什么情况用Bert模型什么情况用LLaMA、ChatGLM类大模型咋选各个专业领域是否需要各自的大模型来服务如何让大模型处理更长的文本大模型LLMs微调面如果想要在某个模型基础上做全参数微调究竟需要多少显存为什么SFT之后感觉LLM傻了?SFT 指令微调数据 如何构建?领域模型Continue PreTrain 数据选取领域数据训练后通用能力往往会有所下降如何缓解模型遗忘通用能力领域模型Continue PreTrain 如何 让模型在预训练过程中就学习到更多的知识进行SFT操作的时候基座模型选用Chat还是Base?领域模型微调 指令数据输入格式 要求领域模型微调 领域评测集 构建领域模型词表扩增是不是有必要的如何训练自己的大模型训练中文大模型有啥经验指令微调的好处预训练和微调哪个阶段注入知识的想让模型学习某个领域或行业的知识是应该预训练还是应该微调多轮对话任务如何微调模型微调后的模型出现能力劣化灾难性遗忘是怎么回事微调模型需要多大显存大模型LLM进行SFT操作的时候在学习什么预训练和SFT操作有什么不同样本量规模增大训练出现OOM错大模型LLM进行SFT 如何对样本进行优化模型参数迭代实验大模型LLMslangchain面基于LLM向量库的文档对话 基础面基于LLM向量库的文档对话 优化面基于LLM向量库的文档对话 工程示例面LLMs 存在模型幻觉问题请问如何处理基于LLM向量库的文档对话 思路是怎么样基于LLM向量库的文档对话 核心技术是什么基于LLM向量库的文档对话 prompt 模板 如何构建痛点1文档切分粒度不好把控既担心噪声太多又担心语义信息丢失痛点2在基于垂直领域 表现不佳痛点3langchain 内置 问答分句效果不佳问题痛点4如何 尽可能召回与query相关的Document 问题痛点5如何让LLM基于query和context得到高质量的response避坑记录本地知识库问答系统Langchain-chatGLM什么是 LangChain?LangChain 包含哪些 核心概念什么是 LangChain Agent?如何使用 LangChain ?LangChain 支持哪些功能?什么是 LangChain model?LangChain 包含哪些特点?LangChain 如何使用?LangChain 存在哪些问题及方法方案LangChain 替代方案LangChain 中 Components and Chains 是什么LangChain 中 Prompt Templates and Values 是什么LangChain 中 Example Selectors 是什么LangChain 中 Output Parsers 是什么LangChain 中 Indexes and Retrievers 是什么LangChain 中 Chat Message History 是什么LangChain 中 Agents and Toolkits 是什么LangChain 如何调用 LLMs 生成回复LangChain 如何修改 提示模板LangChain 如何链接多个组件处理一个特定的下游任务LangChain 如何Embedding vector storeLangChain 低效的令牌使用问题LangChain 文档的问题LangChain 太多概念容易混淆过多的“辅助”函数问题LangChain 行为不一致并且隐藏细节问题LangChain 缺乏标准的可互操作数据类型问题大模型LLMslangchain 面基于LLM向量库的文档对话 经验面大模型LLMs参数高效微调(PEFT) 面一、LoRA篇二、QLoRA篇三、AdaLoRA篇四、LoRA权重是否可以合入原模型五、ChatGLM-6B LoRA后的权重多大六、LoRA 微调优点是什么七、LoRA微调方法为啥能加速训练八、如何在已有LoRA模型上继续训练1.1 什么是 LoRA1.2 LoRA 的思路是什么1.3 LoRA 的特点是什么2.1 QLoRA 的思路是怎么样的2.2 QLoRA 的特点是什么3.1 AdaLoRA 的思路是怎么样的一、为什么需要 提示学习Prompting二、什么是 提示学习Prompting三、提示学习Prompting 有什么优点四、提示学习Prompting有哪些方法能不能稍微介绍一下它们间4.4.1 为什么需要 P-tuning v24.4.2 P-tuning v2 思路是什么4.4.3 P-tuning v2 优点是什么4.4.4 P-tuning v2 缺点是什么4.3.1 为什么需要 P-tuning4.3.2 P-tuning 思路是什么4.3.3 P-tuning 优点是什么4.3.4 P-tuning 缺点是什么4.2.1 为什么需要 指示微调Prompt-tuning4.2.2 指示微调Prompt-tuning思路是什么4.2.3 指示微调Prompt-tuning优点是什么4.2.4 指示微调Prompt-tuning缺点是什么4.2.5 指示微调Prompt-tuning与 Prefix-tuning 区别 是什么4.2.6 指示微调Prompt-tuning与 fine-tuning 区别 是什么4.1.1 为什么需要 前缀微调Prefix-tuning4.1.2 前缀微调Prefix-tuning思路是什么4.1.3 前缀微调Prefix-tuning的优点是什么4.1.4 前缀微调Prefix-tuning的缺点是什么4.1 前缀微调Prefix-tuning篇4.2 指示微调Prompt-tuning篇4.3 P-tuning 篇4.4 P-tuning v2 篇一、为什么 需要 适配器微调Adapter-tuning二、适配器微调Adapter-tuning思路三、 适配器微调Adapter-tuning特点是什么四、AdapterFusion 思路 是什么五、AdapterDrop 思路 是什么六、AdapterDrop 特点 是什么七、MAM Adapter 思路 是什么八、MAM Adapter 特点 是什么微调方法是啥如何微调为什么需要 PEFT介绍一下 PEFTPEFT 有什么优点微调方法批处理大小模式GPU显存速度Peft 和 全量微调区别多种不同的高效微调方法对比当前高效微调技术存在的一些问题高效微调技术最佳实践PEFT 存在问题能不能总结一下各种参数高效微调方法大模型LLMs参数高效微调(PEFT) 面适配器微调Adapter-tuning篇提示学习PromptingLoRA 系列篇大模型LLMs推理面为什么大模型推理时显存涨的那么多还一直占着大模型在gpu和cpu上推理速度如何推理速度上int8和fp16比起来怎么样大模型有推理能力吗大模型生成时的参数怎么设置有哪些省内存的大语言模型训练/微调/推理方法如何让大模型输出合规化应用模式变更大模型LLMs评测面大模型怎么评测大模型的honest原则是如何实现的模型如何判断回答的知识是训练过的已知的知识怎么训练这种能力大模型LLMs强化学习面奖励模型需要和基础模型一致吗RLHF 在实践过程中存在哪些不足如何解决 人工产生的偏好数据集成本较高很难量产问题如何解决三个阶段的训练SFT-RM-PPO过程较长更新迭代较慢问题如何解决 PPO 的训练过程同时存在4个模型2训练2推理对计算资源的要求较高 问题大模型LLMs软硬件配置面大模型LLMs训练集面SFT有监督微调的数据集格式RM奖励模型的数据格式PPO强化学习的数据格式找数据集哪里找微调需要多少条数据有哪些大模型的训练集进行领域大模型预训练应用哪些数据集比较好大模型LLMs显存问题面大模型LLMs分布式训练面大模型LLMsagent 面如何给LLM注入领域知识如果想要快速体验各种模型该怎么办Token及模型参数准备篇预训练数据 Token 重复 是否影响 模型性能SFT需要训练Token数LLMs 位置编码篇6.1 ALiBi (Attention with Linear Biases) 思路是什么6.2 ALiBi (Attention with Linear Biases) 的偏置矩阵是什么有什么作用6.3 ALiBi (Attention with Linear Biases) 有什么优点6.4 ALiBi (Attention with Linear Biases) 被哪些 LLMs 应用5.1 什么是 长度外推问题5.2 长度外推问题 的 解决方法 有哪些4.1 旋转位置编码 RoPE 思路是什么4.2 推导一下 旋转位置编码 RoPE 4.3 旋转位置编码 RoPE 有什么优点4.4 旋转位置编码 RoPE 被哪些 LLMs 应用1 什么是位置编码2 什么是绝对位置编码3 什么是相对位置编码4 旋转位置编码 RoPE篇5 长度外推问题篇6 ALiBi (Attention with Linear Biases)篇LLMs Tokenizer 篇Byte-Pair Encoding(BPE)篇WordPiece 篇SentencePiece 篇对比篇1 Byte-Pair Encoding(BPE) 如何构建词典1 WordPiece 与 BPE 异同点是什么简单介绍一下 SentencePiece 思路1 举例 介绍一下 不同 大模型LLMs 的分词方式2 介绍一下 不同 大模型LLMs 的分词方式 的区别LLMs Tokenizer 篇Layer Normalization 篇LLMs 各模型分别用了 哪种 Layer normalization1 LN 在 LLMs 中的不同位置 有什么区别么如果有能介绍一下区别么Layer Norm 篇RMS Norm 篇 均方根 NormDeep Norm 篇Deep Norm 有什么优点Layer Norm 的计算公式写一下RMS Norm 的计算公式写一下RMS Norm 相比于 Layer Norm 有什么特点Deep Norm 思路写一下 Deep Norm 代码实现Layer normalization-方法篇Layer normalization-位置篇Layer normalization 对比篇答案基础面1 目前 主流的开源模型体系 有哪些1 介绍一下 FFN 块 计算公式2 介绍一下 GeLU 计算公式3 介绍一下 Swish 计算公式4 介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式5 介绍一下 使用 GeLU 的 GLU 块 计算公式6 介绍一下 使用 Swish 的 GLU 块 计算公式各LLMs 都使用哪种激活函数目前主流的开源LLM语言模型模型体系包括以下几个GPTGenerative Pre-trained Transformer系列由OpenAI发布的一系列基于Transformer架构的语言模型包括GPT、GPT-2、GPT-3等。GPT模型通过在大规模无标签文本上进行预训练然后在特定任务上进行微调具有很强的生成能力和语言理解能力。BERTBidirectional Encoder Representations from Transformers由Google发布的一种基于Transformer架构的双向预训练语言模型。BERT模型通过在大规模无标签文本上进行预训练然后在下游任务上进行微调具有强大的语言理解能力和表征能力。XLNet由CMU和Google Brain发布的一种基于Transformer架构的自回归预训练语言模型。XLNet模型通过自回归方式预训练可以建模全局依赖关系具有更好的语言建模能力和生成能力。RoBERTa由Facebook发布的一种基于Transformer架构的预训练语言模型。RoBERTa模型在BERT的基础上进行了改进通过更大规模的数据和更长的训练时间取得了更好的性能。T5Text-to-Text Transfer Transformer由Google发布的一种基于Transformer架构的多任务预训练语言模型。T5模型通过在大规模数据集上进行预训练可以用于多种自然语言处理任务如文本分类、机器翻译、问答等。这些模型在自然语言处理领域取得了显著的成果并被广泛应用于各种任务和应用中。2 prefix LM 和 causal LM 区别是什么Prefix LM前缀语言模型和Causal LM因果语言模型是两种不同类型的语言模型它们的区别在于生成文本的方式和训练目标。Prefix LM前缀语言模型是一种生成模型它在生成每个词时都可以考虑之前的上下文信息。在生成时前缀语言模型会根据给定的前缀即部分文本序列预测下一个可能的词。这种模型可以用于文本生成、机器翻译等任务。Causal LM因果语言模型是一种自回归模型它只能根据之前的文本生成后续的文本而不能根据后续的文本生成之前的文本。在训练时因果语言模型的目标是预测下一个词的概率给定之前的所有词作为上下文。这种模型可以用于文本生成、语言建模等任务。总结来说前缀语言模型可以根据给定的前缀生成后续的文本而因果语言模型只能根据之前的文本生成后续的文本。它们的训练目标和生成方式略有不同适用于不同的任务和应用场景。3 涌现能力是啥原因大模型的涌现能力主要是由以下几个原因造成的数据量的增加随着互联网的发展和数字化信息的爆炸增长可用于训练模型的数据量大大增加。更多的数据可以提供更丰富、更广泛的语言知识和语境使得模型能够更好地理解和生成文本。计算能力的提升随着计算硬件的发展特别是图形处理器GPU和专用的AI芯片如TPU的出现计算能力大幅提升。这使得训练更大、更复杂的模型成为可能从而提高了模型的性能和涌现能力。模型架构的改进近年来一些新的模型架构被引入如Transformer它在处理序列数据上表现出色。这些新的架构通过引入自注意力机制等技术使得模型能够更好地捕捉长距离的依赖关系和语言结构提高了模型的表达能力和生成能力。预训练和微调的方法预训练和微调是一种有效的训练策略可以在大规模无标签数据上进行预训练然后在特定任务上进行微调。这种方法可以使模型从大规模数据中学习到更丰富的语言知识和语义理解从而提高模型的涌现能力。综上所述大模型的涌现能力是由数据量的增加、计算能力的提升、模型架构的改进以及预训练和微调等因素共同作用的结果。这些因素的进步使得大模型能够更好地理解和生成文本为自然语言处理领域带来了显著的进展。最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】