2025_NIPS_Joint Prompt Optimization of Stacked LLMs using Variational Inference

文章核心总结与翻译一、主要内容本文提出深度语言网络（Deep Language Network, DLN），将大型语言模型（LLMs）视为可堆叠的随机语言层，通过学习各层的自然语言提示词（prompt）实现任务优化。核心内容包括：模型架构：1层DLN（DLN-1）：通过提示词优化，将指令与任务示例结合，实现输入到输出的直接映射。2层DLN（DLN-2）：引入潜在变量（第一层输出），通过变分推断联合优化两层提示词，形成残差连接结构，将复杂任务分解为子任务。关键技术：提示词优化：扩展自动提示词工程师（APE）方法，通过局部搜索生成候选提示词，结合模型预测误差动态优化。变分推断：将隐藏层输出视为潜在变量，通过证据下界（ELBO）分解优化目标，采用后验锐化提升近似后验与真实后验的匹配度。多样性策略：通过元指令池、批量示例随机子集等保证候选提示词多样性，结合回溯与记忆机制提升训练稳定性。实验验证：在9个NLP和推理任务（含BigBench-Hard、情感分析等）中，DLN-1优于APE、少样本学习（ICL）等基线，部分任务超越GPT-4零样本表现。DLN-2在空间/时间推理任务中进一步提升性能，平均较DLN-1提高