揭秘ArcANE：语言角色能否在故事中真实成长？

ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?论文链接https://arxiv.org/pdf/2606.05553v1作者:Woojung Song, Nalim Kim, Sangjun Song, Chaewon Heo, Jongwon Lim, Yohan Jo核心发表单位Seoul National University论文详细解读:ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?Authors: Woojung Song, Nalim Kim, Sangjun Song, Chaewon Heo, Jongwon Lim, Yohan Jo机构: Graduate School of Data Science, Seoul National UniversityYear: 2026 |arXiv: 2606.05553二、研究背景与动机 / Background Motivation角色扮演语言智能体RPLA已成为对话 AI 的热门应用但现有评测基准将角色视为静态目标——评测角色是谁而非现在的角色如何行动。核心问题如图所示哈利·波特在第 1 册的道德立场惩罚性正义与第 5 册共情宽恕截然不同。仅仅知道哈利是正义的不足以预测他在特定叙事阶段的具体行为。现有基准的局限性仅测量特定章节的事实回溯TimeCHARA而非行为是否与角色的心理轨迹对齐未测试角色在原文未探索的情景中是否沿弧线一致行动将角色心理视为全程不变的稳定特征McAdams Layer 1而非随叙事积累演变Layer 2ArcANE 的核心假设对同一情景在故事不同阶段提问应该引发不同回答——如果模型无法做到这一点说明它只是在复述一个固定人设而非真正理解角色的演化轨迹。—|------|---------||In-Scenario| 场景直接取自原文段落 | 可从原文检索 ||In-World| 原文设定内的新场景原文未写 | 需要对原文世界的理解 ||Out-of-World| 场景被移置到非原文时代/背景 | 只能依赖角色弧线本身 |生成流程三阶段弧线前准备提取行为对比behavioral contrast、生命阶段标签life-stage tag、Out-of-World 年代无关轴探针起草设计 LLM 为每个目标阶段类别对生成探针其余 N-1 阶段作为反事实回答验证与过滤Q-Voice角色一致性、Q-PhaseFit阶段拟合、Q-Anchor/Q-World场景合规多轮验证人类标注流程图4轴评分的人类标注界面。图5LLM 评判标注界面。3.4 数据集统计 / Dataset Statistics划分小说数角色数弧线数探针数SFT 行数训练集10483082,54545,690测试集验证5252051,754—测试集低知名度未验证2731302—合计17805444,60145,6903.5 ArcANE 微调模型 / Fine-tuned Models基于 Qwen3-8B/32B 进行两阶段训练阶段一SFT训练数据45,690 行Arc 和 Summary 两种上下文模式Teacher 模型gpt-5.4-mini claude-sonnet-4-6双 teacher 降低单一偏差阶段二DPO偏好对构建以弧线锚定阶段回答为 chosen相邻阶段回答为 rejected14,671 偏好对2,516 个探针配置ArcANE-8BArcANE-32B基础模型Qwen3-8BQwen3-32B微调方式FullLoRA (r64, α128)SFT 训练时间2h 38m9h 49mDPO 训练时间3h 44m14h 3mGPU1× NVIDIA B200 (192GB)同左—|---------------|-------------|------|| DeepSeek-V4-Pro | LifeChoice: 57.7 |62.4| 4.7 || DeepSeek-V4-Flash | LifeChoice: 56.1 |59.7| 3.6 || Qwen3-32B | RAG: 47.2 |50.1| 2.9 || Qwen3-8B | RAG: 40.9 |43.1| 2.2 || ArcANE-32B | RAG: 52.0 |60.4| 8.4 || ArcANE-8B | RAG: 48.5 |56.9| 8.4 |Arc 优势随探针类别升高以 DeepSeek-V4-Pro 为例探针类别Arc vs. 最强非 Arc 优势In-Scenario0.5 ppIn-World5.2 ppOut-of-World7.7 pp这符合设计预期In-Scenario 可从原文检索RAG 已足够Out-of-World 检索无内容可找只有 Arc 能提供阶段信息。PTF轨迹指标上优势更大DeepSeek-V4-Pro Out-of-World PTFArc vs. 最强非 Arc 8.2 pp表明 Arc 不仅提升单阶段准确度更让模型沿正确方向、以正确形状移动。4.4 额外模型结果 / Additional Models图6更多角色扮演基线和 ArcANE 模型的逐类别 Arc 优势Arc 减去最强非 Arc。SFT/DPO 两阶段在每个规模旁并排显示。扩展至 HER-32B、CoSER-8B/70B 等角色扮演专用模型Arc 优势同样在 In-World 和 Out-of-World 上成立。ArcANE 模型内部DPO 阶段在 In-World 和 Out-of-World 上进一步放大优势ArcANE-32B 的 Out-of-World Arc 优势从 7.3 提升到 12.5代价是 In-Scenario 略有下降。4.5 消融实验 / Ablation StudyArc 来源效应消融图7三个模型在验证子集上的 Arc 来源效应消融。MixedArc错误角色的弧线和 ArcHint极简轴标签与完整 Arc 的性能对比。DS 指 DeepSeek。MixedArc插入同小说另一角色的弧线在 Qwen3-32B 和 ArcANE-32B 上低于 Vanilla反驳了结构化上下文加成和来源泄露两种替代解释——错误内容会主动误导训练模型ArcANE-32B Per-Phase Average 下降 4.7 分ArcHint每条轴只保留一行 Axis/Phase 标签约 40× 上下文压缩对 DeepSeek-V4-Flash 和 Qwen3-32B 跟踪 Arc 在 ±2.6 分内说明轴标签当前阶段索引已足以传递完整 Arc 优势对一般模型ArcANE-32B 只恢复一半优势说明 DPO 增益依赖完整的逐阶段散文SFT vs. DPOSFT 总体将 Arc Overall 从 50.1 提升到 58.4但 In-World/Out-of-World 的 Arc 优势仅 7.3DPO 进一步在 Out-of-World 上扩大到 12.5机制是让模型更好地沿弧线轨迹方向移动而非固守单一阶段声音。—|---------|---------|-------|-------|-------|---------|| PsychoBench | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ || InCharacter | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ || TimeCHARA | ✓ | ✓ | ✓ | ✗ | ✓ |✗仅事实 || HPD | ✓ | ✓ | ✓ | ✗ | ✓ | ✓部分 ||ArcANE本文|✓|✓|✓|✓|✓|✓|核心区别ArcANE 是唯一同时支持叙事外场景 时序行为变化评测的基准TimeCHARA 只测事实知识而非行为心理现有基准均将角色视为静态目标。七、总结 / Conclusion本文提出ArcANEArc-Aware Narrative Evaluation首个专门测试 RPLA 是否在正确叙事时点以正确方式行动的基准。数据集17 部小说、80 个角色、544 条 Character Arc、4,601 个探针涵盖 In-Scenario / In-World / Out-of-World 三类难度场景关键发现Arc 条件化上下文在 6 个模型上全面领先在 Out-of-World 场景检索无效优势最大证明显式心理轨迹表示是提升 RPLA 角色准确度的有效方式ArcANE 模型SFTDPO 两阶段训练进一步放大 Arc 优势DPO 特别有效于让模型沿轨迹方向移动而非固守单一阶段泛化性结论在低知名度小说排除记忆泄露、多种角色扮演专用模型上均成立核心结论角色扮演评测不应只问这个角色是谁而应问这个角色此时此刻如何行动——Character Arc 是连接两者的关键结构。原文摘要:Role-playing language agents (RPLAs) should play characters whose values and behavior evolve as the story progresses, not maintain a fixed persona. Existing benchmarks measure factual recall at a given chapter, not whether responses align with the character’s psychological trajectory, especially in scenarios the source text never explores. We introduce ArcANE (Arc-Aware Narrative Evaluation), an automatically constructed benchmark spanning 17 novels and 80 principal characters. A Character Arc segments the narrative into phases along a psychological axis, and each probe poses the same scenario across phases, spanning both situations within the source text and situations beyond it. Across six models and six context modes, conditioning on the Character Arc tops every other context strategy on every model, and the gap is largest on scenarios outside the source text where retrieval has nothing to find. We further fine-tune open-weight models on the same data to obtain ArcANE-8B/32B, which widen the Arc advantage even more on scenarios outside the source text.PDF链接:https://arxiv.org/pdf/2606.05553v1部分平台可能图片显示异常请以我的博客内容为准