2025_NIPS_Hierarchical Adaptive Value Estimation for Multi-modal Visual Reinforcement Learning

文章总结与翻译一、主要内容本文聚焦多模态视觉强化学习（RL）问题，针对现有方法采用的全局价值估计（GVE）范式在特征级融合时忽略各模态独特价值、易产生模态间负干扰的缺陷，提出了一种分层自适应价值估计（HAVE）框架。该框架核心包含三部分：局部模态定制价值估计（LVE）：从价值层面动态估计各模态的贡献并调整权重，通过为每个模态设计独立的价值函数，结合注意力机制的分配网络计算模态权重，实现价值级融合，提升决策灵活性。任务上下文重融合过程：构建融合网络，以任务奖励为导向，将GVE的特征级融合优势与LVE的价值级融合优势相结合，实现任务层面的平衡。统一学习框架：基于软演员-评论员（SAC）算法，整合策略评估、策略改进及辅助损失（奖励预测、 latent 状态预测），形成完整的训练流程。实验在CARLA自动驾驶模拟器中开展，采用RGB帧、神经形态事件信号、深度数据三种模态，在八种天气条件下进行测试。结果表明，HAVE框架在 episode 奖励和行驶距离上均优于SAC、DrQ、TransFuser等现有方法，且能有效应对极端环境，避免模态主导和模态崩溃问题。二、创新点提出分层自适应价值估计（HAVE）框架，首次从价值层面切入多模态融合问题，通过LVE范式实现基于模态重要性的优化奖励分配，突破了传统特征级融合的局限。