强化学习的数学原理 学习笔记

视频资源https://www.bilibili.com/video/BV1sd4y167NS/?spm_id_from333.337.search-card.all.clickvd_sourceec24b6849ccef697ae8281501f02da61以下所有PPT的截图都来自于老师课件可在视频链接中获取Chapter 1state state spaceactionaction spaceof a statestate transitionQ: penalty 设置的不合理 是不是训练结果就不理想了 和cost function 设置异曲同工是的penalty正则化惩罚项设置不合理确实会导致训练结果不理想这和代价函数cost function设计不当的影响是异曲同工甚至相辅相成的一方面如果 penalty 的类型L1/L2或系数 λ 选得不合适比如 λ 过大容易欠拟合、λ 过小无法抑制过拟合都会让模型在验证集上的泛化效果变差另一方面cost function 若不能正确衡量任务目标如分类用均方误差、正负样本严重失衡未加权等同样会使优化方向偏离最优解。二者本质都是在影响目标函数total loss cost function penalty的形貌与优化路径——cost function 引导模型去拟合数据分布penalty 约束模型复杂度防止过拟合任一方设计失当都会让最终学到的参数并非真正最优从而导致训练或泛化结果不理想。Case 1 可能虽然惩罚 但是整体更近比较受限只能表示确定的情况实际可能一个状态transit到不同的情况现在状态是s1 我采取a2的行动 跳到s2 的概率是1如果是 stochastic 情况 可能各自是0.5policy用箭头来表示复杂情况则使用数学方式表达 pi 是条件概率在状态S1下采取a1的概率为x也分为 deterministic 和stochastic 情况表格形式也可以表达rewardQ一般reward 我要怎么设计才合理 是不是和penalty要一样 怎么在实际中调整我的惩罚和奖励在实际调 reward 时核心是先保证“信号干净、尺度一致”再慢慢平衡奖励和惩罚而不是追求数学对称。你可以先把 reward 拆成三部分完成主目标的稀疏大奖励比如任务成功给 1、过程小奖励如接近目标给 0.01、以及行为惩罚如每步 -0.001、撞墙 -0.1。惩罚不要和奖励硬对齐而是用来“压掉坏行为、拉长探索时间”比如步数惩罚是为了鼓励高效策略违反约束的惩罚要明显大于单步收益避免模型学会“靠犯错刷分”。实际调参时先用只有 reward 的简化环境看能否学到基础行为再逐步加入 penalty观察 reward curve如果 early stopping 太早、策略很保守就减小 penalty 或给更多过程奖励如果疯狂试探边界、频繁违规就适当加大对应惩罚。最后记得做 reward scaling把总 reward 控制在相近量级比如 [-1,1] 或 [-10,10]避免某一块主导梯度这样训练会更稳、调参也更直观reward 形式也可以是随机的trajectory and returnreturn 是一个总的reward防止在变大的sum值引入折扣率 等比数列公式以及由于 折扣率小于1 最后化简episode对于有terminal state的trial 我们称为episode 反之 continuing tasks对于二者 我们可以统一处理使用case 2 的话 就不用区分 target state了 和其他normal state一样MDP历史无关性如果policy 确定了 那么就编程马尔科夫过程Chapter 2Chapter 3Chapter 4Chapter 5Chapter 6Chapter 7chapter 8chatpter 9Chapter10