变分方法（variational method）做上采样，替代线性插值

“变分方法variational method”本质上不是在做“插值”而是在做一个带约束的优化问题求解把“上采样”变成“找一个最合理的高分辨率解”。1. 它不是“放大”而是“重新求解”双线性上采样做的是已知低分辨率光流 → 直接插值放大它不管“物理合理性”只保证平滑。而变分方法做的是在高分辨率上重新找一个光流场使其和低分辨率结果一致数据项又足够平滑正则项还能遵守图像边界边缘感知也就是说❗不是“放大一个答案”而是“重新优化一个更好的答案”2. 数学本质最小化一个能量函数变分方法核心是E ( u ) E data ( u ) E smooth ( u ) E(u) E_{\text{data}}(u) E_{\text{smooth}}(u)E(u)Edata​(u)Esmooth​(u)在光流里通常是(1) 数据一致性项保证“上采样后的流”不要乱跑E data ∣ u − u low-res upsample ∣ 2 E_{\text{data}} | u - u_{\text{low-res upsample}} |^2Edata​∣u−ulow-res upsample​∣2意思是高分辨率光流不能偏离低分辨率结果太多(2) 平滑正则项关键经典形式E smooth ∫ ∣ ∇ u ∣ 2 E_{\text{smooth}} \int |\nabla u|^2Esmooth​∫∣∇u∣2意思是光流在空间上应该尽量连续、平滑(3) 边缘感知你这段特别关键α exp ⁡ ( − λ b ( x , y ) κ ) \alpha \exp(-\lambda_b(x, y)\kappa)αexp(−λb​(x,y)κ)它的作用是在图像边界处降低平滑强度这个参考论文《【光流】2015FlowNet: Learning Optical Flow with Convolutional Networks》3. 边界为什么要影响“变分”如果不加边界约束光流会跨物体边界“糊在一起”例如车和背景会被强行平滑加了边界后边缘处 α → 小平滑被抑制允许“断开”直觉是 “物体内部要平滑物体之间不能强行平滑”4. FlowNet的“粗到细 迭代”我们不使用双线性上采样而是使用文献 [6] 中的变分方法不含匹配项我们从 4 倍下采样的分辨率开始然后使用粗到细的方案进行 20 次迭代将光流场提升至全分辨率。最后我们在全图像分辨率上再运行 5 次迭代。我们还采用文献 [26] 中的方法计算图像边界并通过将平滑系数替换为α exp ⁡ ( − λ b ( x , y ) κ ) \alpha \exp(-\lambda_b(x, y)\kappa)αexp(−λb​(x,y)κ)来尊重检测到的边界其中b ( x , y ) b(x, y)b(x,y)表示在相应尺度及像素之间重采样的薄边界强度。这种上采样方法比简单的双线性上采样计算成本更高但它增加了变分方法的优势从而获得平滑且亚像素精度的光流场。在下文中我们用后缀“v”表示通过这种变分细化获得的结果。流程其实是典型的coarse-to-fine variational refinementStep 1低分辨率初始化4× downsample 光流得到稳定但粗糙的结构Step 2逐步上采样 优化20次每一层做上采样当前光流不是插值结束而是初始化用变分能量函数做迭代优化得到更细一层的解Step 3全分辨率再优化5次做局部精修修亚像素误差5. 为什么说它比双线性更强双线性纯几何插值不看图像不看运动不看边界❌ 会“糊”变分方法用优化约束“重建”引入图像结构边界引入物理一致性光流连续性✔ 能“贴边”✔ 能“断层”✔ 能亚像素精度6. 一句话总结你可以这样理解论文这句话变分上采样 在高分辨率上“重新求一个最合理的光流”而不是简单放大低分辨率结果。7. 一个更直观类比方法类比双线性上采样把模糊照片放大变分上采样放大后重新“修图 对齐结构 抠边”