CUBE：融合B样条与神经网络的3D人脸混合表示技术解析

1. 项目概述为什么我们需要CUBE这样的混合表示在三维人脸建模这个行当里干了十几年我最大的感受就是我们总是在“可控性”和“表达能力”之间走钢丝。传统的3D可变形模型3DMM就像一套标准化的乐高积木每个顶点怎么动都定义得清清楚楚捏个鼻子、动个嘴角效果稳定可预期做动画、做驱动非常顺手。但它的天花板也显而易见——就那么几百个基向量想还原你脸上那几道独特的笑纹或者额头的细微起伏基本没戏。后来隐式神经表示比如用MLP学一个符号距离场SDF火了起来这东西的表达能力确实强给你一张照片它能给你重建出一个毛孔都清晰可见的头部模型。但问题来了这模型就像一个黑盒子你根本不知道里面那几百万个参数是干嘛的想单独把下巴拉长一点而不影响眼睛抱歉牵一发动全身你得重新训练或者用复杂的优化手段去“哄”它对艺术家和动画师来说这太不友好了。所以当看到CUBE这个思路时我眼前一亮。它本质上是在回答一个核心问题我们能不能既拥有B样条那样精准、局部的“手柄”又具备神经网络那种捕捉无限细节的“魔力”CUBE给出的答案很巧妙它不直接让B样条去拟合复杂的3D坐标而是让它去输出一个高维的特征向量。这个特征向量的前三个维度用来生成一个基础的、粗糙的“基网格”就像3DMM给出的那个大形剩下的高维信息则喂给一个轻量级的MLP去预测一个精细的“残差”。这个残差就是神经网络发挥“魔力”的地方它负责捕捉那些B样条基函数本身难以描述的高频几何细节。这么做的好处是显而易见的。对于需要精确控制的应用比如影视级的面部动画你可以通过调整B样条晶格上的那几个高维控制特征像操纵木偶一样去局部修改模型形状效果直观且可预测。而对于需要高保真重建的任务比如从单张照片或混乱的扫描点云中恢复人脸后端的MLP又能确保最终输出的模型足够精细和真实。CUBE相当于把“控制”和“表达”这两个原本矛盾的需求通过一个两阶段的解码器给解耦了。它既不是对传统方法的简单修补也不是对神经网络的盲目崇拜而是一次非常务实的“强强联合”。接下来我们就深入它的技术内核看看这套“组合拳”具体是怎么打的。2. CUBE核心架构两阶段解码的艺术CUBE的整个流程可以看作是一个“由粗到精”的雕刻过程。它的输入是一个固定的参数化坐标输出则是这个坐标对应的三维空间点。关键在于中间那两步。2.1 第一阶段B样条体积与高维特征插值传统B样条体积或NURBS体积大家应该不陌生它通过一个三维控制点晶格来定义空间中的一个标量场或向量场。你想得到一个位置(u, v, w)的值就去查它周围(阶数1)^3个控制点按B样条基函数加权求和。在CAD里这常用来生成等值面。CUBE的第一个革新点就在这里它把这个控制点晶格从三维坐标点换成了高维的特征向量。假设每个控制特征是一个d维的向量论文里d可以到1024。那么这个B样条体积f(u, v, w)的输出就不再是一个标量或三维坐标而是一个d维的特征向量z。这个设计非常聪明。B样条基函数的局部支撑性质被完美继承了下来。这意味着当你移动晶格中某一个位置的控制特征时它只会影响参数空间局部区域内的输出特征进而只影响最终模型上对应的一小块表面。这就为后续的局部编辑奠定了数学基础。你想只改动嘴角那就找到影响嘴角区域的那些控制特征调整它们就行其他部分纹丝不动。那么这个参数坐标(u, v, w)从哪来为了保证不同人脸模型之间顶点的语义一致性比如鼻尖的顶点在所有模型里都对应鼻尖CUBE使用了一个固定的模板网格。将这个模板网格的顶点坐标归一化到[0, 1]^3的单位立方体内这些归一化后的坐标就是查询B样条体积的(u, v, w)。这样一来只要模板网格的拓扑结构固定我们通过CUBE重建出的任何模型都自动与这个模板保持了顶点级的一一对应。这对于需要一致拓扑的下游任务如动画 blendshape 驱动是至关重要的。实操心得控制网格分辨率的选择控制晶格的尺寸m如16x16x16是一个关键超参数。m越大控制就越精细但参数量和计算量也呈立方增长。在论文的实验中16^3的配置在表达能力和效率之间取得了很好的平衡。在实际应用中如果你的目标人脸形状变化范围不大比如只做表情动画8^3可能就够了如果需要捕捉极其独特的个体特征则可能需要更高的分辨率。这是一个需要根据具体任务权衡的折中点。2.2 第二阶段轻量级MLP与残差学习从B样条体积拿到d维特征向量z后CUBE开始了它的“精加工”。首先它直接取z的前三个维度z_{1:3}作为当前采样点的基础坐标x_base。你可以把这理解为B样条部分给出的“初稿”它已经具备了人脸的基本形状和大的结构特征。然后整个d维的特征向量z被送入一个轻量级的4层MLPg。这个MLP的任务是根据这个富含信息的特征z预测一个三维的残差位移x_refinement。这个残差就是那些B样条基函数难以表达的、细微的几何起伏可能是鼻梁上的小凸起可能是嘴唇边缘的细微褶皱。最后将基础坐标和残差位移相加得到最终的输出坐标x_out x_base x_refinement。为什么是“残差”而不是直接预测这是深度学习里一个经典且有效的策略。让B样条部分去学习主体形状让MLP去学习“差值”相当于给网络分配了明确的分工。B样条擅长捕捉平滑的、大范围的趋势MLP则被解放出来专注于学习那些非线性的、高频的细节。这种分工合作往往比让一个网络从头学习所有内容更高效、更稳定。从优化角度看这也降低了学习难度因为MLP的初始输出期望接近零梯度更容易传播。3. 从混乱到有序基于Transformer的扫描注册流程有了强大的CUBE解码器下一个问题就是如何从一个乱七八糟的3D扫描点云点数不定、顺序混乱、可能还有噪声和缺失中预测出CUBE所需的那个控制特征晶格这就是扫描注册任务CUBE用了一个基于Transformer的编码器来搞定这件事。3.1 输入处理与Token化扫描点云首先被中心化减去点云质心这一步很简单但能提升训练的稳定性。论文提到他们可选地使用了10频带的傅里叶位置编码对顶点坐标进行增强。这步操作挺有意思它并不提升最终精度但能显著加速训练收敛。傅里叶编码能将低维坐标映射到高维空间让Transformer更容易捕捉位置间的相对关系对于点云这种无序数据尤其有效。接下来是关键Token化。扫描的顶点被转换成一序列s个d维的token。同时我们初始化m_c m*m*m个可学习的控制token维度也是d。这m_c个控制token就是编码器最终要输出的、用来构建CUBE控制晶格的东西。把扫描token和这m_c个控制token拼接起来就得到了Transformer编码器的输入序列。注意事项控制Token的设计哲学这里的设计非常巧妙。m_c个控制token是可学习的它们不像扫描token那样携带具体数据而是作为一组“空位符”或“问题”让Transformer在阅读了整个扫描点云的信息后来“填写”这些空位。这相当于让网络自己决定为了重建当前这张脸CUBE晶格的每个控制点应该具备什么样的特征。这是一种非常灵活的“条件生成”思路。3.2 Transformer编码与特征提取这个拼接后的序列会经过一系列基于XCiT注意力机制的Transformer块进行处理。XCiT注意力相比原始的自注意力在计算效率和长序列处理上可能有优势但核心思想不变让扫描token和控制token之间充分交互信息。经过多层Transformer块后我们只提取输出序列中前m_c个token的嵌入向量它们对应着最初输入的那m_c个控制token。此时这些token已经“吸收”了来自整个输入扫描的全局和局部信息。我们将这m_c个d维向量重新整形reshape成m x m x m x d的张量——瞧这就是CUBE解码器所需要的控制特征晶格c。至于剩下的s个扫描token它们的使命在信息交互完成后就结束了直接被丢弃。整个流程是端到端的输入原始扫描输出就是与模板网格拓扑一致的注册后网格。3.3 损失函数与训练策略训练是监督式的需要成对的扫描和其对应的真实注册网格。损失函数很简单就是两个L1损失基础网格损失计算预测的基网格仅由B样条部分产生即x_base与真实网格的顶点坐标L1距离。最终网格损失计算完整的预测网格x_base x_refinement与真实网格的顶点坐标L1距离。两者权重相同。这个双损失设计确保了MLP确实是在“锦上添花”而不是“胡作非为”。如果MLP预测的残差乱来虽然最终损失可能还行但基础网格损失会很大迫使B样条部分也必须学好基础形状。论文中提到他们使用了大规模合成数据进行训练。通过程序化生成带纹理、发型、配饰的头部模型再渲染多视角图像并用多视角立体视觉MVS算法生成带噪声的“扫描”从而构建了数十万的“网格-扫描”对。这避免了昂贵且费时的手工标注是当前许多学习型方法的标准操作。4. 优势验证量化评估与定性分析光说原理不行还得看实战表现。CUBE在论文中与两个前沿的feed-forward前馈扫描注册方法进行了对比BPS和TEMPEH。4.1 量化指标解读主要看两个指标点对扫描距离PTS预测网格上的每个顶点到输入扫描点云的最近距离的平均值。这衡量的是重建结果对输入数据的拟合程度。顶点对顶点距离V2V预测网格与真实注册网格Ground Truth对应顶点间的距离。这衡量的是注册的绝对精度。从结果来看CUBE-L大型模型16^3控制点带残差MLP在两项指标上均显著优于BPS和TEMPEH。特别是BPS方法对扫描的方向非常敏感有时甚至会“摆烂”直接输出一个平均脸导致V2V误差巨大达到14-17mm。TEMPEH虽然指标尚可但其重建结果在视觉上存在噪声和几何瑕疵。4.2 消融实验的启示论文的消融实验提供了几个关键洞察模型规模越大越好从CUBE-S到CUBE-L随着编码器参数量d从384增加到1024和控制点数量m_c的增加重建误差稳步下降。这说明表达能力和模型容量正相关。残差MLP至关重要在所有模型配置下启用残差MLPw/都比只用B样条基网格w/o的误差要低。这直接证明了“B样条MLP残差”这种混合策略的有效性。控制点数量的影响对于同一个CUBE-L编码器控制点从4^3增加到16^3性能提升明显。但有趣的是当控制点较少时如4^3残差MLP预测的位移幅度会更大。这很好理解B样条部分“能力不足”MLP就需要“更卖力”地去补足细节。4.3 泛化能力与“野生”数据一个模型好不好还得看它在没见过的数据上的表现。作者将只在合成数据上训练的CUBE-L模型直接用在两个公开的真实扫描数据集CoMA和FaMoS上仅做了中心化预处理。结果显示CUBE依然能产生合理且准确的注册结果。这证明了其强大的泛化能力也说明通过大规模合成数据训练的策略是行之有效的。5. 超越重建CUBE的创造性应用CUBE的价值远不止于精准的扫描注册。由于其表示本身具有结构化和可解释性它开启了一系列传统隐式表示难以实现的应用。5.1 直观的局部编辑这是CUBE最吸引人的特性之一。由于B样条的局部支撑性修改晶格中某一个控制特征只会影响模型上对应的局部区域。论文中演示了两种编辑控制特征替换将一个人脸模型下半部分对应下巴、嘴巴区域的控制特征替换成另一个人脸做不同表情的对应特征可以实现下半脸表情的移植而上半脸保持不变。单个控制点位移直接修改某个控制特征向量的前三维对应其空间位置可以像拖动控制点一样局部地拉伸或挤压模型表面。例如只修改嘴唇附近的一个控制点就能让下唇微微翘起而周围区域几乎不受影响。这种编辑是即时的、无需重新训练的。对于美术师来说这提供了类似传统建模软件的直观控制体验同时又是在一个高保真的神经网络生成模型上操作。5.2 平滑的形状插值与算术运算因为控制特征存在于一个连续的、结构化的晶格空间中它们之间的插值和运算变得自然而有效。形状插值对两个不同人脸不同身份、不同表情的CUBE控制特征进行线性插值然后解码可以得到一系列在两个形状间平滑过渡的中间状态。这对于生成动画中间帧非常有用。表情迁移计算同一个人“中性表情”和“大笑表情”的控制特征之差将这个“表情差分”特征加到另一个人的中性表情控制特征上就能将大笑表情迁移到第二个人脸上。这实现了高级的、基于语义的特征运算。5.3 扩展到图像输入CUBE的编码器并不局限于点云输入。只需在Transformer编码器前加一个Patchify层将图像切分成块并转换为token就可以构建一个ViT风格的图像编码器直接从单张或多张图片预测CUBE参数。论文展示了其在“野生”图像人脸重建上的潜力这说明CUBE作为一种通用的几何表示其前端编码器可以灵活适配各种输入模态。6. 实战思考落地、局限与未来CUBE提出了一条很有前景的技术路径但在实际项目中应用我们还需要考虑更多。6.1 优势总结表达与控制的平衡在保持B样条局部编辑性的同时通过神经残差获得了媲美隐式表示的细节重建能力。结构化输出天然输出与模板一致的拓扑网格无缝对接现有动画、渲染管线。高效推理B样条插值是局部且可预计算的MLP也很轻量使得整体解码速度很快。灵活的编码前端支持从点云、图像等多种数据源进行预测。6.2 潜在挑战与注意事项模板网格依赖CUBE的语义一致性严重依赖于固定的模板网格。如果目标几何与模板拓扑差异极大比如非人头的物体效果可能会打折扣。需要为不同类别的物体设计或学习不同的模板。控制特征的可解释性虽然控制点是局部的但每个控制特征是一个高维向量如1024维。我们通常只修改其前三维来做空间变形但其他维度对形状的影响是隐式的、难以直观理解的。如何可视化或约束这些高维特征以实现更语义化的编辑如“让笑容更灿烂”是一个开放问题。训练数据与泛化尽管在合成数据上训练后对真实扫描泛化不错但极端姿态、夸张表情、遮挡等情况下的鲁棒性仍需在更复杂的数据集上验证。动态序列建模当前工作主要聚焦于静态形状。如何将CUBE扩展到动态表情序列或说话头部建模引入时间维度的控制是迈向数字人动画的关键一步。6.3 性能优化方向在实际部署时我们可以从几个角度优化控制晶格稀疏化并非所有控制特征对最终形状都有同等贡献。可以研究基于注意力或贡献度的剪枝方法在保持精度的同时减少参数量。MLP结构搜索4层MLP是一个平衡选择。针对特定精度或速度需求可以探索更浅或更深的结构或使用更高效的激活函数和层设计。分级CUBE是否可以设计一个多分辨率的CUBE系统先用低分辨率晶格捕捉整体形状再在局部区域使用高分辨率晶格进行细化从而更高效地分配计算资源。CUBE的出现更像是一个“桥梁”它连接了经典几何建模的严谨可控与深度学习强大表达能力之间的鸿沟。它没有试图用一个方法解决所有问题而是聪明地让两个领域的强项协同工作。对于从事三维重建、数字人、计算机图形学的研究者和工程师来说理解并掌握这种混合表示的思维可能比单纯实现这个模型更有价值。它提醒我们在追求SOTA最先进技术的同时不要忘记那些历经时间考验的经典工具它们的巧妙组合往往能碰撞出更耀眼的火花。在我自己的项目中已经开始尝试将类似的思想应用到服装褶皱生成等场景初步效果令人鼓舞。这条路值得深入走下去。