Chapter 138: Differentiable Rendering

可微渲染（Differentiable Rendering）把传统渲染管线放进可求导优化过程：输入仍然是几何、相机、材质、光照和纹理，输出仍然是图像；区别在于图像误差可以沿着渲染计算图传回这些输入参数。读完本章后，读者应能追踪一个图像损失如何回到 mesh vertex、camera pose、material parameter 或 light parameter，并判断梯度来自连续计算、近似覆盖、采样估计还是神经表示。

本章的贯穿材料是一帧“反向重建”任务：已有一张目标图像和目标 silhouette，初始资产是一颗粗球体 mesh、一个可优化相机位姿、一张可优化顶点颜色纹理，以及一个点光源强度。forward render 生成预测图像，loss 比较预测图和目标图，backprop 更新 mesh、camera、texture 与 light。这个任务足够小，可以解释可微渲染的主链路；它也暴露真实工程里的核心困难：可见性变化、遮挡边界、材质与光照耦合、梯度噪声和训练局部最优。

可微渲染的主问题可以写成一个优化问题：寻找参数 $\theta$，让渲染结果 $R(\theta)$ 接近目标图像 $I$。loss 可以是 $L(\theta)=\|R(\theta)-I\|_2^2$，也可以加入 silhouette、normal、depth、smoothness、multi-view consistency 等约束。这个公式看起来像普通机器学习训练，图形工程里的难点在于 $R$ 包含投影、裁剪、rasterization、texture sampling、BRDF shading、visibility、shadow、path sampling 等阶段，每个阶段给梯度的方式不同。

工程上应把可微渲染看成“带梯度出口的渲染管线”。它保留渲染系统里的 frame、pass、shader、buffer、texture、pipeline state 和 validation image，同时把参数组织成 tensor，让 optimizer 按 loss 反馈更新它们。PyTorch3D 的 mesh fitting tutorial 用 soft silhouette 和 RGB loss 优化 mesh 与 texture；nvdiffrast 的 user guide 把 rasterization、interpolation、texturing、antialiasing 拆成底层可微 primitive。这些例子共同说明：可微渲染关心的核心不是“渲染一张图”，而是“让哪类参数从哪类图像误差中拿到稳定梯度”。

138.1 可微渲染的基本原理

可微渲染的基本路径是 parameter tensor → forward render → image loss → gradient → optimizer update。在贯穿材料里，theta 包含四类参数：球体顶点偏移 delta_verts、相机旋转和平移 camera_pose、顶点颜色 vertex_color、点光源强度 light_intensity。forward render 把这些参数变成预测 RGBA 图像，loss 同时比较 RGB 和 silhouette，optimizer 根据梯度更新参数。

下面的流程图只描述一帧优化的最小闭环。它不表示某个具体 API 的对象名，而表示可微渲染系统必须维护的数据路径。

这个闭环里有两条需要分开的路径。forward 路径回答“当前参数会渲染成什么图像”；backward 路径回答“当前图像误差会推动哪些参数变化”。传统实时渲染只需要 forward 路径稳定、快、符合视觉目标；可微渲染还需要 backward 路径能给出方向合理的梯度。一个 mesh 顶点的屏幕位置变化会影响 silhouette，顶点颜色会影响覆盖像素的 RGB，光源强度会影响受光面亮度，相机位姿会同时影响投影位置和遮挡关系。

连续阶段通常容易求导。模型矩阵、视图矩阵、投影矩阵、barycentric interpolation、texture bilinear sampling、Lambert 或简化 Phong shading 都可以在 tensor 框架中形成连续计算图。贯穿材料里，顶点颜色到像素 RGB 的路径通常较稳定：一个像素落在某个三角形内部时，顶点颜色经过 barycentric 权重插值得到片元颜色，RGB loss 可以直接给顶点颜色梯度。

可见性阶段给可微渲染带来主要断点。标准 rasterization 对每个像素选择覆盖它且深度最近的三角形；一个顶点轻微移动时，像素 coverage 可能保持不变，也可能突然跨过边界。覆盖集合的变化是离散事件，所以 silhouette 边界、遮挡切换、深度相等、三角形消失这类现象会让梯度变稀疏或不稳定。Soft Rasterizer 的 论文 采用概率化 triangle contribution 来平滑覆盖；nvdiffrast 则把 point-sampled rasterization 保持清晰，并在 antialiasing primitive 中产生与 silhouette 和 visibility 相关的位置梯度。

可微渲染里的“梯度”并不自动等价于真实物理导数。某些框架使用 surrogate gradient，也就是 forward 仍然接近标准渲染，backward 对不可导步骤给一个工程上可用的近似方向。这个近似方向要用 validation image、loss 曲线和参数变化一起检查。若 silhouette loss 降低但几何长出尖刺，说明图像误差给了方向，几何正则项没有控制形状自由度；若 RGB loss 降低但 albedo 变暗、light 变亮，说明材质和光照参数在目标函数里发生耦合。

贯穿材料的第一个判断顺序如下：先确认 forward render 与目标图使用相同分辨率、相机 convention、颜色空间和 alpha 定义；再检查每一类参数是否参与计算图；然后观察 loss 是否能反向传播到对应参数；最后用 validation view 验证参数更新是否改善了未参与训练的视角。这个顺序把图像误差、渲染阶段和参数更新连接起来，能快速定位“forward 错误”“loss 错误”“梯度断开”和“优化目标欠约束”四类问题。

138.2 常见可微渲染框架技术解析

常见可微渲染框架的差异主要来自梯度来源。raster-based 方法从三角形投影、coverage、interpolation 和 texture sampling 中构造梯度；path-based 方法从光传输积分和 Monte Carlo sampling 中估计梯度；SDF-based 方法从隐式表面、signed distance 和 ray marching 中获取形状梯度；neural differentiable renderer 把场景表示放进可训练网络或可训练 primitive，让图像 loss 通过神经表示更新几何和外观。

在贯穿材料中，若资产是显式 mesh，raster-based 方法最直接。PyTorch3D 这类框架提供 camera、mesh、shader、loss 和 batching 组合，适合用 silhouette 或 RGB 优化 shape、pose、texture。nvdiffrast 更靠近图形管线底层，它提供 rasterization、interpolation、texturing、antialiasing 这些 primitive，camera、lighting、material 由使用者组织。前者适合快速搭建实验，后者适合把可微渲染嵌入已有 renderer 或自定义 shading path。

raster-based 梯度可以分成属性梯度和位置梯度。属性梯度来自覆盖像素内的连续插值，例如顶点颜色、UV、normal、roughness 参数。位置梯度主要来自 silhouette、coverage 和 occlusion 边界，需要 soft coverage、antialiasing、multi-sample 或自定义近似。贯穿材料里，vertex_color 通常比 delta_verts 更容易先收敛；这是因为颜色路径经过连续 interpolation，顶点位置还要穿过 coverage 变化。

path-based 可微渲染面向物理光照、全局照明、反射、折射和阴影。它把图像看成光传输积分的结果，梯度来自对材质、几何、相机或光源参数的导数估计。Dr.Jit 的 paper 和 Mitsuba 3 生态体现了这一方向：渲染代码被 JIT 和 automatic differentiation 组织起来，复杂 light transport 可以进入优化。它的优势是物理一致性更强，成本是采样噪声、内存开销和收敛时间更高。

SDF-based 方法把几何表示为 signed distance function（SDF），即空间点到表面的有符号距离。ray marching 沿相机射线查询 SDF，找到表面交点后计算 normal、shading 和 loss。形状梯度来自 SDF 值及其空间导数，适合优化连续表面、拓扑变化和神经隐式表示。它的边界在薄结构、透明物体、复杂遮挡和高频纹理上更明显；这些现象容易让几何误差被 density、color 或 regularization 吸收。

neural differentiable renderer 把渲染结果作为网络或可训练场的输出。NeRF、neural SDF、3D Gaussian Splatting 和 neural material 都属于这个大方向。梯度通过 volume rendering、splatting 或 network inference 回到 density、color、opacity、covariance、feature grid 或 MLP 权重。它适合从多视角图像中重建场景，也能做 novel view synthesis。工程判断上要区分“图像拟合好”和“几何可用”：validation view、depth consistency、normal consistency 和导出的 mesh 质量需要单独检查。

下表用同一组维度比较四类技术。它不是框架排名，而是选择优化路径时的约束表。

类型	主要输入	梯度来源	适合优化	主要风险
Raster-based	Mesh、camera、texture、light	interpolation、soft coverage、antialiasing	pose、mesh silhouette、vertex color、UV texture	visibility 梯度稀疏，边界噪声，局部最优
Path-based	几何、BSDF、light、camera、sampler	light transport derivative、Monte Carlo estimator	material、lighting、global illumination、inverse rendering	采样噪声高，训练时间长，显存和缓存压力大
SDF-based	SDF field、ray marcher、shading model	SDF value、surface normal、implicit differentiation	连续表面、隐式几何、多视角重建	薄结构和遮挡难，几何与外观耦合
Neural renderer	MLP、feature grid、Gaussian、volume	network / volume / splat gradient	novel view、scene fitting、appearance reconstruction	可解释性弱，数据分布敏感，导出资产需验证

选择框架时先看主优化对象。目标是优化 mesh pose 和 silhouette，raster-based 通常成本最低；目标是反推粗糙度、光源和间接光，path-based 更贴近物理；目标是从多视角图像恢复连续表面，SDF 或 neural field 更合适；目标是实时 novel view 或大场景外观拟合，Gaussian 或 feature-grid 表示更实用。贯穿材料中若只优化一个低面数物体的 pose、shape、texture，raster-based 管线能提供最短闭环。

138.3 应用示例：反向优化与重建

反向优化（inverse optimization）把渲染器从“给参数生成图像”反过来使用：给目标图像，求一组能生成相似图像的参数。可微渲染在这里提供梯度方向，让参数更新可以使用 SGD、Adam、L-BFGS 等 optimizer。贯穿材料中的四类参数对应四类重建任务：相机位姿重建、几何重建、材质/纹理重建、光照重建。

相机位姿优化关注投影误差。若目标 silhouette 在图像中整体向右偏，camera translation 或 object pose 会得到梯度；若目标物体看起来更扁或透视更强，focal length、depth 或 rotation 可能参与解释。这个任务的主要歧义是 scale-depth ambiguity：物体更大可能来自更近的相机，也可能来自更大的几何尺度。可复用做法是固定一组参数，只放开当前要估计的参数，再逐步增加自由度。

几何重建关注形状误差。silhouette loss 能推动边界贴近目标轮廓，depth loss 或 normal loss 能约束表面走向，Laplacian、edge length、normal consistency 能抑制尖刺和折叠。贯穿材料里，从粗球体拟合目标物体时，silhouette loss 先解决大轮廓，smoothness 再控制局部表面，RGB loss 最后提供外观细节。若一开始同时放开所有顶点、纹理和光照，优化器可能用纹理遮盖几何错误。

材质和纹理重建关注像素外观。顶点颜色、texture map、roughness、metallic、normal map 都可以作为参数，但它们和 light、exposure、tone mapping 强耦合。一个暗区域既可能来自 albedo 低，也可能来自光照弱、normal 朝向偏离、shadow 进入或曝光设置不同。目标函数应把 photometric loss、mask、view consistency 和材质先验组合起来，并在 validation view 上检查材质是否能迁移。

光照重建关注能量分布。简单点光源的 position、intensity、color 可以通过高光、阴影和受光区域获得梯度；环境光贴图可以通过大量方向采样优化。光照参数常常出现多解：材质变亮、灯变暗可以产生相近 RGB；roughness 变化和光源大小变化也会影响 highlight。工程上先固定材质标定，再优化光照；或用已知白板、灰球、镜面球作为校准参考，能减少参数耦合。

目标函数是可微渲染应用成败的中心。一个常用组合是 loss = w_rgb * L_rgb + w_mask * L_silhouette + w_depth * L_depth + w_reg * L_regularization。L_rgb 关注颜色相似，L_silhouette 关注覆盖区域，L_depth 关注几何深度，L_regularization 控制参数空间。loss 权重应反映任务阶段：pose 和粗 geometry 阶段提高 mask / depth 权重，texture 阶段提高 RGB 和 view consistency 权重，material 阶段加入 roughness / albedo 的合理范围约束。

多视角重建比单视角更稳定。单张图像把许多 3D 参数压到 2D 平面，几何、材质、光照之间容易互相替代。多视角提供不同投影、遮挡和光照观测，可以让错误暴露在 validation view 中。贯穿材料如果只有一个 target view，优化结果只能说明“当前视角图像可拟合”；若加入 8 到 20 个目标视角，并保留若干视角做 validation，才能判断几何和材质是否具有跨视角一致性。

应用可微渲染时，材料、结论和方法要分开。目标图像、mask、depth、camera pose 是材料；优化出的 mesh、texture、pose、light 是结论候选；检查顺序、loss 设计和 validation view 是方法。材料质量差时，结论候选应降低可信度；方法不完整时，loss 降低也不能证明重建可靠。

138.4 实现可微渲染管线

实现可微渲染管线时，应先固定 frame 的数据契约。输入包括 target image、target mask、initial mesh、camera convention、light setup、parameter tensors 和 loss weights；输出包括 predicted image、loss scalar、parameter gradients、optimizer state、training images、validation images。每一项都要能对应到 GPU 资源或 tensor，否则排查时难以判断错误来自渲染、loss、梯度还是 optimizer。

参数张量需要按语义分组。delta_verts 表示顶点偏移，形状通常是 [num_vertices, 3]；camera_pose 可以用 axis-angle、quaternion 或 Lie algebra 表示；vertex_color 或 texture 表示外观；light_intensity 表示光源能量。不同组使用不同学习率和约束范围。geometry 学习率过大会造成抖动，texture 学习率过大会快速记忆 target view，light 学习率过大会把曝光误差吸收掉。

forward render 要保证可重复。相机 convention、near/far、clip space、image origin、颜色空间、alpha 语义、背景颜色都应在代码里集中定义。nvdiffrast 把 vertex positions 作为 clip-space 输入，projection 由使用者负责；PyTorch3D 提供 camera 和 renderer 组合。无论采用哪种框架，validation image 必须使用同一套 convention，否则 loss 看似下降，导出的资产在目标 renderer 中仍会错位。

下面的代码展示最小优化循环的结构。它省略具体 renderer API，重点是参数、forward、loss、backprop、optimizer、validation image 的位置关系。

# 伪代码：一帧可微渲染优化闭环
params = {
    "delta_verts": Tensor.zeros([num_vertices, 3], requires_grad=True),
    "camera_pose": init_pose_tensor(requires_grad=True),
    "vertex_color": init_color_tensor(requires_grad=True),
    "light_intensity": Tensor.ones([3], requires_grad=True),
}

optimizer = Adam([
    {"params": params["delta_verts"], "lr": 1e-3},
    {"params": params["camera_pose"], "lr": 5e-4},
    {"params": params["vertex_color"], "lr": 2e-3},
    {"params": params["light_intensity"], "lr": 1e-4},
])

for step in range(num_steps):
    optimizer.zero_grad()

    mesh = apply_vertex_offsets(base_mesh, params["delta_verts"])
    camera = build_camera(params["camera_pose"])
    image_rgba = differentiable_render(mesh, camera, params["vertex_color"], params["light_intensity"])

    rgb_loss = mean_squared_error(image_rgba.rgb * target_mask, target_rgb * target_mask)
    mask_loss = binary_mask_loss(image_rgba.alpha, target_mask)
    smooth_loss = laplacian_smoothness(mesh)
    loss = rgb_loss + 10.0 * mask_loss + 0.1 * smooth_loss

    loss.backward()
    optimizer.step()

    clamp_or_project_parameters(params)
    save_validation_image(step, image_rgba.detach())

代码中的关键点是 loss 不直接更新图像，而是更新生成图像的参数。image_rgba.alpha 将 silhouette 误差传回 coverage 与位置相关路径；image_rgba.rgb 将颜色误差传回 texture、light 和 shading path；laplacian_smoothness 提供几何先验，限制顶点自由度。clamp_or_project_parameters 把颜色、roughness、light intensity 等参数保持在有效范围内，减少 optimizer 把参数推到渲染模型外部。

backprop 之后应立即检查梯度。检查对象包括 grad is None、梯度范数、梯度符号是否随目标变化而变化、不同参数组的梯度量级是否相差过大。若 delta_verts.grad 为空，说明几何没有进入计算图或 coverage 梯度没有产生；若 vertex_color.grad 正常但 validation view 变差，说明 texture 在记忆单视角；若 light_intensity.grad 远大于其他参数，说明曝光误差主导了优化。

validation image 是可微渲染管线的一等输出。每隔固定步数保存 target view、predicted view、mask difference、held-out view、depth/normal visualization 和 loss 曲线。render-to-loss 的训练图只能说明当前目标被拟合；held-out view 才能暴露 geometry collapse、texture billboard、光照漂移和相机位姿误差。实现阶段把 validation image 接入自动导出，比训练结束后手工检查更可靠。

在图形 API 集成中，还要把 tensor 生命周期和 GPU 资源生命周期对齐。mesh vertex buffer、texture、render target、gradient buffer、optimizer state 可能位于不同抽象层。若 renderer 通过自定义 CUDA op、Metal kernel 或 compute shader 接入自动求导框架，应明确 forward 输出保存了哪些中间量，backward 需要哪些 buffer，哪些资源可以 recompute，哪些资源必须缓存。这个选择直接决定显存峰值和训练速度。

138.5 性能与数值稳定性挑战

可微渲染的性能瓶颈通常来自四个位置：forward render 成本、backward 中间量保存、Monte Carlo 或 multi-sample 采样、optimizer 多次迭代。普通实时渲染以每帧提交和 GPU 执行为中心；可微渲染还要保存中间状态、计算梯度、更新参数，并把同一批 view 反复渲染。一个 128×128 silhouette fitting 实验可能很轻，一个多视角 path-based material inverse rendering 任务会快速占满显存和训练时间。

梯度噪声来自采样、边界和目标函数。path-based 渲染中的随机路径会让 loss 和 gradient 都带噪声；raster-based silhouette 中的边界像素会让位置梯度稀疏；neural renderer 中的随机 ray batch 会让不同 step 看到不同样本。处理顺序是先固定随机种子或使用可复现实验设置，再提高关键阶段采样或分辨率，然后使用 gradient clipping、loss smoothing、multi-view batching 和正则项。若一开始就调 optimizer，容易把渲染噪声误判为学习率问题。

非连续可见性是几何优化的核心挑战。三角形穿过像素中心、遮挡关系切换、物体移出视锥、面片背面剔除都会改变可见集合。soft coverage、antialiasing、supersampling、multi-scale loss 可以让边界变化产生更连续的优化信号。贯穿材料中，先用低分辨率或模糊 silhouette 对齐大轮廓，再提高分辨率优化细节，通常比直接在高分辨率 RGB 上优化顶点更稳定。

内存峰值来自中间量。为了 backward，renderer 可能保存 raster output、barycentric、triangle id、depth、texture coordinates、sampling paths、BRDF 中间项、visibility cache、feature grid activation。可用策略包括小 batch、多次 gradient accumulation、checkpoint/recompute、分离 train view 与 validation view、先优化低分辨率再提高分辨率。这里的取舍是显存、计算时间和梯度精度之间的取舍。

训练时间受参数数量和目标函数约束影响。优化 6DoF camera pose 只有少量参数，通常很快；优化每个 vertex 的 3D offset、每个 texel 的颜色或每个 Gaussian 的 position、covariance、opacity，会形成大规模参数空间。大参数空间需要更强先验、分阶段训练和多视角约束。贯穿材料的合理阶段是：先固定 texture 和 light 优化 pose；再固定 pose 优化粗 geometry；然后放开 texture；最后小步联合微调。

局部最优来自图像到 3D 的多解性。一个 target image 可能由不同 shape、texture、light 和 camera 组合生成。优化器看到的是 loss surface 上的局部梯度，而工程目标通常要求可解释、可迁移、可导出的资产。应通过参数初始化、coarse-to-fine、multi-view、正则项、held-out view、物理范围和手工约束把搜索空间收窄。loss 下降只是一个证据，validation image 和参数合理性同样要进入判断。

可复用排查顺序可以固定为六步：第一，检查 forward render 是否与目标图对齐；第二，检查 target mask、颜色空间、曝光和背景；第三，检查各参数组是否有梯度；第四，检查 loss 权重是否让主任务占主导；第五，检查 validation view 是否随训练改善；第六，检查参数值是否保持在物理或工程有效范围内。这六步覆盖了数据、管线、梯度、目标函数、泛化和边界。

可微渲染最终建立的是一条从图像误差回到场景参数的工程链。它把渲染系统变成优化系统，但渲染知识仍然决定了哪些参数可识别、哪些梯度可信、哪些 loss 约束有效、哪些结果可以迁移到目标 renderer。掌握本章后，读者应能面对一个可微渲染任务，先定位优化对象，再追踪梯度来源，最后用 validation image 和参数边界判断结果质量。

最小自检任务

给定一个单物体反向重建任务：目标输入包括一张 RGB 图和一张 silhouette mask；初始资产是低面数球体 mesh；可优化参数包括 delta_verts、camera_pose、vertex_color 和 light_intensity。训练 500 步后，silhouette loss 明显下降，RGB loss 下降较慢，validation view 中物体轮廓接近目标但表面出现尖刺，颜色整体偏暗。请判断：梯度主要从哪些路径回到各参数？当前现象说明哪类约束不足？下一轮应按什么顺序调整管线？

答案要点

silhouette loss 主要通过 coverage、soft silhouette 或 antialiasing 相关路径影响 delta_verts 和 camera_pose；RGB loss 通过 interpolation、texture sampling 和 shading path 影响 vertex_color 与 light_intensity，也可能通过受光变化间接影响 pose 和 geometry。轮廓接近目标说明位置相关梯度已经产生，表面尖刺说明几何自由度超过了正则约束，颜色偏暗说明材质和光照仍在竞争解释 RGB 误差。

下一轮先固定相机和光照，检查 forward render 的颜色空间、背景和 mask 是否一致；再提高 laplacian_smoothness、edge length 或 normal consistency 权重，降低 delta_verts 学习率；然后单独优化 vertex_color，观察 RGB loss 是否稳定下降；最后用 held-out view 检查颜色和几何是否跨视角一致。若 validation view 仍然变差，应增加多视角训练或把 texture 自由度放到几何收敛之后。

本章知识点总结

• 可微渲染：可微渲染把图像误差沿渲染计算图传回几何、相机、材质、光照或神经表示参数。
• 主闭环：最小闭环由 parameter tensor、forward render、image loss、backprop gradient 和 optimizer step 构成。
• 连续路径：矩阵变换、插值、纹理采样和简化 shading 通常能提供稳定的连续梯度。
• 可见性断点：coverage、occlusion 和 silhouette 边界会造成位置梯度稀疏或噪声增大。
• 近似梯度：soft coverage、antialiasing、supersampling 和 surrogate gradient 都是在为不可导阶段提供可用优化方向。
• 框架选择：raster-based 适合 mesh pose 和 silhouette，path-based 适合物理光照，SDF-based 适合隐式表面，neural renderer 适合场景拟合与 novel view。
• 目标函数：RGB、silhouette、depth、normal 和 regularization 应按任务阶段组合，loss 权重决定优化器优先解释哪类误差。
• 参数耦合：几何、材质、光照和相机可以生成相近图像，validation view 和物理范围约束负责筛掉弱解。
• 实现顺序：实现管线时先固定数据契约，再组织参数张量，随后检查 forward render、loss、gradient 和 validation image。
• 梯度检查：grad is None、梯度范数、参数组量级和 validation image 是定位梯度断开与目标欠约束的关键证据。
• 性能瓶颈：forward render、backward 中间量、采样数量和多轮 optimizer 共同决定显存峰值与训练时间。
• 稳定策略：coarse-to-fine、multi-view、正则项、gradient clipping、分阶段放开参数能提高反向重建稳定性。
• 最终判断：loss 下降只是证据之一，参数合理性、跨视角一致性和可导出资产质量共同决定可微渲染结果能否进入工程管线。