CVPR 2024 - Rethinking Inductive Biases for Surface Normal Estimation

论文：https://arxiv.org/abs/2403.00712
代码：https://github.com/baegwangbin/DSINE

该研究重新思考了表面法线估计的归纳偏置，提出了利用逐像素射线方向并学习相邻表面法线之间相对旋转关系的方法。相比于现有采用通用密集预测模型的方法，该方法能生成清晰且平滑的预测，并且在训练数据规模更小的情况下展现出更强的泛化能力。

归纳偏置的重要性：现有的表面法线估计方法采用了一般目的的密集预测模型，这限制了其预测精度和对不同相机拍摄图像的泛化能力。这篇论文深入讨论了表面法线估计所需的归纳偏置，并提出了三种架构改变来融入这些偏置。
方法介绍：作者首先提出利用逐像素的射线方向作为输入，然后提出了基于射线方向的激活函数，最后将表面法线估计重新解释为旋转估计，其中相邻像素之间的相对旋转以轴角表示法估计。这种方法可以生成细节丰富且在表面交界处清晰的预测。

总的来说，这篇论文通过提出新的归纳偏置和方法，成功地改善了表面法线估计的准确性和平滑性，并提高了模型的泛化能力。

表面法线估计

表面法线估计是一种计算机视觉任务，旨在从单个 RGB 图像中估计出每个像素点的表面法线。表面法线是一个三维向量，表示在给定像素点上垂直于表面的方向。这个任务在许多计算机视觉应用中非常重要，如三维重建、场景理解、物体识别等。
其提供了一种理解场景几何结构的方法。通过估计表面法线，我们可以获取到场景中物体表面的局部属性，如平面的法线方向、曲面的光滑程度等。这些信息对于进一步理解场景和进行后续处理（如深度估计、物体识别等）非常有用。
表面法线估计通常通过深度学习方法实现。通过对大量带有标注的表面法线图像进行训练，神经网络可以学习到一种从 RGB 图像中估计表面法线的方法。然而，由于表面法线估计任务的输出空间是三维的（即单位球面），因此存在一些挑战，如输出空间的非一致性、难以收集带有标注的数据等。