text: SR-PSN: Estimating High-resolution Surface Normals via Low-resolution Photometric Stereo Images
  paper：IEEE Transactions on Circuits and Systems for Video Technology CCF-B 中科院Q1 作者：举雅琨光度立体面临着由于输入图像的分辨率有限而导致法向重建模糊的挑战。虽然现代手机可以拍摄高分辨率图像，但它们的响应是非线性的，适用于光度立体系统的高分辨率线性响应相机既昂贵又难以获取。为了解决这个问题，本文提出了一个模型SR-PSN，目的就是从低维的输入中重建出高维的法向量细节（超分法向）。这不是一个新的问题，但感觉超分ps是个新坑，上学期和导师也曾讨论过。第一个超分和光度立体结合的任务是韩国学者在2021年发表在Journal of Computational Design and Engineering期刊(中科院Q2)的SPRS-Net，其动机：超分(SR)算法成功地增强了原始图像的特征信息和颜色信息，使用SR图像进行光度立体比现有的光度立体方法更容易使用更多的对象信息。这个模型是先使用超分辨率的方法 residual channel attention network (RCAN) 对输入图像做超分，把  的输入超分成  的图片，然后再进行特征提取、聚合以及法向回归。第二个超分ps模型，2022年中国图像图形学报（CCF-B中文期刊），作者举雅琨，MASR-PSN：低分光度立体图像的高分法向重建深度学习模型。这个模型的输入是  的图片，经过特征提取、聚合以及法向回归后重建出的是  的法向量。动机：在获取数字图像的采样过程中噪声总是不可避免，高分辨率的图像包含了更多的噪声信息，例如光度立体图像中由于互反射产生的噪声，会影响表面法向的重建。因此作者认为使用低分辨率的图像去恢复高分辨率的表面法向可以避免高分辨率图像中多余的噪声影响。总的来说有5个点能有效处理非朗伯表面的空间变化反射率，这个预处理方式和NA-PSN中举博提出的double-gate normalization是一样的，之前有讲过不再此赘述~  详情见知乎link通过揭示相邻关系来学习丰富的结构表示，很简单易懂有用，最重要。由于cnn不能明确地揭示相邻点之间的关系，卷积特征更倾向于捕捉外观信息。然而，在光度立体视觉任务中，由于光照方向的变化，颜色外观往往会发生变化。为了弥补结构信息的不足，使用局部亲和特征模块(local affinity feature module, LAF)来丰富原始的卷积特征。如图所示，LAF计算一个点与其8个相邻点(即  窗口)的余弦相似度，得到8个特征通道。通过这种方式，每个额外的通道表示中心点和它的一个邻居之间的关系，如下所示： 其中  表示LAF在(x, y)位置的第pth个附加通道，f(x, y)是具有任意数量通道的输入特征。(px, py)表示第pth邻近点到位置(x, y)的偏移量，sim(x, y)为余弦相似度的函数。就是cos这个特征提取的方式最初也是举博在NA-PSN中提出的并行高分辨三维结构生成网络-GeometryNet，这种结构的设计是源于人体姿态估计任务：Deep high-resolution representation learning for human pose estimation将三种不同分辨率大小的图片输入网络(即 )，先分别进行LAF操作，然后过卷积层，并行的结构可以保证高分辨率的特征始终不被降采样，因此可以同时保留表面法向的深层特征和高分辨率细节。通过残差结构将不同尺度的特征融合形成相同分辨率的特征，可以有效地避免深度模型优化时梯度消失的问题。传统的激活函数，如ReLU、LeakyReLU和ELU，只是简单地截断或减弱特征的负面部分。这些功能会导致不必要的信息丢失或失真。事实上，在抑制状态下保留消极部分可能有利于一些高层次的任务，如分割和检测。然而，在回归任务中(如光度立体视觉、单目深度估计等)，那些非激活的部分可能具有回归所需的特征。虽然Sigmoid、Tanh等激活函数具有全局响应能力，但饱和区域的梯度非常小，容易导致梯度消失的问题。在多尺度特征提取器的最后，在【BAM 遥感论文-成电*】的启发下，采用双边提取，在保留非线性的同时，最大限度地利用特征的负面部分。方法是：将LeakyRelu-EReluP的转180°的激活函数EReluR，用这个函数划分正负特征。防止模式坍塌学习到某一特定尺度相关的非重要模式。首先，使用一个1×1的普通卷积把  to  and  to  . 采用三个并行分支，第一个分支：两个1×1卷积层和两个转置卷积。第二个分支：3×3的普通卷积和转置卷积。第三个分支采用5×5的普通卷积和转置卷积。较大尺寸的卷积(3 × 3, 5 × 5)可以通过探测相邻的图像内部空间信息来提高性能。然而，使用较大的卷积会导致空间域的过平滑，导致分辨率细节的丢失和模糊，这在超分辨率光度立体视觉任务中应该避免。因此，提出了多分支结构，添加  卷积来保留像素细节。三种大小的特征分别通过share-weight regressor，输出的分辨率扩大了四倍loss = 角误差 + 梯度误差 将输入图像从  下采样到  ，同时保持其对应的表面法线在  下不变训练网络。评估指标：，以及&lt;err15°和&lt; err30°（表示物体上所有像素的平均角误差小于15°和30°的百分比）消融实验使用的数据集是验证集lightstage数据集，ground&amp;apple数据集，DiLiGent main dataset提出了一种超分辨率光度立体网络（SR-PSN），用于从低分辨率图像中恢复高分辨率的表面法线，5个点：作者没提后续工作，但可以肯定的是他开了个好头，我们可以继续沿着这个方向进行探索~