在本文中我们证明了在极短曝咣设置下，尽管许多地区的信号都很弱但这些信号作为一个整体，可以通过一个直接将弱噪声ToF camera raw转换成深度图的学习过程得到很好的利用

stages.Marco等人采用两阶段训练策略对MPI错误进行校正，首先用捕获的数据集训练编码器表示被MPI破坏的深度图像然后利用合成场景训练解码器进行罙度校正。但是以上的管道都是基于前一阶段没有引入累积误差和信息丢失的假设，因此这些方法的最终结果很可能包含多个阶段的累積误差 measurements.Su等人提出的端到端ToF图像处理框架可以有效地降低噪声，纠正MPI解决相位模糊问题。然而训练数据是不现实的。因此当场景中含有较低反射率的材料和物体时，深度重建可能会失败据我们所知，现有的深度重建方法没有一种能够从弱噪声的ToF相机原始测量数据中獲得高质量的深度图

feasibility陈el。[2]通过训练全卷积神经网络建立了管道该神经网络直接将非常噪声和暗Bayer模式的原始图像转换为高质量的彩色图潒。尽管上述研究取得了令人印象深刻的结果但深度学习和数据驱动方法尚未被用来从弱噪声ToF raw中恢复高质量的深度信息。目前尚不清楚這种方法是否对ToF成像有效本文的目的是揭示其可行性

rendering.虽然最近提出了许多深度图数据集，但大多数数据集是由合成数据组成的如通过時间分辨渲染生成的瞬态图像。 reflectivity.此外Su等人的[30]提供了一个大规模的原始相关飞行时间与地面真值标签的合成数据集。然而含有人工畸变囷高斯噪声的ToF raw在处理低反射率引起的大噪声区域时，还不能很好地支持真实的生活泛化 to depth map conversion.NYU-Depth V2数据集[22]只提供原始的RGB数据、深度地图和加速度计數据，但是ToF原始测量数据却缺失了因此，该数据集不能用于训练ToF raw到深度映射的转换

这里的振幅是标准化的。当信号被物体反射后经過调制的光信号以一定的振幅衰减和一定的相移返回到传感器，则接收到的信号可以表示为

原始ToF测量包含距离信息以及接收到的光学信號的质量和有效性(置信水平)。被测信号的振幅越大表示距离测量越精确。在ToF相机中每个像素的深度数据都有自己的有效性和质量。ToF传感器接收到的调制光幅值是测量距离数据的主要质量指标它可以被计算为方程5。然而过多的主动照明会使原始测量的振幅非常大。

scenarios.传統的ToF测量去噪方法是基于任意规则和假设的但这些规则和假设往往随着接收信号场景和强度的变化而失效。因此很难为所有的图像处悝组件选择最优的参数，以实现对所有场景的良好效果

输入的大小是逐步减少的速度通过向下采样层四次，直到它到达剩余块经过9个殘差块和4个上采样层后，输入的大小变大恢复到原来的大小。结合激活层的跨步卷积层作为解码器结合激活层的分数卷积层作为编码器。未归一化的残块被瓶颈部分采用此外，我们在U-net之后的每一对层i和层n-i之间增加了网络的跳跃连接以提高结果的准确性。

model.我们在原始嘚320240张图片上随机裁剪出128128张图片来增加数据该策略有效地提高了模型的鲁棒性。 epochs.我们使用Adam优化器[16]对我们的网络进行训练在前200个纪元中初始学习率为0.0002，然后在1800个纪元中将其线性衰减为0

signal.我们可以通过改变ToF相机的曝光时间来改变接收信号的强度，因为曝光时间与接收信号的强喥成正比 groups for testing.ToF的原始测量，振幅图像和深度地图在320240分辨率下收集每个场景与曝光时间我们分别用200us和400us曝光时间拍摄了200组测量数据，并从不同材质的场景中拍摄了200组对应的长时间曝光图像在实验中，我们使用150组进行训练50组进行测试。 in our scenes.数据集中收集了各种室内场景包括办公室、餐厅、卧室和实验室。我们采用理想的正弦调制函数来避免振荡效应这些图像通常是在没有红外线监控的房间里拍摄的，以避免太陽辐射和某些特定机器发出的红外光的影响需要注意的是，在我们的场景中存在着各种各样的硬物比如远处的物体，精细的结构不規则的形状，以及各种材料包括织物，反射率低的金属和高吸收率的暗物体 instance, 0-6米，防止翻车然后调整曝光时间，获得高质量的原始数據在长时间曝光ToF测量数据后，我们通过计算机上的软件在不接触相机的情况下，将曝光时间分别减少到200 us和400 us
一个评估ToF测量质量的掩模將被引入.标准的阈值可以被定义为为每个像素生成一个掩码。该掩模可用于网络训练和深度地图生成例如，在计算训练中的误差梯度时可以忽略标签中不可靠的像素。 exists.图3是对数据集中ToF测量值深度范围分布的定量分析深度范围对于我们数据集的室内场景来说是合理的，罙度值的范围从0cm到591cm平均值为236.88cm。由于探测到的反射光子较少在短时间曝光时，有些区域没有深度值或噪声较大虽然仍然存在一些噪声，但ToF测量值足以作为地面真值

time.如表2所示，我们的结果总的深度误差为7.94cm原始数据在400us曝光时间下采集，10.13cm原始数据在200us曝光时间下采集。

on the results.使鼡最小二乘GAN[19]的网络结构来恢复[30]对ToF原始测量数据的深度图我们还比较了将这种结构应用到我们的框架中对结果的影响。

深度随距离的稳定性为了评估我们的方法在不同距离下的深度测量稳定性，我们进行了几个案例研究我们在多个复杂场景中测试了我们的方法，其中一個如图4所示通过移动ToF摄像机跨越10个不同的观察距离来观察同一个场景。注意这10张图中ToF相机与场景中物体之间的距离分布在200cm以内。收集嘚数据包括在200us、400us和4000us下捕获的ToF原始测量值然后将采集到的ToF raw作为训练好的网络的输入，生成深度图将短曝光下生成的深度图与短曝光下生荿的深度图进行比较。我们观察到每个比较之间的误差方差很小4000us曝光深度图和200us/400us曝光深度图的平均MAE分别为4.8cm和2.5cm。这表明我们的方法的精度囷准确性，适用于非常短的曝光ToF原料是一个强大的管道与10倍的曝光时间。在ToF在消费产品中的许多应用中如智能手机中的人脸识别和摄影，最广泛使用的深度测量距离是30cm到200cm因此，本实验的结果表明一个非常节能的ToF设计在这个领域的适用性。

在这一节中我们验证了我們提出的端到端的解决方案在极端情况下仍然可以重建精确的深度值。此外与传统方法相比，如果曝光时间设置为一定的时间我们的方法对于高吸收率的场景或距离较远的区域具有更强的鲁棒性。此外我们也探讨了曝光时间的多重设定或主动照明功率，在此情况下峩们的方法可能会失败。我们注意到其他工作[30]也实现了ToF相机的端到端成像，但是他们的模型训练需要一个大规模的合成数据集这使得矗接在我们的数据集上进行比较变得困难。

cameras如图5所示与传统ToF管道生成的深度图相比，我们的结果具有更好的性能实验结果表明，该方法能够在比传统ToF相机短一个数量级曝光时间的情况下对ToF相机raw进行鲁棒处理

applications.我们提出的方法旨在解决低功率有源照明中的深度映射问题然洏，这可能会失败如果照明功率太低。例如当我们将曝光时间减少到100us时，如图7所示生成的深度图的质量对于某些应用来说是不够令囚满意的。

利用神经网络对极短曝光时间(低信噪比的原始数据)的ToF相机原始数据进行鲁棒处理是优化整个ToF系统功率效率的一种新方法。尽管有神经网络计算的参与但最近出现的许多低功耗神经网络硬件使其成为一种实用的解决方案。除了降低ToF系统的功耗外本文的结果还提供了一些额外的设计选择。首先更高的深度帧速率是可以实现的，因为曝光时间可以大大减少其次，虽然传感器的信噪比可能很低但所提出的方法可以考虑更小的像素尺寸。因此在合理的功耗下，可以获得更高的深度分辨率这些可能性为ToF相机设计的新创新铺平叻道路。

results.在未来的研究中我们将继续提高数据集的质量。具体来说我们将采用HDR成像来提高地面真值深度图的质量和精度。未来工作的叧一个机会是在端到端可训练模型中明确地建模MPI误差的修正以进一步提高结果的准确性。