在本节中我们将介绍与静态HDR图潒相比，HDR视频的色调映射的一些主要差异 本节以视频TMO的分类准则作为结束。在本报告中我们基于许多概念对这些内容进行了讨论，它們被用于对第6节中描述的视频TMO进行分类

HDR视频中一系列帧的色调映射在很多方面与单个静态图像的处理有所不同。最明显的差异是由于需偠维护的帧之间的相关性 如果不仔细考虑时间一致性，会引入闪烁和其他伪像由于HVS响应时间变化的敏感机制，甚至可能会出现一点中斷[dLD58Gre69]。 效率高因为需要处理大量帧。 此外在处理摄像机捕获的HDR图像时，由于单个图像和视频序列的捕获过程不同材质本身也明显不哃。 这些差异要求单独考虑以便在所有可能的情况下获得高质量的音调映射。

尽管HDR视频捕获直到2010年代初才完全成熟但早在15年前就提出叻考虑随时间推移而适应的第一个视频映射算法[FPSG96]。但是在许多具有显式时间模型的早期方法中，时域考虑的主要目的是为了获得HVS适应机淛的完整模型或者提供用于在计算机生成的场景中进行交互式演练的方法由于缺乏高质量的摄像机捕获的HDR视频，因此很难全面评估新视頻色调映射运营商的性能在许多情况下，只能通过CGI在静态HDR全景中平移或通过使用交替照明捕获静态场景来创建唯一可用于测试的材料。一些示例还包括用于录制HDR视频的定制技术和系统然而，随着专用HDR摄像机的出现有可能彻底测试现有算法。从我们先前的研究中的调查和评估中我们发现许多经过评估的操作员要么患有假象，要么缺乏对比度和细节再现能力为响应新HDR摄像机的引入，在2010年代对视频銫调映射的研究更加集中于解决此类材料的色调映射的特定问题。尽管材料可能会遇到特殊挑战但主要目标是实现高质量的色调映射。

Boitard等人提出了可能的颞骨伪影映射的分类 其中包括抖动，时间对立对象不连贯等伪影我们着重介绍全局和局部的抖动和重影伪影，因为咜们可以说是最突出的一致性问题 对于人类观察者而言，涉及时间对比度和物体不连贯性的其他伪像更自然 我们会适应当前的照明情況，因此只要变化是平滑的就可以接受对比度和物体亮度的变化。 对于不同的非相干定义的彻底处理我们参考Boitard等人的工作。

如果映射V：L→T在任何情况下都取决于图像内容即V = V（Ls;φ（L）），则可能会引起时间伪像用于内容感知的许多测量或图像统计量φ（L） 音调曲线的公式可能会在帧之间快速变化，从而导致音调曲线的非平滑变化 这些变化被认为是最终色调映射中的闪烁伪影。
在全局处理的情况下對所有像素使用相同的色调曲线（公式4），可以通过使用某些内核Gσ随时间推移对图像统计数据进行低通滤波来实现帧之间的平滑变化。

泹是此过滤器响应会受到将来帧的影响，这可能会导致时间轴不一致 更准确地说，色调映射可以在实际发生变化之前就开始对照明的變化做出响应 一个更明智的选择是仅过滤过去的帧，例如 使用指数衰减的内核表示泄漏的积分器。 可以通过使用混合值α在当前样本与先前样本之间进行及时混合，以最简单的形式制定公式。

 对于等式8的局部音调映射运算符情况更为复杂。 如果使用某些局部图像描述ξξξs（L）进行局部处理时如果不精心设计具有鲁棒的统计信息，则可能导致图像中的局部快速变化 在每个像素级别上直接使用公式10和11Φ的时间滤波过程会导致重影伪影。 另一种方法是对最终的色调映射值Ts =（Gσ? l）s进行低通滤波这可以以引入一些运动模糊为代价来帮助妀善时间相干性和噪声水平。

为了随时间执行每个像素的过滤而没有运动模糊的副作用可以使用边缘停止过滤器[BM05]将局部过滤器内核限制茬较大的时间梯度上，例如 等式17。但是这是以有限的过滤器或不过滤接近较大的时间梯度为代价的。

通过自然补偿的拓朴像素过滤以補偿运动补偿的时间内核从而有效地沿时域中的运动路径进行过滤。 如果运动估计正确则可以在时域中在均匀区域和接近时间边缘处進行滤波，并且在不引入运动模糊的情况下进行滤波 但是，运动场并非在所有情况下都被定义例如 框之间被遮挡的区域。 同样在其怹情况下，估计可能会失败 这些问题会导致伪像，或者必须在时域的支持方面限制筛选 用于色调映射的运动补偿时间滤波的例子包括Lee囷Kim的方法[LK07]，利用块匹配来获取运动矢量以及Aydinetal。[ASC * 14]描述的框架该框架使用光学流估计进行滤波。 有关更多信息请参见第6节，尤其是公式18囷21

用上述的时间过滤变体，可以将现有的静态图像色调映射运算符扩展为适用于HDR视频这也是检查文献时的常用方法，在文献中已使用叻一系列不同的静态算符摄影TMO [RSSF02]是最常用的一种，它已在许多变体中进行了时间处理用于保持时间上的一致性的另一种方法是考虑时间方面的后处理步骤，该步骤适用于任何静态音调映射方法这意味着色调映射过程被视为黑匣子，目的是通过一些全局或局部像素操作来施加时间一致性为了减轻全局闪烁伪像，一种可能性是分析每帧的平均值并限制随时间的变化或与原始HDR序列进行比较。但是通过对烸个帧应用单独的缩放，此类方法仅在全局级别上起作用假定所有时间不相干性只能归因于全局图像亮度的变化。更加困难的情况例如昰时间上不连贯的对比变化和局部不连贯

还提出了一些用于在局部水平上实现时间相干性的后处理方法，这些方法主要依赖于光学流估計的每个像素运动场 这些都是为处理各种不同的视频操作而制定的，当特定操作未知时这可能是缓解相干问题的好选择。 但是作为┅种可行的视频色调映射解决方案，生成时间无关的结果然后尝试在后处理步骤中克服这些问题，这是违反直觉的 在整个音调映射管噵中保持局部连贯始终将更加高效。

HDR视频捕获过程最严重的影响之一是增加了相机噪声尤其是在较暗的场景中。 为了捕获动态场景限淛了曝光时间。 因此为了在捕获的亮度范围内合并阴影和暗区，需要将传感器增益设置得较高从而导致传感器噪声增加。 尽管噪声可能在原始视频序列中是看不见的但可以通过色调映射过程轻松地将其显示出来，如图5所示这可以从大多数色调曲线所经历的非线性中悝解，这会降低亮度 亮度像素的数量而暗像素则相反，从而导致暗区域中的相对噪声水平增加

可以应用去噪算法以减轻图像噪声的问題。 如果将每个像素的滤波过程用于在色调映射中施加时间相干性则某些降噪也会带来积极的副作用。 然而这以增加的计算成本为代價，并且难以在不引入伪影的情况下去除所有噪声 同样，如果色调曲线分配了暗像素亮度的显着增加则不可避免地会显示出一些残留嘚噪声或降噪伪像。

为了确保从色调映射中看不到图像噪声可以基于对噪声特性的了解明确控制色调曲线的形状。 这样噪声被隐藏在朂终色调映射的较暗区域内。 该方法也可以与去噪算法结合以便能够对暗图像色调进行更大的处理。

图5:在HDR输入图像中人眼看不见的噪声因此在HVS对比度可见性阈值以下的噪声，在色调映射过程中可能被推到阈值以上

我们使用前面几节中描述的概念来公式化视频TMO的一般分類。这包括音调曲线的类型处理，意图和时间过滤器 此外，我们在计算复杂性方面进行了分类补充 这是由于与图像操作相比，所涉忣的计算量增加 由于视频序列通常每秒包含约25-30帧，因此在调整色调映射的参数时交互式或实时性能会使周转时间的差异更大。

1.音调曲線：用于执行音调映射的基础转换函数在第六节中，TMOsin使用以下函数之一：线性对数/指数，S形/ s形或基于直方图另外，一些运算符在渐變域中执行映射

2.处理：全局TMO使用图像的所有像素的同调曲线，而局部TMO在空间上改变功能

3.目的：色调映射的目的是根据：视觉系统模拟器（VSS），最佳主观质量（BSQ）运算符和场景再现（SRP）运算符

4.时间滤波器：通过在一段时间内对某些色调映射参数进行滤波，将时间适应滤波器应用于全局级别或者在局部级别按像素计算。

5.速度：TMO的计算速度能够产生出色的交互式的或实时的性能。这些是根据特定TMO执行的計算的复杂性粗略估算的实时性能在此处定义为高于20帧/秒，而交互式则是TMO大致能够处理多于几帧/秒的时间但是，帧速率在很大程度上取决于图像分辨率和所使用的硬件因此分类是近似的。

6. 视频色调映射算法

在本节中我们描述了现有的HDR视频色调映射。 表1中使用5.4节中的汾类列出了所有运算符 此外，对于运营商的子集该表还包括根据四个不同标准估算的性能。 已按照第7节中的描述进行了测量

在我们對视频色调映射文献的回顾中，我们发现以下色调映射运算符对如何处理时态方面具有独有的组件：视觉适应性TMO 作为具有时间自适应机淛的音调映射运算符的第一个示例，Ferwerda等人利用一系列心理物理实验中的数据来建立视觉反应模型。该方法基于阈值-强度（tvi）函数该函數源自在整个视觉范围（暗视和明视）上检测阈值的实验。之前发布的有关颜色外观变化（光谱敏感性）视敏度变化（分辨空间细节的能力），过照度适应时间（检测阈值在光和暗适应中的阈值）的数据得到了补充。然后在实验数据上建立计算模型以预测HVS在可见性，顏色外观和场景特征清晰度方面的行为该预测是在给定的背景亮度下进行的，并且是随着时间的推移而做出的该模型使用Ward [War94a]的概念，即茬色调映射之前和之后仅匹配显着差异（JND）但是，匹配是分别针对杆和圆锥体执行的并且添加了其他功能以解决视敏度和随时间变化嘚问题。

交互式漫游TMODurand和Dorsey [DD00]：Durand设计了一种用于计算机生成的漫游的交互式色调映射的方法。 因此TMO专注于实现交互性。 为了适应在线渲染引擎它使用两次通过方法。 第一步在对数域中执行降采样的低分辨率渲染，以确定适应级别 在第二步中使用它执行渲染和适当的色调映射。 操作员基于Ferwerda等人的工作 [FPSG96]，但具有扩展功能例如用于观看夜景和色彩适应的蓝移。 使用基于Adelson [Ade82]和Hayayetal[HBH87]的数据的指数滤光器进行光适应。通过随时间过滤每个通道的适应水平对色适应进行建模。 最后模拟起火，并以与视觉适应性TMO 中相同的方式对视力损失进行建模

时間适应性TMO，Pattanaik等 [PTYG00]：Pattanaik等。 目前的HVS时间适应机制的有效建模模型 它基于Hunt [Hun95]进行的心理-身体测量数据。 使用适应模型和外观模型可以模拟图像嘚响应。 随后这些之后是逆外观和适应模型，以便将响应映射到显示设备 在适应模型中，使用S形函数对圆锥和杆分别计算静态响应（方程5）使用指数平滑滤波器对时间进行自适应建模，并根据Crawford [Cra37]的数据进行衰减 数据大致与Adelson [Ade82]和Hayhoe等人的测量结果一致。 [HBH87] 此外，还包括与时間有关的颜料漂白因素在棒和锥系统中，总共使用了四个过滤器用于神经和光化学机理。

时间接触TMOKang等。 [KUWS03]：Kang等 提出了一种通过在帧與帧之间临时改变曝光时间来捕获HDR视频的技术。 为了重建HDR视频使用光学流对帧进行插值，以在每个帧中提供两次不同的曝光 为了显示偅建的视频，将时间过滤过程添加到摄影TMO [RSSF02] 照片的色调曲线

图形SMO使用S型映射以下列形式表示：

 时间接触TMO，Kang等 [KUWS03]：Kang等。 提出了一种通过在帧與帧之间临时改变曝光时间来捕获HDR视频的技术 为了重建HDR视频，使用光学流对帧进行插值以在每个帧中提供两次不同的曝光。 为了显示偅建的视频将时间过滤过程添加到摄影TMO [RSSF02]。 照片的色调曲线
图形SMO使用S型映射以下列形式表示：

 在此s遍历所有空间像素位置，而t遍历一组幀 ε是一个小常数，可避免奇异值。

时间依赖的GPU TMO，Goodnight等 [GWWH03]：解决与本地色调映射运算符相关的高计算复杂性的问题，Goodnight等人 描述照相TMO [RSSF02]的GPU加速。 该方法能够在2000年代初使用可用的硬件以交互式帧速率实现本地色调映射这意味着今天的实时性能应该没有问题。 至于音调映射的时間特性在交互式穿行TMO [DD00]中使用了类似的时间自适应模型，并带有指数低通滤波器

自适应时间TMO，Ramsey等 [RJIH04]：Ramsey等。 还提出了一种通过时间适应对攝影TMO [RSSF02]进行补充的方法同样地，在时间暴露TMO [KUWS03]中根据公式13计算随时间的几何平均值。但是使用了动态范围的帧，因此仅相邻帧 使用与当湔帧相似的平均值 有效地，这使得边缘保持时间滤波当输入快速变化时允许快速适应。

局部适应性TMOLedda等。类似于时间适应TMO [PTYG00]Ledda等人。 使鼡源自实验数据的视网膜反应 使用S形曲线分别计算圆锥和杆的这些值（公式5）。 但是为了获得局部响应，需要对每个像素分别进行此操作 为此，使用了一个双边过滤器来推导在响应函数中使用的局部适应水平 为了模拟局部适应的时间过程，使用指数过滤器对适应水岼进行过滤不同的过滤器用于视锥细胞和视杆，以及暗和光适应

对操作员进行了静态场景照明变化的评估，但对于动态场景适应水岼的局部时间滤波通常会导致重影伪影。

适应不良的TM： 提出了一种用于HDR视频色调映射的VSS模型其中包括HVS的错误适应状态。 它尝试匹配场景嘚可见性同时使用考虑神经机制和光色素漂白/再生的模型随时间进行适应。 此外由于能够对适应不良进行建模，因此TMO不会假设HVS完全适匼当前的亮度水平

可见度匹配取自Ward等人的方法。它使用直方图调整来执行色调重现但借助用于检测亮度阈值（tvi）的功能，将调整限制茬眼睛的灵敏度极限内 爱侣湾等。 使用时间适应TMO [PTYG00]的时间适应模型来补充此音调曲线 此外，他们将阈值模型扩展为使用tvia（阈值与强度和適应性）函数以对不良适应进行建模。 tvia是通过数值推导得出的要求通过JND ?L改变亮度，应在响应函数中产生?R改变 那是，

 响应曲线R用S形函数表示而?L（L，σ（La））是适应水平La的tvia图6中显示了一些适应胎儿适应的HVS阈值曲线。这些也被确定为与在线探针一致 Walraven等人的实验 [WECH * 90]鼡于测量错误适应的HVS的阈值可见性。 该方法还可以用作低视力模拟器演示具有视觉障碍的HVS所感知的图像。

感知效果TMOKrawczyketal。[KMS05b]：类似于与时间楿关的GPU TMO [GWWH03]Krawczyketal。构造基于摄影TMO [RSSF02]的视频TMO 主要目标之一也是实现具有实时性能的本地音调映射。 但是该方法通过一组感知效果增强了摄影TMO。 由於摄影TMO需要建立高斯金字塔以导出色调映射中的局部适应水平因此可以在不增加计算开销的情况下添加基于此构造的附加效果。该框架包括了这种观察视觉清晰度和遮盖亮度的优点。 此外还对暗视范围内的颜色感知损失进行了建模。

时间自适应是使用指数衰减函数执荇的用于过滤随时间变化的自适应级别，方法与交互式演练TMO [DD00]中的方法相同 但是，不是对棒和圆锥进行单独的计算而是使用一个单一嘚时间常数。 这是根据视杆的灵敏度从视锥和视杆的时间常数内插的 最后，为了获得实时性能操作员在图形硬件中实现。 梯度域TMOWang等。 [WRA05]：Wang等 使用称为裂隙光圈照相机的拍摄设备。 这是一台带有3个CCD传感器摄像机的装置可以同时捕获同一场景中不同范围的亮度。 使用标准技术恢复每个帧的辐射图目的是使用生成的HDR视频在色调映射中利用空间和时间域。

对于色调映射Fattal等人的梯度域方法。 用于[FLW02] 该方法根据比例因子?k衰减像素位置s处不同比例k的图像梯度?Hks

 修改后的梯度场Gs =Φs?Hs，其中Φ是所有k的组合衰减因子然后根据泊松方程用于求解銫调映射值T，

 与原始方法相比区别在于梯度场在三个维度上，在空间和时间上都在扩展 与逐帧解决方案不同，在3D条件下求解泊松方程鈳得到在缩放和偏移方面随时间变化的一致结果 为了提高效率，可使用对角多重网格技术来求解3D泊松方程 但是，对于色调映射由于時间衰减会导致运动模糊，因此仅空间梯度会被衰减

虚拟曝光TMO，Bennett和McMillan [BM05]：虚拟曝光相机是一种用于视频降噪的过滤方法 它会在空间和时间仩进行双向过滤，以减少图像噪声 Bennett和McMillan建议使用此过滤器集成视频色调映射运算符，该运算符使用空间双边过滤器进行细节保存[DD02] 为此，將每个帧分解为基础层和细节层 基本层使用音调曲线进行音调映射，该曲线从Drago等人的方法中汲取灵感 [DMAC03]，执行对数映射 随后，将保留嘚细节加回去（请参见公式8） 但是，为了减少噪声并帮助提高时间相干性在时域中使用了单独的双边滤波器。 对于帧t中的像素s时间濾波可以表示如下，其中在时域中滤波支持为2d +1帧宽：

 Gσ表示高斯核，而G是双核的归一化因子。为了避免运动模糊问题，每个像素的时间滤波会随着时间的推移停止出现强边。

圆锥模型TMOvan Hateren [vH06]：与以前发布的VSS色调映射方法相反，后者使用实验数据为HVS建模van Hateren提出了一种使用实际定量測量的方法。 该操作员基于动态建模灵长类动物视锥细胞和水平细胞的系统[vH05] 该系统基于对猕猴视网膜[SPLD01，LDSP03]中的细胞进行的定量测量 由于獼猴的视网膜与人类的视网膜几乎以相同的方式工作，因此该模型被认为可以很好地代表人体视锥细胞的功能 由于仅从视锥中进行测量，因此假定具有视觉视力而忽略了热疗的影响。此外还假定了恒定的瞳孔大小。 实际上色调映射是通过S型音调曲线执行的（公式5）。

操作员描述动态响应并随时间对圆锥进行建模。 由于神经机制的推动特别是随着时间的推移，视锥的整合利用了临时的每像素低通滤波器。这也减轻了图像噪声的问题但代价是为运动物体引入了运动模糊。

TMOLee和Kim [LK07]的块匹配：Lee和Kim基于与梯度域TMO [WRA05]中相同的思想，提出了一種用于视频音调映射的方法也就是说，在渐变域中执行音调映射并扩展了梯度 无论是在空间上还是随着时间的推移。 梯度根据Fattal等人的梯度域压缩而衰减 [FLW02]。 但是与仅衰减空间梯度的Wang等人相反，Lee和Kim也修改了时间梯度 为了这样做而不会引入运动模糊，使用块匹配算法来進行运动补偿 给定从帧t-1到帧t的估计运动v v vs，t of a pixel s可以将成本函数表述为。

成本随着应对应于同一物理对象点的两个帧中像素值的不相似而增加这意味着运动估计可能不可靠。 然后在泊松方程中使用成本C来平滑沿场景点的运动路径的渐变 结果是增强了时间连贯性并降低了噪聲。 即不仅该方法被设计为不引入任何时间伪像，而且成本随着应对应于同一物理对象点的两个帧中像素值的不同而增加这意味着运動估计潜在地不可靠。 然后在泊松方程中使用成本C来平滑沿场景点的运动路径的渐变 结果是增强了时间连贯性并降低了噪声。 即该方法不仅被设计为不引入任何时间伪像，而且 

图7:在Display adaptive TMO [MDK08]中将色调映射作为一个优化问题来表示。图像增强的输入HDR也包括在内可以选择性地使鼡，以实现更清晰和更丰富多彩的图像(图片由Mantiuk等人提供[MDK08])。

[MDK08]：Mantiuk等将色调映射表述为优化问题，以最大化在特定显示设备上查看的输入HDR图潒和色调映射图像之间的相似性请参见图7。为了估算从显示器发出的亮度公式1中的模型用来。利用该信息提出了非线性优化问题。目的是使原始图像的对比度响应与色调映射后的对比度响应之间的平方差最小即，为了优化根据估计的对比度响应来测量显示图像Ld和HDR輸入之间的差异。这些是从HVS对比感知模型计算得出的但是，优化并没有最小化每个像素的差异而是使用对比度的条件概率密度函数，該函数是根据拉普拉斯金字塔中不同级别的直方图估算的优化受色调曲线的影响，该曲线是将亮度映射到显示器的可用动态范围的增加函数最后，该问题作为二次编程问题被迭代解决

在时间自适应方面，利用低通滤波器对推导出的色调曲线节点进行时间滤波

视网膜模型TMOBenoit等人。 [BAHC09]：Benoit等 设计一个对HVS的早期阶段建模的VSS运算符。 它描述了细胞层中的操作这些过程处理从感光器的入口点到神经节细胞输出的響应，并补充视网膜的时空滤波器 该操作员是根据Hérault和Durette [HD07]和Meylanetal。[MAS07]的模型开发的这些原因说明了视网膜中的低水平过程，包括局部适应性

艏先，利用S形函数对感光器的局部响应进行建模其中局部适应水平来自图像的空间低通滤波。然后将响应通过时空过滤器，以模拟在外部柱状层（OPL）[HD07]中发生的处理该OPL滤波器可被视为两个低通时空滤波器之间的差异，并且会产生图像频谱的白化即，它将低频频谱移向哽高频率反之亦然。该滤波器被认为可通过低通滤波高频来降低噪声并通过随时间推移局部适应水平的滤波而产生更好的时间稳定性。作为音调映射管线的最后一步OPL时空滤波的输出被馈送到神经节细胞响应模型。与最初的感光器相似这是使用S型函数建模的，但使用叻不同的参数

作为一项附加操作，通过在色调映射过程之前对彩色图像执行初始空间多路复用（或拼接）处理颜色 最后，从多路分解戓去马赛克步骤恢复色彩 目的是通过对视网膜中的色锥响应（L，M和S锥）进行单独处理来激发颜色恒定的效果[MAS07]

Pajak等人，《本地不良适应性TMO》 [PCA * 10]：虽然恶意软件适应性TMO模拟了HVS中恶意软件适应的效果，但这是在全球范围内完成的[IFM05] 另一方面，本地适应性TMO可以模拟本地适应性水平但不能模拟不良适应的影响[LSC04]。 Pajak等人针对本地不良适应性TMO进行了研究 提出了一个模型，该模型说明了空间变化的适应不良 该模型包括超阈值机制，例如视觉蒙版 此外，根据空间频率得出亮度适应性和对比度灵敏度 空间频率敏感度模型使用Daly [Dal92]的可见差异预测值（VDP）中的對比敏感度函数（CSF）。 适应时间过程的模拟与Mal-适应TMO中的相似但在每个像素级别使用指数滤波器。 如使用实时GPU实施所展示的可以对仿真進行有效评估。

减少闪烁的TMOGuthier等。 [GKEE11]：Guthier等 专注于减少已经色调映射的视频材料中的抖动现象，采用后期处理过程无色调映射序列，当两個连续帧的关键值κt（等式13）之间的差大于某个阈值H时检测到抖动，|κt? κt?1 | >H该阈值由史蒂文斯幂定律[Ste62]制定，H = ?L = kL1 / 3其中k由实验确定。 對于高于阈值的帧亮度会反复更改，直到关键值落入可接受的亮度更改范围κt∈[κt?1 -Hκt?1 + H]为止。 该方法适用于仅遭受全局亮度不连贯嘚任何TMO但是Ward等人在三个先前发布的算子上进行了证明。 [War94aWLRP97]和Reinhard等人。 [RSSF02]

实时自动TMO，Kiser等 [KRTT12]：认识到相机捕获的HDR视频的色调映射中的固有问题，Kiser等人 建议使用自动参数估计[Rei02]对摄影TMO [RSSF02]进行两次修改。 首先基于图像直方图，在色调映射之前将输入图像的黑白电平钳位 这是为了更恏地利用显示设备的可用动态范围，否则该动态范围可能会受到极限值的影响 其次，使用泄漏积分器来过滤随时间变化的参数该积分器类似于与交互式漫游TMO [DD00]中所用的指数平均低通滤波器。 由此产生的运算符可实现具有实时性能和自动派生参数的有效实施

颜色外观TMO，Reinhard等 [RPK * 12]：Reinhard等。 从颜色外观建模色调映射和亮度感知中汲取灵感，以构建外观校准算法 目的是根据感光器响应（包括亮度感知的局部方面）匹配图像外观。 相对于房间照明以及显示特性进行匹配

根据描述适应亮度，最大亮度适应白点，最大白点和适应度的参数执行外观再現 对于场景，显示和查看环境这5个参数分开保存。 场景参数是根据输入估算的而其他参数则经过调整以指定要为其校准输入的显示環境。 此外场景参数估计被定位到根据中值剪切算法[Deb08]计算出的图像区域。

最终的色调映射算法是使用不同的环境参数从感光器S形响应模型中制定的 为了获得时间稳定性，对截取参数进行了泄漏积分有效地执行了随时间推移的指数过滤。最后针对一组颜色数据集验证叻外观再现。

时间一致性TMOBoitard等。 [BBC * 12]：除了时间闪烁Boitard等人。确定视频色调映射中的两个其他潜在问题第一个称为物体无声，它涉及色调映射序列中物体亮度的变化与原始HDR序列不对应的更改，是由于图像统计信息的变化而发生的第二种称为亮度无关性，它描述了整体亮度隨时间的变化； HDR序列中最亮的帧始终无法产生明亮的色调映射帧为了实施保留这些属性的色调映射，Boitard等人（2003年）提出了一种新的方法建议在后处理步骤中考虑整个HDR和色调映射序列，而不是在时域中进行本地操作对于每个帧，分别计算关键值κLt和κTt（等式13）分别对应於HDR和色调映射序列。色调映射序列的每个帧的关键值然后根据帧的全局缩放比例τ固定为整个输入HDR序列的最大关键值T

混合值也用于缩放，以放宽这种锚定并允许更小的偏差从输入的最大键值

 后处理意味着该算法适用于仅遭受全局不一致性的任何TMO。 但是Boitard等。 使用摄影TMO [RSSF02]中嘚色调曲线它可以稍微简化缩放比例的公式。 使用亮度缩放的后处理调整类似于“减少闪烁” TMO [GKEE11] 但是，它会考虑整个序列以增强对象和煷度的一致性并通过与输入HDR序列进行比较来做到这一点。 这是以降低整个视频序列的整体亮度为代价的因为与最亮的输入帧相比，大哆数帧将被缩小以保持恒定的相对亮度

区域相干性TMO，Boitard等 [BCTB14b]：为了提高时间相干性TMO的结果，在区域相干性TMO中Boitard等人 使用其他功能扩展该方法，以对亮度域中的各个段执行处理 由于保留总体时间亮度连贯性会导致总体亮度和对比度（除最亮帧以外的所有帧）降低，因此新操莋员的目标是在本地进行此操作 而且由于很难进行空间分割，特别是要在整个序列上保持连贯性因此可以在亮度域中完成。

为了分割荿不同的亮度区域对于每个帧，使用对数域中的图像直方图首先，检测直方图的局部最大值并将其之间的局部最小值定义为区域边堺。在这些区域中的每个区域中键值都是单独计算的。但是这些区域关键值可能会在帧之间快速变化，从而可能导致闪烁伪影为减輕此问题，计算区域以使边界在整个序列中保持一致这是通过从所有帧中的所有区域关键值计算序列直方图来完成的，然后再次执行分割从而获得一组新的区域。最后使用这些区域的关键值，分别针对每个亮度区域执行时间相干TMO（公式19）的缩放调整为避免区域边界絀现问题，当靠近边界时将缩放比例τ混合在相邻区域之间。运动路径过滤TMO，Aydin等 [ASC * 14]：Aydin等人采用的方法。这是由摄像机捕获的材料[EWMU13]的视频銫调映射常见的问题引起的尤其是在不引入局部时间不连贯性的情况下再现局部对比度的问题。为了在执行局部时间连贯性的同时对序列进行局部色调映射该方法被设计为时空滤波框架。该框架的基础是通过光学流计算进行的每个像素的运动估计该计算给出了帧t和r之間每个像素s的运动矢量v v vs，t r使用该矢量场，可以根据时间在2d +1的时间窗口r∈[t -dt + d]上对每个像素执行随时间的运动补偿滤波。

Fort = r矢量场v v vst?t= 0。沿着運动路径过滤的核H是从洛伦兹边顶函数描述的 它使用帧t中的当前像素与帧r中的运动补偿像素之间的差作为停止标准。 其目的是限制在较強的时间边缘或光学流失败时的过滤

如图8所示，根据等式8通过将输入帧分为基础层和细节层来执行色调映射。但是在提取细节层之湔，使用等式21临时过滤基础层和原始帧 用于估计基础层的边缘保留滤波器被公式化为迭代平滑过程。 此外通过在对数域中缩放或利用Drago等人的色调曲线来完成对基础层的压缩。 [DMAC03] 过滤过程试图增强色调映射的局部时间一致性，包括输入序列中已经存在的时间伪像 积极的副作用还可以减少相机噪点。

Hybrid TMO, Shahid et al. [SLF * 15]：Shahid等提出使用混合色调映射方案，该方案利用两个不同的TMO来映射HDR序列中的同一帧使用定向滤镜库边缘检測算法[ATJ12]将图像分割成包含高强度变化的区域。这些区域随后使用iCAM06TMO [KJF07]进行了色调映射由于本地处理，该区域可渲染保留良好的细节在帧的其余区域中，使用了Wardetal的直方图调整[WLRP97]。为了处理时间方面对色调映射的帧进行缩放，以强制连续帧之间的平均强度差异不超出预定阈值类似于该技术。在减少闪烁的TMO [GKEE11]中噪声感知TMO，Eilertsen等 [EMU15]：Eilertsen等人以作者早期调查和评估[EWMU13]为起点。提出了一套技术来解决当色调映射相机捕获HDR视頻素材时通常会出现的问题目的是要找到一种有效且在时间上稳定的视频色调映射方法，该方法可以处理动态范围的大压缩同时保持局部对比度，而不会增加摄像机噪声的可见性

噪声感知TMO, Eilertsen等人[EMU15]: Eilertsen等人以作者早期的调查和评估[EWMU13]为起点，提出了一套解决问题的技术它表明，当色调映射摄像机捕获HDR视频材料时这些问题通常会出现。目的是得到一种有效的、暂时稳定的视频色调映射方法它可以处理动态范圍的大压缩，同时保持局部对比度并且不增加摄像机噪声的可见性。

为了保持细节将公式8与专门为色调映射目的设计的滤波器一起使鼡。 这是出于认识到为降低噪声等目的而设计的标准边缘保留过滤器可以在某些情况下显示伪像的动力 色调映射的细节提取问题在概念仩是不同的，需要大规模的滤波响应并且滤波输出不是最终结果。 为了有效地提取没有伪像的细节建议从统一的双边滤波和各向异性擴散公式简化，该公式不能显示与各向异性0阶滤波器相关的重构问题的类型

对于色调映射，导出色调曲线以保持原始序列的对比度尽可能接近 这被表述为优化问题，目的是在亮度映射下最小化对比度的失真 对于输入对比度G和对应的对比度?G色调映射之后，平方失真的期望值（G-?G）2由对数亮度L上的对比度p（G | L）的分布表示如

该方程式代表了一个L2优化问题，可以通过参数化色调曲线并使用图像直方图描述p（L）来有效地解决一般概念类似于显示自适应TMO [MDK08]中的对比度优化。 但是这种公式可以简化复杂性。 为确保随时间平滑变化将音调曲线嘚节点使用低通II Roranedge停止滤波器进行滤波。 如图5所示色调曲线下的映射可以揭示在原始序列中不可见的噪声。 为了防止这种情况的发生引叺了噪声感知的概念。 想法是在等式22中的色调曲线优化中包括图像噪声的模型作为显着项此外，提取的细节层也根据噪声的可见性进行縮放 这两种机制的作用是隐藏噪声，以确保其不超过HVS的可见性阈值

作为色调映射过程的最后一步，色调映射的帧将通过逆显示模型（等式1）传递以使结果适合特定的显示设备。 噪声对数传感器TMOLi等。 [LSRJ16]：Li等 以与Ward等人的工作相同的方式描述直方图调整TMO。 [WLRP97] 该方法使用从圖像直方图导出的累积分布函数来制定色调曲线。 虽然沃德等 Li等人在计算色调曲线之前，将HVS的功能用作裁剪图像直方图的阈值 相反，為了不增加色调映射中图像噪声的可见度请使用噪声模型。 TMO专为实时处理来自对数CMOS传感器的视频而量身定制 为了进行时间自适应，使鼡指数低通滤波器对直方图仓进行过

K-means聚类TMOOskarsson [Osk16]：基于作者的先前工作[Osk15]，Oskarsson提出了扩展基于聚类的TMO以用于HDR视频的色调映射的目的给定一个由一組N个强度级别组成的输入HDR帧，目标是分配K <N个输出级别与原始图像相比，将距离D（NK）最小化，

 在此L∈{L1，...LN}和T∈{T1，...TK}分别是输入值和输絀值，而p（L）是图像直方图 优化使输入值L和有限的输出电平T之间的加权距离最小，从而产生了一组K个代表簇 即，将色调映射表述为一維加权K-均值聚类问题 使用动态规划方法证明，可以通过与KN2成正比的计算复杂性来迭代地发现全局最优 通常，对于标准显示K设置为256，並且在聚类之后是K级别到显示值l = {0...，255}的映射

为了解决时间变化，针对分布在整个HDR视频序列中的某些关键帧分别计算了从K均值聚类得出嘚色调曲线。 在特定关键帧上聚类用于派生色调曲线，不仅基于关键帧本身的像素还基于周围的一组组合帧。 然后根据最近的关键帧處的色调曲线的线性内插来计算关键帧之间的色调曲线

 表1:HDR视频色调映射操作符列表，分类并定量测量了其中一部分操作符的预期性能巳按第7节所述估计了执行情况措施。请注意这些只是提供了不同性质的指示性证据;它们是由有限的数据估计的，并不能保证泛化到所有嘚HDR视频序列有关每个tmo的描述，请参见第6节

 图9:计算时间相干性的标准化。行显示两种不同的tmo列显示三种不同的标准化技术。标绘的是HDR囷色调映射帧的平均日志值局部时间邻域为5帧，归一化前后的日志值时间相干性估计为归一化信号的互相关。从视觉上看TMO II在时间上昰稳定的，而TMO I有一些闪烁的趋势然而，只有公式26中的标准化才能揭示这一事实在(f)应用中的图例

 图10:测量的局部(每像素)时间相干性的例子，其中蓝色和红色分别对应较好的和较差的相干性这些例子展示了三个tmo在局部时间相干性(a)-(c)方面存在问题，以及三个表现出良好相干性(d)-(f)方媔的问题尽管局部不一致性主要与局部TMOs (b)-(c)有关，但(a)中的全局算子也受到不一致性的影响因为图像较暗部分的噪声被放大了。这些帧是使鼡公式26对Showgirl HDR视频序列的音频进行测量得到的如图19所示。

图16:根据图11-14的定量测量评估的TMOs的预期性能。时间上的不一致性被认为是局部和全球措施的总和而暴露是不足和过度暴露的总和。分类依据表1 

自将近25年前问世以来，用于HDR图像的色调映射方法已得到了巨大的发展 用时間适应模型设计的操作员也已经存在了很长时间。 但是随着摄像机捕获的HDR视频的引入，出现了新的问题 当时许多现有视频运营商都无法在所有情况下正确解决的问题。 考虑到复杂的时间行为和HDR视频流的特定属性使用最新的最新技术，我们现在可以在大多数情况下始终洳一地制作这种材料的高质量色调图

在这项工作中，我们重点介绍了HDR视频的色调映射算法并给出了现有方法的全面描述。随后从时间連贯性对比度再现，曝光和噪声可见性方面评估了这些方法的子集以表明它们的预期性能。 从结果可以得出结论鉴于定量测量提供嘚证据，一些最新的TMO非常适合解决与摄像机捕获的HDR视频的色调映射相关的问题

尽管当前的视频色调映射技术能够从现有的HDR视频材料生成高质量的结果，但是仍然存在一些明显的挑战例如，所有TMO都具有一组参数可以针对给定的目标调整这些参数以获得最佳体验。参数的數量范围可能从几到几十种不等可以找到合适的材料，即使一种方法可能声称是全自动的也总是有空间可以调整对比度，颜色等问題是如何找到最佳点在多维参数空间中，并随时间主观地评估结果尽管一些实验方法已用于此目的[YBMS05，EWMU13EUWM14]，但尚无用于微调TMO的通用方法

最后，由于最后通过主观判断来判断色调序列的质量因此对TMO的评估始终是一个具有挑战性的问题。与图像处理中的许多其他领域不哃它不可能与真相进行比较，在大多数情况下必须进行主观实验[DCMM16，Ch 7]。