作者 | 陳翔宇
本文是對國際計算機視覺會議ICCV 2021的論文“A New Journey from SDRTV to HDRTV”的解讀。
論文鏈接：https://arxiv.org/abs/2108.07978
GitHub鏈接：https://github.com/chxy95/HDRTVNet
該論文由中國科學院深圳先進技術研究院與商湯科技等單位合作，針對當下HDR標準下的SDR轉HDR問題進行了分析，并在此基礎上提出了由全局顏色映射，局部增強以及高亮細節生成三個部分組成的解決方案。更進一步的，文章提出了一種利用圖像全局統計信息的輕量級網絡來實現圖像自適應的顏色映射。此外，該工作構建了一個基于HDR10標準的數據集并給定了用于評價HDR重建效果的評價指標。實驗表明論文提出的方法在定量指標和定性分析上顯著優于當前的其他算法。隨著顯示技術的快速發展，HDR已經成為最新一代顯示設備的特點之一。相對于SDR內容，HDR內容具有更寬的色彩空間和更高的動態范圍，基于HDR-TV標準的內容能夠創造出更為接近真實世界的圖像和視頻。盡管HDR顯示設備越來越普及，然而現實生活中大部分可以獲取的資源仍然是基于SDR格式的。因此，當前急需能夠將SDRTV的內容轉換成HDRTV的算法。SDRTV-to-HDRTV這個任務具有巨大的實際意義，然而當前研究領域卻少有關注，主要有以下兩個原因：一是HDRTV的相關標準規范（如HDR10，HLG等）直到近幾年才逐漸確立完善；二是當前缺少大規模的數據集用于訓練和測試。為了推進這一領域的發展，本文對該問題進行了分析，并提出了基礎的解決方案以及一個新的數據集和相應的評價指標。本文使用SDRTV/HDRTV來分別代表對應標準下的內容，兩種標準對應的規范具體見[1, 2]和[3, 4]。HDR-TV標準的基本主要元素包括寬色域（Rec.2020），HDR的光電轉換函數（PQ或HLG）以及10-16比特的色深。不同于以往的LDR-to-HDR目的在于預測線性域上的HDR場景照明，SDRTV-to-HDRTV的目標是實現SDR內容到HDRTV標準下的非線性域的轉換。由于在兩個任務中HDR的內涵有所不同，其對應的方法也在功能性上有較大的差別。為了幫助更好地理解SDRTV-to-HDRTV任務，本文根據相機的ISP流程和HDRTV內容的制作流程給出了一個經過簡化的SDRTV/HDRTV形成流程示意，如圖1所示。圖1. SDRTV/HDRTV 形成流程
其核心的想法在于，同一個場景的SDRTV和HDRTV版本都源自于同一個Raw數據，其在產生過程中都會經過包括色調映射、色域映射、光電轉換函數以及量化等操作。只是由于兩種格式本身所使用的標準規范之間的差別，導致其在具體操作上了使用不同的函數以及保留的值域范圍不同，最終造成了兩個版本內容在色域范圍，動態范圍以及色深上的差異。因此，相較于將SDRTV-to-HDRTV定義為一個逆問題，這個任務更像是一個圖像到圖像的轉換問題。在這個基礎上，SDRTV到HDRTV需要解決的問題主要分為三個方面：一是由形成過程中兩個版本使用的全局操作的不同導致的全局的顏色差異問題；二是由于形成過程中的一些局部操作以及量化等帶來的局部細節的損失；三是由于SDRTV形成過程中動態范圍壓縮所帶來的高亮區域大面積信息損失的問題。為了解決上述提到的SDRTV-to-HDRTV的三個主要問題，本文提出了一個包含全局顏色映射，局部增強以及高亮細節生成的解決方案，如圖2所示。針對該解決方案，本文提出了一個包含三個深度網絡的串聯方法HDRTVNet如圖3所示。圖3. 提出的三階段SDRTV-to-HDRTV方法HDRTVNet該方法的三個網絡分別對應解決方案中的三個步驟。其中第一個網絡AGCM包含兩個部分，即一個用于實現顏色映射的主網絡和一個用于實現圖像自適應功能的條件網絡。該網絡僅使用了1×1卷積，其中主網絡的1x1卷積結合ReLU激活函數用于實現顏色值從SDRTV域到HDRTV域的轉換。對于條件網絡，輸入為經過下采樣的SDR圖像，輸出一個條件向量表征輸入圖像的全局統計信息用于實現圖像自適應地調節主網絡的映射。在條件網絡中，作者提出了一種由1×1卷積、全局池化、LeakyReLU和Instance Normalization組成的顏色條件模塊用于高效地提取輸入的全局統計信息。對于LE部分，本文使用了一個ResNet風格的網絡，由一個淺層特征提取層，若干個殘差塊以及最后的上采樣重建部分組成。對于HG部分，本文使用了一個生成對抗網絡來實現高亮生成的目標，該網絡的生成網絡為一個帶有高亮掩膜的UNet結構網絡。由于當前缺少基于HDR標準的成對數據集，本文收集了一個由22個HDR10標準以及其對應SDR版本的視頻所組成的數據集。其中所有的HDR視頻都是基于PQ-OETF和rec.2020色域編碼的。經過抽幀處理后的圖像數據集包含1235張圖像用于訓練，117張用于測試。本文使用了PSNR、SSIM、SR-SIM、
以及HDR-VDP3五個評價指標用于定量比較，實驗的結果如下表1所示。與其他現有方法相比，本文的方法在參數量和圖像質量評價指標上都展現出了優越性。 對于本文所提方法與其他現有方法的視覺效果比較及顏色過渡測試比較如下圖4和圖5所示。可以看出本文所提的方法在視覺效果上相較其他方法更接近ground truth，并且不會產生明顯的artifacts，在顏色過渡測試中也表現優秀。同時本文也對提出的方法進行了消融實驗，分別測試了每一階段在定量指標和視覺效果上的作用，見表1和圖4。可以看出，使用了條件網絡的AGCM相比只能學習單一映射的主網絡在定量指標和視覺效果上都有了明顯提升。而經過LE和HG階段的結果則能在定量指標上得到進一步提升。此外，本文還使用了一種通過可視化SDR到HDR顏色映射的方法來分析不同階段所起到的作用，如下圖6所示。圖中的每一個3D LUT反應了輸入圖像的SDR顏色在經過對應映射后在HDR域上的分布情況。可以看出，經過AGCM的映射相比只有一個主網絡而沒有圖像自適應能力的網絡得到的映射在顏色分布上更加均勻，反映在圖像的視覺效果上是顏色過渡更為自然，消除了artifacts。而相對于AGCM得到的映射，經過LE和HG階段的映射顏色分布則更為均勻稠密，證明了這兩步能夠進一步加強細節的恢復和生成。 圖6. SDRTV-to-HDRTV顏色映射可視化分析值得注意的是，本文在補充材料里提供了更多對于該任務的分析以及實驗結果。其中，本文通過直接使用LE進行端到端學習與使用AGCM+LE的串聯方式得到的結果進行了對比，如下表2和圖7所示。即使使用簡單的3層3×3卷積作為LE網絡，AGCM部分的存在依然能夠在定量指標和視覺質量上大幅超越直接使用一個端到端網絡直接學習的方式，進一步地證明了在該任務中先處理全局顏色映射的有效性及必要性。
表2. LE和AGCM+LE的定量指標比較
圖7. LE和AGCM+LE的視覺效果比較
本文對SDRTV-to-HDRTV這一任務進行了分析，提出了一個包括全局顏色映射、局部增強和高亮生成三個步驟的解決方案，并針對每一個步驟設計了相應的網絡，提出的方法在定量指標和視覺效果上都大幅超出了現有的解決方法。此外，該工作提出了一個基于HDR10標準的數據集，我們相信它可以很好地促進該領域的發展。參考文獻：
[1] ITU-R. Reference electro-optical transfer function for flat panel displays used in hdtv studio production. Technical report, ITU-R Rec, BT.1886, 2011.[2] ITU-R. Parameter values for the hdtv standards for production and international programme exchange. Technical report, ITU-R Rec, BT.709-6, 2015.[3] ITU-R. Parameter values for ultra-high definition television systems for production and international programme exchange. Technical report, ITU-R Rec, BT.2020-2, 2015.[4] ITU-R. Image parameter values for high dynamic range television for use in production and international programme exchange. Technical report, ITU-R Rec, BT.2100-2, 2018.
雷鋒網雷鋒網雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
