1
像素不夠，后期修圖來湊？
在知乎搜索低像素修圖，結果求助帖多到刷不完，而且從PS技巧、插件神器到各類修圖App教程多到眼花繚亂，重點是效果不知道會怎么樣。
不過，近日杜克大學（Duke University）研究團隊開發了一款AI修圖黑科技PULSE，可以解決所有低像素煩惱。據說它能夠將圖像原始分辨率放大64倍，任何渣畫質都可以秒變高清、逼真圖像，甚至被打了馬賽克的人臉圖像，毛孔、皺紋，頭發也都能被清晰還原。
PULSE是一種新型超分辨率算法，它通過潛在空間探索對照片采樣，可以將16x16像素的低分辨率（Low Resolution，簡稱LR）放大到1024x1024像素的高分辨率（High Resolution，簡稱HR），在幾秒內增加了64倍，而傳統方法最多只能放大8倍。
先來看一組示例，修圖界最難處理的LR大頭照，經過PULSE也可以秒變高清、細膩的圖像。
更重要的是，PULSE可以定位面部的關鍵特征，以更高分辨率生成一組類似的細節。圖中盡管頭像被打上了馬賽克，PULSE也可以自行“想象”出諸如眉毛、睫毛、頭發、臉型等面部細節，形成高清、逼真人像。
不過，過度虛化產生的人像只是一種虛擬的新面孔，事實上它并不存在。正因如此，這項技術不能用于身份識別。比如監控攝像頭拍攝的失焦、無法辨別的圖片，不能通過PULSE還原成真實存在的人像。
一位杜克大學研究小組的計算機科學家Cynthia Rudin說“此前從來沒有如此超高分辨率的圖像被制作出來，它能夠產生不存在的新面孔，而且看起來很真實”。
同時，她補充到，這項研究所采取的技術可以廣泛應用于醫學、顯微鏡、天文學，以及衛星圖像等領域。另外，該研究團隊已將論文已經發表至預印論文庫arVix，同時被IEEE國際計算機視覺與模式識別會議（CVPR 2020）收錄。
對于一個LR圖像，傳統將HR分辨率部分匹配給LR圖像而獲取超高分辨率（SR）的方式，往往會導致HR圖像出現感光度差、不平滑，畫面失真的情況。
在本次研究中，杜克大學研究團隊開拓了一種新思路，提出新型超分辨率算法PULSE，它不是遍歷LR圖像來慢慢添加細節，而是發現與HR相對應的LR，通過“縮減損失”的方式得到SR圖像。
原始LR(第一行),PULSE輸出HR（中間行）,HR對應的LR(最后一行)
PULSE使用了生成對抗網絡（GAN），它是一種訓練模型，顧名思義，通過對抗博弈的方式來進行目標訓練。其主要結構包括一個生成器（Generator）和一個鑒別器（Discriminator），在同一組照片訓練中，一個負責訓練接收到的圖像并輸出，一個負責接收該輸出，并檢驗其是否足夠逼真。
以下是與原圖對比后的試驗結果：
圖中，第一行為原圖，第二行為通過“縮減損失”得到的HR所對應的LR，而第三行經過PULSE得到的HR，可以看出，盡管與原圖還存在細微的差別，但還原度已經非常高。
論文中表明，為了檢驗PULSE在SR方面的優勢，杜克大學研究團隊采用4種不同的圖像縮放方法與其進行了比較研究。本次研究利用CelebA HQ數據集中的1440張圖像，以x8，x64的比例因子，對LR面部圖像，尤其是眼部、唇部以及頭發等細節之處進行了試驗。
PULSE呈現出了明顯的優勢，尤其是在X64分辨率下，模糊頭像被完全還原，尤其是在眼唇等細節之處，其他方法幾乎達不到這樣的效果。
另外，針對測試結果，研究人員采用感知超分辨率常見的MOS測試方式，邀請五位評分者對圖像結果進行了1-5的打分，結果顯示，HR源高清圖像分辨率得分為3.74，而PULSE達到了3.60，僅差0.14，可以說幾乎達到了真實的高質量圖像的水平。
不過，研究人員也承認PULSE還不是很完美。它產生的高分辨率圖像與專業原圖像相比還有一定的差別。但隨著技術和工具的改進，這項技術會被一點點的完善。
現在研究團隊已經將PULSE發布到Github開源平臺，而且收割了569科顆星星。有修圖煩惱的朋友可以安裝體驗一下~（Github地址：https://github.com/adamian98/pulse）
引用鏈接：雷鋒網雷鋒網雷鋒網
論文地址：https://arxiv.org/pdf/2003.03808.pdf
http://pulse.cs.duke.edu/
https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/
https://www.rt.com/news/492091-ai-tech-undo-pixelation/
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
