今日 Paper | 精簡BERT；面部交換；三維點云；DeepFakes 及 5G 等

本文作者： AI研習社

2020-01-06 17:42

導語：為了幫助各位學術青年更好地學習前沿研究成果和技術，AI科技評論聯合Paper 研習社（paper.yanxishe.com），重磅推出【今日 Paper】欄目

為了幫助各位學術青年更好地學習前沿研究成果和技術，AI科技評論聯合Paper 研習社（paper.yanxishe.com），重磅推出【今日 Paper】欄目，每天都為你精選關于人工智能的前沿學術論文供你學習參考。以下是今日的精選內容——

ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
Deep Learning for 3D Point Clouds: A Survey
Causal Discovery with Reinforcement Learning
A Survey of Multi-Access Edge Computing in 5G and Beyond: Fundamentals, Technology Integration, and State-of-the-Art
From Drinking Philosophers to Wandering Robots
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection
Bayesian Learning via Stochastic Gradient Langevin Dynamics
Computational model discovery with reinforcement learning
Quantum Adversarial Machine Learning

ALBERT：一種用于語言表征自監督學習的精簡BERT

論文名稱：ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

作者：ZhenzhongLan /MingdaChen /SebastianGoodman

發表時間：2018/10/30

論文鏈接：https://paper.yanxishe.com/review/8078?from=leiphonecolumn_paperreview0106

推薦理由：bert模型開啟了自然語言理解的預訓練時代，很多和語義解析的相關任務都可以通過bert模型來提高效果，但是這也帶來了一些問題，bert參數過多，模型過于復雜，需要較大的計算能力才可以支持，所以這導致了很大的問題，如何讓模型變小，降低內存消耗，減少訓練時間稱為了當前的問題，也是必要的方向，albert正式解決這個問題的，它提出了兩種降低內存消耗和提高BERT訓練速度的參數約簡技術。不僅解決了前面的問題，并且這種預訓練模型比之前的bert的預訓練模型的效果更好，在很多任務上都得到了超越。

今日 Paper | 精簡BERT；面部交換；三維點云；DeepFakes 及 5G 等

FaceShifter：邁向高保真度和遮擋意識的面部交換

論文名稱：FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping

作者：Li Lingzhi /Bao Jianmin /Yang Hao /Chen Dong /Wen Fang

發表時間：2019/12/31

論文鏈接： https://paper.yanxishe.com/review/8077?from=leiphonecolumn_paperreview0106

推薦理由：這是北大和微軟亞研院的聯合工作，考慮的是人臉交換的問題。

這篇論文提出了一個名為FaceShifter的新穎的兩階段框架，用于實現高保真度和遮擋意識的人臉交換。與許多現有的人臉交換作品在合成交換的面孔時僅利用目標圖像的有限信息不同，FaceShifter在其第一階段通過充分自適應地利用和集成目標屬性，以高保真度生成交換的面孔。這篇論文提出了一種新穎的屬性編碼器，用于提取多級目標人臉屬性，并提出了一種經過精心設計的自適應注意力非正規化層的新生成器，以自適應地集成身份和人臉合成屬性。為了解決具有挑戰性的面部遮擋，FaceShifter附加了第二階段，該階段包括一個新穎的啟發式錯誤確認細化網絡。它經過訓練可以以自我監督的方式恢復異常區域，而無需任何手動注釋。在自然面孔上進行的大量實驗表明，與其他最新方法相比，FaceShifter的交換結果不僅在感知上更具吸引力，而且還保留了更好的身份。

三維點云深度學習研究綜述

論文名稱：Deep Learning for 3D Point Clouds: A Survey

作者：Guo Yulan /Wang Hanyun /Hu Qingyong /Liu Hao /Liu Li /Bennamoun Mohammed

發表時間：2019/12/27

論文鏈接： https://paper.yanxishe.com/review/8076?from=leiphonecolumn_paperreview0106

推薦理由：這是國防科大關于三維點云深度學習的研究綜述。

點云學習在計算機視覺、自動駕駛和機器人等諸多領域都有廣泛應用。作為人工智能領域的主要技術，深度學習已被成功地用于解決各種二維視覺問題。但是，由于三維點云在處理過程中面臨一些獨特的挑戰，所以點云領域的深度學習技術仍然處于發展初期。為了促進點云學習未來的研究，這篇論文全面綜述了點云深度學習方法的研究進展。這些方法主要包括3D形狀分類、3D目標檢測和追蹤以及3D點云分割。此外，這篇論文還展示了在當前一些公開可用數據集上的比較結果，提出了具有洞察力的觀察結果和啟發性的未來研究方向。

基于強化學習的因果發現

論文名稱：Causal Discovery with Reinforcement Learning

作者：Zhu Shengyu /Ng Ignavier /Chen Zhitang

發表時間：2019/6/11

論文鏈接：https://paper.yanxishe.com/review/8075?from=leiphonecolumn_paperreview0106

推薦理由：這篇論文是華為諾亞方舟實驗室被ICLR 2020接收的一篇滿分論文，考慮的是因果研究中的因果發現問題。

作為下一個潛在的熱點，因果研究已經吸引了機器學習和深度學習領域的的廣泛關注。因果研究中一個經典的問題是因果發現問題，即從被動可觀測的數據中發現潛在的因果圖結構。這篇論文將強化學習應用到打分法的因果發現算法中，通過基于自注意力機制的encoder-decoder神經網絡模型探索數據之間的關系，結合因果結構的條件，并使用策略梯度的強化學習算法對神經網絡參數進行訓練，最終得到因果圖結構。這個方法比一些傳統的因果發現算法和近期的基于梯度的算法在中等規模的圖上的表現都更好，并且可以非常靈活地和任意的打分函數結合使用。

5G及未來的多接入邊緣計算綜述：基礎知識，技術集成和最新技術

論文名稱：A Survey of Multi-Access Edge Computing in 5G and Beyond: Fundamentals, Technology Integration, and State-of-the-Art

作者：Pham Quoc-Viet /Fang Fang /Ha Vu Nguyen /Piran Md. Jalil /Le Mai /Le Long Bao /Hwang Won-Joo /Ding Zhiguo

發表時間：2019/6/20

論文鏈接：https://paper.yanxishe.com/review/8074?from=leiphonecolumn_paperreview0106

推薦理由：這是一篇邊緣計算相關的綜述論文。

在新的計算密集型應用程序的出現以及物聯網（IoT）的愿景的推動下，可以預見的是，新興的5G網絡將面臨流量和計算需求前所未有的增長。但是，最終用戶大多具有有限的存儲容量和有限的處理能力，因此，最近如何在資源受限的用戶上運行計算密集型應用程序已成為一個自然而然的問題。移動邊緣計算（MEC）是新興的第五代移動網絡中的一項關鍵技術，它可以通過托管計算密集型應用程序，在發送到云端之前處理大數據，在無線接入網中提供云計算功能來優化移動資源。移動邊緣計算支持嚴格要求實時響應的各種應用，例如無人駕駛車輛，增強現實，機器人技術和沉浸式媒體。在5G網絡中成功實現MEC仍處于起步階段，需要學術界和行業界的不斷努力。這篇綜述首先提供了MEC技術及其潛在用例和應用的整體概述。然后概述了有關MEC與將在5G及更高版本中部署的新技術的集成的最新研究。這篇論文還總結了用于邊緣計算的測試平臺和實驗評估以及開源活動，進一步總結了從最新研究工作中汲取的教訓，并討論了MEC研究的挑戰和潛在的未來方向。

從飲酒哲學家到漫游機器人

論文名稱：From Drinking Philosophers to Wandering Robots

作者：Sahin Yunus Emre /Ozay Necmiye

發表時間：2020/1/2

論文鏈接：https://paper.yanxishe.com/review/8073?from=leiphonecolumn_paperreview0106

推薦理由：這篇論文考慮的是多機器人路徑執行的問題。

在這個問題中，一組機器人從他們的起始點沿預定義路徑移動到目標位置，同時要避免面對異步時發生沖突和死鎖。這篇論文重構該問題為分布式資源重定向問題，具體而言，即是著名的哲學家飲酒問題（Drinking Philosophers Problem，DrPP）。通過精心設計獲取共享資源的飲酒環節，這篇論文證明DrPP的任何現有解決方案都可用于設計集體無碰撞且無死鎖的機器人控制策略。這篇論文提出的方法不需要機器人知道或估計其他機器人的速度曲線，并且不需要分布式控制策略。通過仿真，這篇論文驗證了所提方法的有效性。

DeepFakes和更多：人臉操縱和假檢測研究綜述

論文名稱：DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection

作者：Tolosana Ruben /Vera-Rodriguez Ruben /Fierrez Julian /Morales Aythami /Ortega-Garcia Javier

發表時間：2020/1/1

論文鏈接：https://paper.yanxishe.com/review/8072?from=leiphonecolumn_paperreview0106

推薦理由：這是一篇人臉造假相關的綜述文章。

隨著DeepFake的出現，現在人臉造假變得越來越容易，也引發了大量對抗此類造假技術的研究。這篇論文對操縱人臉圖像的技術（包括DeepFake方法）以及檢測此類操縱的方法進行了全面的回顧，包含四種類型的面部操作：全臉合成，面部身份交換，面部屬性操作和面部表情操作。對于每種操縱類型，這篇論文回顧了有關操縱技術，現有公共數據庫以及假冒檢測相關的方法。

這篇論文也探討了這個領域的發展趨勢，以及一些正在進展中的工作，例如最近的DeepFake Detection Challenge。

基于隨機梯度Langevin動力學的貝葉斯學習

論文名稱：Bayesian Learning via Stochastic Gradient Langevin Dynamics

作者：Max Welling /Yee Whye Teh

發表時間：2011/1/18

論文鏈接：https://paper.yanxishe.com/review/8070?from=leiphonecolumn_paperreview0106

推薦理由：本論文提出了一種新的基于小批量在線學習的大規模數據集學習框架。通過在標準隨機梯度優化算法中加入適量的噪聲，證明了當迭代將收斂到真實后驗分布的樣本。這種在優化和貝葉斯后驗抽樣之間的接縫轉移提供了一種內在的防止過度捕撈的保護。

然后論文還提出了一種實用的后驗統計蒙特卡羅估計方法，該方法監測“采樣閾值”，并在超過該閾值后采集樣本。

通過強化學習發現計算模型

論文名稱：Computational model discovery with reinforcement learning

作者：Bassenne Maxime /Lozano-Durán Adrián

發表時間：2019/12/29

論文鏈接：https://paper.yanxishe.com/review/8165?from=leiphonecolumn_paperreview0106

推薦理由：這項研究的動機是利用人工智能研究中的最新突破，為計算科學中遇到的重要科學問題提供新穎的解決方案。為了解決在發現降階模型中人類智力的局限性，作者建議用人工智能來補充人類思維。

作者的三管齊下的策略包括學習（i）以分析形式表示的模型，（ii）經過后驗評估，以及iii）使用參考解決方案中的全部積分作為先驗知識。在第（i）點中，我們追求用符號表示的可解釋模型，而不是黑盒神經網絡，后者僅在學習期間用于有效地對可能的模型的大型搜索空間進行參數化。在點（ii）中，學習的模型將在計算求解器中動態評估后驗，而不是基于來自預處理的高保真數據的先驗信息，從而考慮了求解器的特殊性，例如其數值。最后，在（iii）點中，新模型的探索僅由預定義的積分量（例如雷諾平均或大渦流模擬（LES）中工程興趣的平均數量）指導。我們使用耦合的深度強化學習框架和計算求解器來同時實現這些目標。強化學習與目標（i），（ii）和（iii）的結合將作者的工作與之前基于機器學習的建模嘗試區分開來。

在此報告中，作者通過增強學習對模型發現框架進行了高級描述。該方法針對在微分方程中發現缺失項的應用進行了詳細介紹。描述了該方法的基本實例化，該方法發現了Burgers方程中的缺失項。

量子對抗機器學習

論文名稱：Quantum Adversarial Machine Learning

作者：Lu Sirui /Duan Lu-Ming /Deng Dong-Ling

發表時間：2019/12/31

論文鏈接：https://paper.yanxishe.com/review/8166?from=leiphonecolumn_paperreview0106

推薦理由：對抗性機器學習是一個新興領域，致力于研究對抗性環境中機器學習方法的脆弱性，并相應地開發技術以使學習對對抗性操縱具有魯棒性。它在各種機器學習應用程序中起著至關重要的作用，并且最近在不同社區中引起了極大的關注。

在本文中，作者在量子機器學習的背景下探索了不同的對抗場景。作者發現，類似于基于經典神經網絡的傳統分類器，量子學習系統同樣容易受到精心制作的對抗性示例的影響，而與輸入數據是經典數據還是量子數據無關。特別是可以通過對原始合法樣本添加無法察覺的擾動而獲得的對抗性示例來最終欺騙幾乎達到最新精度的量子分類器。量子對抗性學習在不同場景中得到了明確證明，包括對現實生活中的圖像進行分類（例如，MNIST數據集中的手寫數字圖像），物質的學習階段（例如鐵磁/順磁階和對稱性受保護的拓撲階段），以及對量子數據進行分類。

此外，作者表明，基于手頭對抗示例的信息，可以設計實用的防御策略來對抗多種不同的攻擊。作者的研究結果揭示了量子機器學習系統在對抗性擾動方面的顯著脆弱性，這不僅揭示了將機器學習與量子物理學聯系起來的新穎觀點，而且為基于近期和未來的量子分類器的實際應用提供了有價值的指導量子技術。