0
在第一期「論道 AI 安全與倫理」圓滿召開之后，在思想火花的碰撞與激蕩下，AI Time 第二期如約而至。第二期以「論道自動機器學習和可解釋機器學習」為主題，現場嘉賓針對多個問題，如自動機器學習（AutoML）和可解釋機器學習（Explainable ML）的區別、各自優劣、未來發展等展開精彩討論。接下來，雷鋒網 AI 科技評論將選取嘉賓的真知灼見，讓大家在這場思辨會中對 autoML 和 Explainable ML 增添一份了解，對他們的差異有更深入的認識。
延續第一期的大咖陣容，這期的嘉賓也是或已經功成名就的學者，或拿獎到手軟的青年才俊，或業界的資深專家。他們分別為美國伊利諾伊大學芝加哥分校 (UIC) 特聘教授俞士綸、美國密歇根大學梅俏竹教授、北京大學的王立威教授、百度高級研究員李興建。以下便是此次研討會的精彩內容。
王立威：對 AutoML 的簡單介紹
對于機器學習，大家可能有所了解，給你一些數據，然后得到一個識別圖像的分類器，或者語言翻譯器。在機器學習過程中會運用到很多模型，涉及到一些超參數。在過去，這些模型的設計和超參數的調節，全都是根據人的經驗積累，AutoML 的想法是把模型設計、超參數的調節全部變成一種自動的學習過程，而不借助人的經驗。
這里可以用數學公式來定義，簡單來說，對于你給定的一個任務，希望機器能夠自動學習模型的結構和設置，并能達到最優層級。舉個例子，過去大家用得比較多的是 ResNet 或者 DesNet，這些網絡結構都是通過經驗，人為設計出來的。現在談到 AutoML，我們希望網絡結構的設計變成一個優化問題，由機器學習出來。
我的學生把深度學習的調參叫做煉丹，我相信真正做過這件事情的人都有同感。古代的術士去煉丹，火候要掌握到什么程度，需要多長時間，這些都憑長期的經驗積累。當我們把這件事情變成機器自動的過程，自己去找到最優的超參數，而不是人在那兒煉丹，這應該是 AutoML 非常大的意義。
另外，傳統的一些網絡由人為設計，它們結構簡單，具有對稱性，看起來很規則。但是現在，完全可以用學習的方式，來學出網絡的拓撲結構，學到的結構可能極其復雜，但從效果上來說，針對一些具體問題，這個網絡可能要比人為設計的網絡效果明顯要高。
梅俏竹：可解釋機器學習與自動機器學習并不矛盾
自動機器學習與可解釋機器學習并不矛盾。全自動的機器學習，可以具有可解釋性，可解釋機器學習也可以是自動的。
考慮一個簡單的問題，在做診斷時，一個強大的機器學習診斷系統能夠讀 X 光片，能夠判斷出患者是否患病。但是我們不僅要做診斷，還要把診斷結果描述給患者聽，最終讓病患接受醫生的建議。
在這個流程里面，如果用傳統的機器學習方法，數據（即 X 光片）已經給到，AutoML 能夠自動學出該用什么樣的網絡以及超參數，然后做出決定。但這里存在一個問題，醫生能不能接受？如果醫生都很難接受，那病人就更難接受了，因為我解釋不清楚為什么診斷為這個病。
可解釋機器學習就是想解決這個問題，它會告訴我為什么出現這種診斷結果。他會站在醫生和病人的角度，告訴他們自己希望了解的內容。這是可解釋性機器學習的愿景，與自動機器學習并不矛盾，可解釋性是建立信任人與 AI 的信任的必然路徑。
百度高級研究員李興建：從產業界講 AutoML
人腦的結構，其實經歷了上億年的進化，優質的品種得到保留，劣質的品種逐步被淘汰。研究人員在神經網絡設計方面也做了類似的實驗，從一些結構簡單、效果比較差的網絡開始，通過不斷進化的方式，來觀察神經網絡模式的變化，最后通過大量的計算，演化出效果非常好的網絡。這是比較早的關于神經網絡結構的探索。現在比較主流的，像基于進化算法、強化學習或者可微結構的算法都是神經網絡結構搜索的主要方法。
百度在生成對抗網絡（GAN）的結構上也做了一些搜索，我們針對上采樣進行了結構搜索，最后發現搜索出來的 GAN 比人設計的網絡更穩定，并且生成的效果更好。另一個實踐是比較形象的應用，我們對頭像風格遷移的任務模型進行搜索，使用多個 auto encoder 進行疊加，最后發現這樣的多尺度特征融合只需要非常少的操作和連接，就可以達到同樣甚至更好的效果。
這是企業做的一些基礎性工作，另外在產品和服務里，也有一些應用，比如百度正在使用 AutoML，利用精度更高或速度更快的模型來為大家提供在線服務。除了算法方面的自動化，還有很多流程上的自動化，最終將產生一個從算法到流程全自動化的工具包。
王立威：在很多問題里，可解釋性是很片面的
我說說我的一個看法，這是從另外一個視角。大家可以看看下面這張 PPT，這是可解釋機器學習的愿景。
這張圖里，我們希望神經網絡識別出一只貓，對貓的判斷是它有皮毛和爪子。再深入一點，請解釋什么是皮毛和爪子，你馬上就會發現神經網絡不能解釋。我的觀點是，在很多問題里，可解釋性是很片面的，大部分問題本質上不可解釋。
在過去大概三四年里，我做了很多和醫療相關的機器學習問題，剛才幾位嘉賓和主持人都談到醫療里的可解釋是一個很重要的訴求，但是在我過去三四年的經驗積累里，我發現只有在最開始階段，當醫生還不完全信任人工智能系統的時候，可解釋可能是有必要的，一旦醫生信任了這一系統，系統性能達到甚至超過醫生，可解釋性就不再是一個很必要的問題。
醫療里大量的問題和貓的問題一樣，你去拍 X 光片，認為這個地方有可能是肺癌，給出的解釋是看到這個地方有毛刺和空洞，但是請解釋毛刺、空洞分別是什么定義。之所以今天的人工智能、機器學習會在一些性能上超越人類，正是因為在這些我們很難解釋，甚至是不可解釋的特征上，他們做的遠遠超過人類。
再說一說為什么剛才說的皮毛和爪子不可解釋。將貓分解為皮毛和爪子來識別，這是大大可以壓縮的模型。但本質上可能不存在一個能用簡短語言描述的模型，來非常清楚地判斷是不是皮毛，這時候就不可解釋了，因為解釋一定要能用簡短的語言描述出來。假如我用一個包含一億參數的模型表述出來的神經網絡能夠判斷是不是皮毛，這也是一種解釋，只是這種解釋太復雜了，人沒有辦法理解。
以上便是我對可解釋的一個看法，我們不一定非要追求可解釋，需要看能不能解釋。
對 AutoML 技術層面上的一些看法
俞士綸：AutoML 在一些比較容易的事情上還是比較可靠的，比如當輸入全是圖片，但是真正涉及到比較復雜的問題就比較難了。比如做交通預測，從一個點到另外一個點需要花多少時間，這里有歷史數據，有實時數據，另外還涉及到天氣數據，還有一些源自社交網站的文本數據。最后需要看怎樣把各種不同的數據融合在一起，涉及到的東西太多，像這種復雜的問題，還是不可能完全自動化。
王立威：ACL2019 有一篇很有名的 paper，計算了各種模型所產生的計算量和碳排放，這是從社會的角度來看這種技術。
對于一些企業來說，盡管不是很懂 AutoML 的原理，但是也會用這種自動的方式去搜索有助于業務的網絡結構。最后可以看看云計算的花費，會有一家企業愿意花幾十萬甚至上百萬美元去搜索一個很好的網絡結構嗎？這樣付出的成本可能比最后掙的錢還多。
我支持 AutoML 這個大方向，在一些不需要用人力的地方，我們用機器，但是我們要限制盲目的搜索，以減少消耗，將人為設計和自動學習兩者有機結合。
AutoML&Explainable ML 未來之路
王立威：稍微談談自動機器學習和可解釋機器學習的未來之路，我覺得機器學習比較擅長的是底層信號（圖像、語音或者文本數據）的分類與檢測任務，在知識層面比較欠缺。如果在未來想讓 AutoML 變得非常自動化，實際上需要對網絡結構有更高層面的理解，同樣，我們所謂的解釋通常都是依據人的知識在做一些解釋，我認為自動機器學習和可解釋機器學習未來的發展與機器學習領域的發展將會很一致，向更高層的知識提高。
梅俏竹：我認為自動機器學習和可解釋機器學習并不矛盾，這兩者可以結合。如果為了全自動，把人類的經驗全部拋開，用極大量的資源去做，這肯定是一種浪費，而且效果不好；另外，也不能說為了讓神經網絡可以讓人理解，就非要在理解這個層面糾結，大家對理解的定義各不相同。
PS：小小地預告，AI Time 第三期將在一周之后繼續開展，議題為《知識圖譜》，歡迎大家報名參加，與嘉賓自由輕松地交流，探討科學的本質，激發出更多學術靈感。后續，雷鋒網 AI 科技評論也將附上報名鏈接。
雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
