0
從左至右：Google AI 主管 Jeff Dean，加州大學(xué)伯克利分校教授 Celeste Kidd，Pythorch 主管 Soumith Chintala，Nvidia 機(jī)器學(xué)習(xí)研究主管 Anima Anandkumar，以及 IBM 研究總監(jiān) Dario Gil
人工智能不再準(zhǔn)備在未來(lái)某一天改變世界——它正在改變世界。在新的十年開始之際，VentureBeat 采訪了人工智能界最敏銳的頭腦，重新審視 2019 年取得的進(jìn)展，并展望 2020 年機(jī)器學(xué)習(xí)的成熟路徑。我們采訪了 PyTorch 的創(chuàng)建者 Soumith Chintala、加州大學(xué)教授 Celeste Kidd、Google AI 主管 Jeff Dean、Nvidia 機(jī)器學(xué)習(xí)研究主管 Anima Anandkumar 和 IBM 研究主管 Dario Gil。
每個(gè)人都有對(duì)來(lái)年的預(yù)測(cè)，但這些人創(chuàng)造了今天的未來(lái)——在人工智能界擁有權(quán)威的個(gè)人，他們過(guò)去取得了輝煌的成績(jī)。盡管一些人預(yù)測(cè)了半監(jiān)督學(xué)習(xí)和神經(jīng)符號(hào)方法等子領(lǐng)域的進(jìn)展，但事實(shí)上，所有與 VentureBeat 交談過(guò)的智囊都同意，2019 年，基于 transformer 的自然語(yǔ)言模型取得了巨大進(jìn)展，并預(yù)測(cè)在類似技術(shù)的面部識(shí)別方面將繼續(xù)存在爭(zhēng)議。他們還希望人工智能技術(shù)的評(píng)價(jià)標(biāo)準(zhǔn)不僅僅是準(zhǔn)確性。
Soumith Chintala
Soumith Chintala，Pythorch 董事、總工程師、創(chuàng)始人。
目前，PyTorch 是當(dāng)今世界上最流行的機(jī)器學(xué)習(xí)框架。PyTorch 是 2002 年推出的 Torch 開源框架的衍生產(chǎn)品，于 2015 年面世，并在擴(kuò)展中穩(wěn)步增長(zhǎng)。
2019 年秋天，F(xiàn)acebook 發(fā)布了 PyTorch 1.3，其中包括量化和 TPU 支持，以及 Captum（一個(gè)深度學(xué)習(xí)的可解釋性工具）和 PyTorch Mobile。當(dāng)然還有其它東西，比如 PyRobot 和 PyTorch Hub，用于共享代碼和鼓勵(lì) ML 實(shí)踐者接受可復(fù)制性。
在 Pythorch 開發(fā)者與 VentureBeat 的一次對(duì)話中，Chintala 說(shuō)，他認(rèn)為 2019 年機(jī)器學(xué)習(xí)幾乎沒有什么突破性進(jìn)展。
「實(shí)際上，我不認(rèn)為我們做出了什么突破性的成果……基本上從 transformer 開始就這樣了。2012 年是 ConvNets 的黃金時(shí)間，而對(duì) transformer 來(lái)說(shuō)則是在 2017 年左右。這是我個(gè)人的看法。」
他接著稱，DeepMind 的 AlphaGo 在強(qiáng)化學(xué)習(xí)方面的貢獻(xiàn)是開創(chuàng)性的，但他表示，這些成果很難在現(xiàn)實(shí)世界中用于處理實(shí)際任務(wù)。
Chintala 還認(rèn)為，機(jī)器學(xué)習(xí)框架的發(fā)展，當(dāng)今 ML 從業(yè)者中最受歡迎的工具，如 Pythorch 和 Google 的 TensorFlow，已經(jīng)改變了研究人員探索自己的想法和工作的方式。
他說(shuō)：「從某種意義上說(shuō)，這是一個(gè)突破，它們使技術(shù)的發(fā)展速度比過(guò)去快了一兩個(gè)數(shù)量級(jí)。」。
今年，Google 和 Facebook 的開源框架引入了量化來(lái)提高模型訓(xùn)練速度。在未來(lái)的幾年里，Chintala 預(yù)計(jì) Pythorch 的 JIT 編譯器和 Glow 等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率將出現(xiàn)「爆炸式增長(zhǎng)」。
「根據(jù) PyTorch 和 TensorFlow，你會(huì)發(fā)現(xiàn)框架是有點(diǎn)趨同的。量化以及其他一些較低效技術(shù)出現(xiàn)的原因，是因?yàn)橄乱粓?chǎng)戰(zhàn)爭(zhēng)在框架的編譯器上——XLA、TVM、Pythorch 已經(jīng)非常出色，很多創(chuàng)新正在等待發(fā)生。在接下來(lái)的幾年里，你將看到如何更智能地量化，如何更好地融合，如何更有效地使用 GPU，以及如何使用新硬件自動(dòng)編譯。」。
與 VentureBeat 為本文采訪的大多數(shù)其他行業(yè)領(lǐng)袖一樣，Chintala 預(yù)測(cè)，到 2020 年，人工智能社區(qū)將更加重視人工智能模型的精度以外的性能，并開始將注意力轉(zhuǎn)向其他重要因素，如創(chuàng)建模型所需的消耗、如何向人類解釋輸出以及人工智能如何更好地反映出人們想要建立的那種社會(huì)。
「如果你回想過(guò)去的五、六年，我們只關(guān)注精確性和原始數(shù)據(jù)，比如英偉達(dá)的模型是否更精確嗎、Facebook 的模模型準(zhǔn)確性如何。但實(shí)際上，我認(rèn)為 2020 年將是我們開始以更復(fù)雜的方式思考的一年，如果你的模型沒有良好的互操作性機(jī)制（或滿足其他標(biāo)準(zhǔn)），那么它是否更精確 3% 并不重要。」
Celeste Kidd
CelesteKidd 是加州大學(xué)伯克利分校 Kidd 實(shí)驗(yàn)室的主任，她和她的團(tuán)隊(duì)在那里探索孩子們是如何學(xué)習(xí)。他們正試圖用與撫養(yǎng)孩子不太相似的方式來(lái)訓(xùn)練模型，這項(xiàng)研究有助于構(gòu)建神經(jīng)網(wǎng)絡(luò)。
她說(shuō)：「人類嬰兒沒有被標(biāo)記的數(shù)據(jù)集，但他們做得很好，我們必須了解這是如何發(fā)生的。」。
2019 年讓 Kidd 感到驚訝的一件事是，有很多神經(jīng)網(wǎng)絡(luò)創(chuàng)造者隨意貶低她或其他研究人員的工作，認(rèn)為他們無(wú)法做嬰兒能做的事情。
她說(shuō)，當(dāng)你把嬰兒的行為平均化時(shí)，你會(huì)看到他們理解一些事情的證據(jù)，但他們絕對(duì)不是完美的學(xué)習(xí)者。
她說(shuō)，人類的嬰兒很棒，但他們犯了很多錯(cuò)誤，她看到的很多比較實(shí)驗(yàn)都是人們隨便做的，他們?cè)谌丝趯用嫔习褘雰旱男袨槔硐牖！肝艺J(rèn)為，你現(xiàn)在所知道的和你下一步想了解的事情之間的聯(lián)系可能會(huì)越來(lái)越受到重視。」
在人工智能中，「黑匣子」這個(gè)詞已經(jīng)存在多年了。它被用來(lái)批評(píng)神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但 Kidd 認(rèn)為， 2020 年可能意味著神經(jīng)網(wǎng)絡(luò)不可解釋觀念的終結(jié)。
她說(shuō)：「關(guān)于黑匣子的爭(zhēng)論是假的，大腦也是黑匣子，我們?cè)诶斫獯竽X如何工作方面取得了很大進(jìn)展。」。
為了解開這種對(duì)神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)，Kidd 將目光投向了像 MIT-IBM Watson AI Lab 執(zhí)行主任 Aude Oliva 這樣的人。
「我們討論這個(gè)問(wèn)題時(shí)，我說(shuō)了一些關(guān)于這個(gè)系統(tǒng)是一個(gè)黑匣子的事情，她卻說(shuō)他們肯定不是黑匣子。當(dāng)然，你可以把它們拆解開，看看它們是如何工作的，并對(duì)它們進(jìn)行實(shí)驗(yàn)，就像我們理解認(rèn)知一樣。」Kidd 說(shuō)。
上個(gè)月，Kidd 在全球最大的人工智能研究會(huì)議——NeurIPS 上發(fā)表了開幕主題演講。她的演講集中在人類大腦如何堅(jiān)持信念、處理注意力系統(tǒng)和進(jìn)行貝葉斯統(tǒng)計(jì)。
她說(shuō)，傳遞信息的黃金地帶介于一個(gè)人的興趣和理解令他們驚訝的事情之間。人們往往不太喜歡過(guò)于驚人的內(nèi)容。
她接著說(shuō)，因?yàn)闆]有中立的技術(shù)平臺(tái)，她把注意力轉(zhuǎn)向研究?jī)?nèi)容推薦系統(tǒng)的制造商如何操縱人們的信仰。系統(tǒng)建立在追求最大參與度的基礎(chǔ)上，可以對(duì)人們形成的信念和觀點(diǎn)產(chǎn)生重大影響。
Kidd 在演講結(jié)束時(shí)談到了機(jī)器學(xué)習(xí)中某些男性的誤解，即他們認(rèn)為與女性同事單獨(dú)相處會(huì)導(dǎo)致性騷擾指控，結(jié)束男性的職業(yè)生涯。她說(shuō)，這種誤解會(huì)損害女性在這一領(lǐng)域的事業(yè)。
因在羅切斯特大學(xué)公開發(fā)表性不端行為，Kidd 與其他女性一起在 2017 年被評(píng)為「時(shí)代人物」，這些女性幫助促成了我們現(xiàn)在的「平等對(duì)待婦女的 MeToo 運(yùn)動(dòng)」。但在當(dāng)時(shí)，Kidd 本以為這會(huì)結(jié)束她的職業(yè)生涯。
2020 年，她希望看到人們對(duì)技術(shù)工具和技術(shù)決策的現(xiàn)實(shí)影響的認(rèn)識(shí)有所提高，并且工具制造商需要對(duì)人們使用工具的行為負(fù)責(zé)。
她說(shuō)：「我聽到很多人試圖為自己辯護(hù)，說(shuō)『我不是真相的操控者』。我認(rèn)為必須提高人們對(duì)這種不誠(chéng)實(shí)態(tài)度的認(rèn)識(shí)。」
「作為一個(gè)社會(huì)人，特別是正在開發(fā)這些工具的人們，確實(shí)需要意識(shí)到隨之而來(lái)的責(zé)任。」
Jeff Dean
Dean 領(lǐng)導(dǎo) Google AI 已經(jīng)將近兩年了，他在谷歌工作了 20 年，是該公司許多早期搜索和分布式網(wǎng)絡(luò)算法的設(shè)計(jì)師，也是 Google Brain 的早期成員。
Dean 上個(gè)月在 NeurIPS 發(fā)表了關(guān)于 ASIC 半導(dǎo)體設(shè)計(jì)的機(jī)器學(xué)習(xí)和人工智能社區(qū)解決氣候變化的方法的演講，他說(shuō)這是我們這個(gè)時(shí)代最重要的問(wèn)題。在談到氣候變化時(shí)，Dean 認(rèn)為人工智能可以努力成為一個(gè)零碳產(chǎn)業(yè)，也可以用來(lái)幫助改變?nèi)祟惖男袨椤?br/>
他預(yù)計(jì) 2020 年在多模態(tài)學(xué)習(xí)和多任務(wù)學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M(jìn)展。
毫無(wú)疑問(wèn)，2019 年最大的機(jī)器學(xué)習(xí)趨勢(shì)之一是基于 Transformer 的自然語(yǔ)言模型的持續(xù)增長(zhǎng)和擴(kuò)散，Chintala 模型此前被稱為近年來(lái)人工智能領(lǐng)域最大的突破之一。2018 年，谷歌開源 BERT，這是一個(gè)基于 Transformer 的模型。而據(jù) GLUE 排行榜，今年發(fā)布的一些表現(xiàn)最好的機(jī)型，比如谷歌的 XLNet、微軟的 MT-DNN 和 Facebook 的 RoBERTa，它們都是基于 Transformer 的。
Dean 指出了已經(jīng)取得的進(jìn)展，他說(shuō)：「我認(rèn)為在實(shí)際產(chǎn)生機(jī)器學(xué)習(xí)模型方面已經(jīng)取得了相當(dāng)豐碩的成果，這些模型讓我們現(xiàn)在能做比過(guò)去更復(fù)雜的 NLP 任務(wù)。」但他補(bǔ)充說(shuō)，這還有增長(zhǎng)的空間。「我們?nèi)匀幌Ｍ軌蜃龈嗟纳舷挛念愋偷哪Ｐ汀：同F(xiàn)在一樣，BERT 和其他模型可以很好地處理數(shù)百個(gè)單詞，但不能將 10000 個(gè)單詞作為上下文。所以這是一個(gè)有趣的方向。」
Dean 說(shuō)，他希望看到不要太看重最新技術(shù)的微小進(jìn)步，這有利于創(chuàng)建更健壯的模型。
Google AI 還將致力于推進(jìn)新的研究，比如 DailyRobot，這是一個(gè)于 2019 年 11 月推出的內(nèi)部項(xiàng)目，旨在制造能夠在家庭和工作場(chǎng)所完成共同任務(wù)的機(jī)器人。
Anima Anandkumar
英偉達(dá)機(jī)器學(xué)習(xí)研究總監(jiān) Anima Anandkumar 同時(shí)在 AWS 擔(dān)任首席科學(xué)家。Nvidia 的人工智能研究涉及許多領(lǐng)域，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動(dòng)駕駛、超級(jí)計(jì)算機(jī)和圖形。
英偉達(dá)和 Anandkumar 在 2019 年的一個(gè)重點(diǎn)研究領(lǐng)域是強(qiáng)化學(xué)習(xí)的模擬框架，該框架正變得越來(lái)越流行和成熟。
2019 年，我們看到了英偉達(dá)的 Drive autonomus 駕駛平臺(tái)和 Isaac 機(jī)器人模擬器的崛起，以及從生成對(duì)抗網(wǎng)絡(luò)生成合成數(shù)據(jù)的模型。
去年，類似人工智能的 StyleGAN（一種可以讓人們質(zhì)疑自己是在看電腦生成的人臉還是真人的網(wǎng)絡(luò)）和 GauGAN（可以用畫筆生成風(fēng)景）也開始興起。StyleGAN2 于上個(gè)月首次亮相。
GANs 是可以模糊現(xiàn)實(shí)界限的技術(shù)，Anandkumar 相信它們可以幫助解決人工智能社區(qū)正在努力解決的主要挑戰(zhàn)，比如抓握機(jī)器人手和自動(dòng)駕駛。
Anandkumar 還希望在未來(lái)一年內(nèi)看到迭代算法、自監(jiān)督和模型自訓(xùn)練方法的進(jìn)展，這些模型可以通過(guò)使用未標(biāo)記的數(shù)據(jù)進(jìn)行自訓(xùn)練來(lái)改進(jìn)。
「我認(rèn)為各種不同的迭代算法都是未來(lái)的發(fā)展方向，因?yàn)槿绻阒蛔鲆粋€(gè)前饋網(wǎng)絡(luò)，那么穩(wěn)健性就是一個(gè)問(wèn)題。如果你嘗試進(jìn)行多次迭代，并且根據(jù)你想要的數(shù)據(jù)類型或精度要求來(lái)調(diào)整迭代，那么實(shí)現(xiàn)這一目標(biāo)的可能性就大得多。」。
Anandkumar 認(rèn)為，2020 年人工智能社區(qū)面臨諸多挑戰(zhàn)，比如需要與領(lǐng)域?qū)＜乙黄饎?chuàng)建專門針對(duì)特定行業(yè)的模型。政策制定者、個(gè)人和人工智能社區(qū)還需要解決代表性問(wèn)題，以及確保用于訓(xùn)練模型的數(shù)據(jù)集能夠滿足不同人群需求的挑戰(zhàn)。
Anandkumar 說(shuō)，面部識(shí)別最受關(guān)注，因?yàn)槿藗兒苋菀滓庾R(shí)到這是侵犯?jìng)€(gè)人隱私的，但 2020 年人工智能社區(qū)還將面臨一些其他道德問(wèn)題。
在 Anandkumar 看來(lái)，2019 年最大的驚喜之一是文本生成模型的迅速發(fā)展。
「2019 年是語(yǔ)言模型年，現(xiàn)在，我們第一次實(shí)現(xiàn)了在段落長(zhǎng)度上產(chǎn)生更連貫的文本的目標(biāo)，這在以前是不可能的。」。
2019 年 8 月，英偉達(dá)推出 Megatron 自然語(yǔ)言模型。Megatron 擁有 80 億個(gè)參數(shù)，被稱為世界上最大的基于 Transformer 的人工智能模型。Anandkumar 說(shuō)，人們開始把模型描繪成有個(gè)性的人，她對(duì)此感到驚訝，她期待看到更多特定行業(yè)的文本模型。
「我們還沒有做到對(duì)話生成，對(duì)話生成是互動(dòng)的，能夠跟蹤上下文并進(jìn)行自然的對(duì)話。因此，我認(rèn)為 2020 年將朝著這個(gè)方向做出更為認(rèn)真的嘗試。」。
開發(fā)文本生成控制框架將比開發(fā)可用于識(shí)別人或?qū)ο蟮膱D像框架更具挑戰(zhàn)性。文本生成模型還可能面臨其它挑戰(zhàn)，例如，為神經(jīng)模型定義事實(shí)。
最后，Anandkumar 說(shuō)，看到 Kidd 在 NeurIPS 的演講獲得起立鼓掌，以及在機(jī)器學(xué)習(xí)社區(qū)中日益成熟和包容的跡象，她感到很振奮。
「我覺得現(xiàn)在是分水嶺時(shí)刻，一開始甚至做出小的改變都很難。我希望我們能夠保持這種勢(shì)頭，進(jìn)行更大的結(jié)構(gòu)改革。」
Dario Gil
作為 IBM Research 總監(jiān)，Gil 領(lǐng)導(dǎo)了一組研究人員，積極為白宮和世界各地的企業(yè)提供咨詢。他認(rèn)為，2019 年的重大飛躍包括圍繞生成模型的進(jìn)展，以及生成可信語(yǔ)言的質(zhì)量不斷提高。
他預(yù)測(cè)，訓(xùn)練將在精簡(jiǎn)結(jié)構(gòu)的情況下，朝著更有效的方向繼續(xù)前進(jìn)。開發(fā)更有效的人工智能模型是 NeurIPS 的一個(gè)重點(diǎn)，IBM Research 在 NeurIPS 引入了 8 位精確模型的深度學(xué)習(xí)技術(shù)。
他說(shuō)：「我們用現(xiàn)有的硬件和 GPU 架構(gòu)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式仍然是如此低效。因此，對(duì)這一點(diǎn)進(jìn)行真正根本性的反思非常重要。我們必須提高人工智能的計(jì)算效率，這樣才能做得更多。」。
Gil 引用了一項(xiàng)研究，研究表明，每三個(gè)半月，對(duì) ML 訓(xùn)練的需求就會(huì)翻一番，比摩爾定律預(yù)測(cè)的增長(zhǎng)要快得多。
Gil 還對(duì)人工智能如何幫助加速科學(xué)發(fā)現(xiàn)非常感興趣，但 IBM 的研究將主要集中在機(jī)器學(xué)習(xí)的神經(jīng)符號(hào)方法上。
在 2020 年，Gil 希望人工智能從業(yè)者和研究人員能開發(fā)出一種超越精確性的指標(biāo)，以考慮在生產(chǎn)中部署模型的價(jià)值。將領(lǐng)域轉(zhuǎn)向構(gòu)建可信系統(tǒng)，而不是優(yōu)先考慮準(zhǔn)確性，這將是繼續(xù)采用人工智能的中心支柱。
「有些社區(qū)成員可能會(huì)接著說(shuō)，不用擔(dān)心，只要準(zhǔn)確就行了。沒關(guān)系，人們會(huì)習(xí)慣這樣一個(gè)事實(shí)，那就是人類有時(shí)不會(huì)對(duì)我們所做的某些決定做出解釋。我認(rèn)為，我們集中社區(qū)的力量在這方面做得更好是非常重要的。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應(yīng)用程序的黑匣子。」。
Gil 相信，要想讓更多具備數(shù)據(jù)科學(xué)和軟件工程技能的人使用人工智能，就必須擺脫這樣一種觀念，即只有少數(shù)機(jī)器學(xué)習(xí)奇才能夠做到這一點(diǎn)。
他說(shuō)：「如果我們把人工智能當(dāng)成一個(gè)神話般的領(lǐng)域，只有從事這方面工作的精選博士才能進(jìn)入，那么這并不能真正促進(jìn)人工智能的應(yīng)用。」。
Gil 對(duì)神經(jīng)符號(hào)人工智能特別感興趣。在未來(lái)的一年里，IBM 將尋求神經(jīng)符號(hào)方法來(lái)增強(qiáng)概率編程等功能，人工智能在其中學(xué)習(xí)如何操作程序，以及能夠共享決策背后推理的模型。
他說(shuō)：「通過(guò)采用當(dāng)代新方法的混合方法，通過(guò)這些神經(jīng)符號(hào)方法將學(xué)習(xí)和推理結(jié)合起來(lái)，將符號(hào)維度嵌入到學(xué)習(xí)程序中，我們已經(jīng)證明，你可以用所需的一小部分?jǐn)?shù)據(jù)來(lái)學(xué)習(xí)。你學(xué)習(xí)了一個(gè)程序，最終得到了一些可解釋的東西，因?yàn)槟阌幸恍┛山忉尩臇|西，你得到了更可信的東西。」
他說(shuō)，公平性、數(shù)據(jù)完整性以及數(shù)據(jù)集的選擇等問(wèn)題將繼續(xù)受到廣泛關(guān)注，「任何與生物測(cè)定有關(guān)的問(wèn)題」也將繼續(xù)受到關(guān)注。面部識(shí)別得到了很多關(guān)注，但這只是個(gè)開始。語(yǔ)音數(shù)據(jù)將越來(lái)越敏感，其他形式的生物測(cè)定也將如此。
除了神經(jīng)符號(hào)和常識(shí)推理外，Gil 表示，在 2020 年，IBM Research 還將探索用于人工智能的量子計(jì)算，以及用于人工智能的模擬硬件，超越降低精度的體系結(jié)構(gòu)。
最后的想法
機(jī)器學(xué)習(xí)正在繼續(xù)塑造商業(yè)和社會(huì)，VentureBeat 在采訪研究人員和專家時(shí)看到了一些即將出現(xiàn)的趨勢(shì)：
2019 年的重大進(jìn)展是自然語(yǔ)言模型的進(jìn)步，Transformer 推動(dòng)了這一領(lǐng)域的巨大飛躍。2020 年將會(huì)有更多基于 BERT 和 Transformer 的模型。
人工智能行業(yè)應(yīng)該尋找方法來(lái)評(píng)估模型的輸出，而不僅限于準(zhǔn)確性。
半監(jiān)督學(xué)習(xí)、機(jī)器學(xué)習(xí)的神經(jīng)符號(hào)方法以及多任務(wù)和多模態(tài)學(xué)習(xí)等子領(lǐng)域可能在未來(lái)一年取得進(jìn)展。
與生物統(tǒng)計(jì)數(shù)據(jù)（如語(yǔ)音記錄）相關(guān)的道德挑戰(zhàn)可能會(huì)繼續(xù)引起爭(zhēng)議。
對(duì)于 PyTorch 和 TensorFlow 等機(jī)器學(xué)習(xí)框架來(lái)說(shuō)，量化等編譯器和方法作為優(yōu)化模型性能的方法可能越來(lái)越受歡迎。
via：https://venturebeat.com/2020/01/02/top-minds-in-machine-learning-predict-where-ai-is-going-in-2020/
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
