0
雷鋒網(wǎng)按：本文作者陳宗周，環(huán)球科學雜志社社長、總編輯，創(chuàng)辦了《環(huán)球科學》丶《電腦報》丶《知識經(jīng)濟》等科技媒體，是全國有影響的媒體人、科學作家、媒體企業(yè)家，對科技史、前沿科技、數(shù)字技術、互聯(lián)網(wǎng)、人工智能的進展保持長期研究，并寫有大量相關文章。先后擔任中科普傳媒有限公司總經(jīng)理、天極網(wǎng)董事長、中國科技報研究會副理事長等職務，也是中囯科協(xié)第七屆全國委員會委員。
本文為陳宗周的《AI 傳奇系列》第三篇，由《環(huán)球科學》授權刊載。
發(fā)明個人電腦與互聯(lián)網(wǎng)，是人類的兩大傳奇。現(xiàn)在，AI 正在成為我們親手締造的又一個傳奇。正像蒸汽機開啟了工業(yè)革命時代一樣，AI 也將把人類社會帶入新世紀。
正是杰夫·欣頓（Geoffrey Hinton）等科學家在人工神經(jīng)網(wǎng)絡領域鍥而不舍的研究與探索，深度學習才會脫穎而出，創(chuàng)造出今天 AI 的一個個奇跡。
2012 年的一天，谷歌公司的實習生培訓班里，來了一位頭發(fā)花白的奇怪老人。在這群年輕實習生中，他顯得非常特別，不但年齡很大，卻仿佛什么都不懂。比如，培訓老師說：“輸入你的 LDAP（輕量目錄數(shù)據(jù)庫）用戶登錄碼。”老人會立刻舉手問道：“什么是 LDAP？”培訓班上的年輕人都在想，“那個老家伙是誰？為什么他連 LDAP 都不知道？”
直到有一天，有人在餐廳午餐時發(fā)現(xiàn)老人，立刻走過來熱情地說，“欣頓教授，我選修了你的課。你在這里做什么？”實習生們大為驚訝，原來天天和他們坐在一起的這位老實習生，是“深度學習教父”、加拿大多倫多大學計算機系教授杰夫·欣頓。
不過，那時的欣頓，在 AI 圈子里雖已很有名氣，但和今天的影響相比，不可同日而語。現(xiàn)在，欣頓引領的深度學習技術潮流，已經(jīng)席卷全球，成為 AI 這一輪復興的關鍵技術。杰夫·欣頓也成為媒體追捧的科技巨星。
欣頓居然在谷歌公司參加過實習生培訓，這是一段頗有戲劇性的故事。谷歌大腦（Google Brain）負責人杰夫·迪恩邀請欣頓到谷歌工作，他自己也愿意到谷歌短期工作三個月，雙方一拍即合。可是谷歌有一些古怪的規(guī)定，短期工作的欣頓必須經(jīng)過實習生培訓。這樣，六十多歲的他，出現(xiàn)在實習生隊伍里。
2013年春天，谷歌收購了多倫多的 DNNresearch 公司。這家深度神經(jīng)網(wǎng)絡研究公司，前一年剛創(chuàng)辦，連欣頓共三人。收購后，欣頓很自然地成為谷歌公司AI顧問。大感意外的他，這樣告訴別人：“我以為他們對我們的知識產(chǎn)權感興趣，結果他們對我們這幾個人感興趣。”
是的，雄心勃勃在 AI 領域進取的谷歌，感興趣的正是欣頓這位深度學習領軍人物。這次收購，打響了高科技公司巨頭的深度學習人才爭奪戰(zhàn)第一槍。后來，曾在欣頓門下做過博士后的紐約大學計算機系教授雅恩·樂昆（Yann LeCun，即楊立昆）、蒙特利爾大學教授約書亞·本希奧（Yoshua Bengio）先后被 Facebook、微軟聘用。欣頓和這兩位教授，被稱為深度學習的“加拿大黑手黨三人幫”，他們都與加拿大有淵源，又成為深度學習的先驅。他們被高科技巨頭公司網(wǎng)羅，是深度學習人才戰(zhàn)的標志。隨著越來越多的企業(yè)加入這場 AI 人才大戰(zhàn)，AI 在各行各業(yè)的深入應用也不斷加快。
當前的 AI 熱潮，與以前兩次有極大不同的是，不但科研人員大量流向企業(yè)，投資主體也已經(jīng)從政府轉向企業(yè)。回顧計算機和互聯(lián)網(wǎng)走過的道路，同樣都有這樣的路徑：從軍事和科研領域轉向商用，再轉向大規(guī)模民用，從而在全社會普及。今天的 AI，正在向全社會普及之中。而這一切，與欣頓為代表的一批深度學習領域科學家在 AI 寒冬中頑強堅持科研方向有很大關系。
杰夫·欣頓 1947 年出生于英國。他的家族有很深的學術淵源，他的曾祖父的岳父就是喬治·布爾（George Boole），是符號邏輯領域的先驅，這是促進計算機誕生與發(fā)展的重要基礎研究之一，“布爾代數(shù)”就是以他的姓命名。
欣頓很早就開始思考人的大腦。16 歲時一位同學給他介紹關于記憶的理論：大腦對于事物和概念的記憶，不是存儲在某個單一的地點，而是像全息照片一樣，分布式存儲于一個巨大神經(jīng)元網(wǎng)絡里。全息照片、分布式、神經(jīng)元網(wǎng)絡，這些概念深深啟發(fā)了他，讓他對神經(jīng)網(wǎng)絡產(chǎn)生了濃厚興趣。
很自然地，他進入劍橋大學心理學專業(yè)并于 1970 年本科畢業(yè)。1978 年，他取得愛丁堡大學 AI 專業(yè)博士學位，這所大學的 AI 實驗室，是世界上最早建立的四個 AI 研究基地之一。博士畢業(yè)后，他在卡內(nèi)基梅隆大學等多所高校游學，最后到加拿大多倫多大學任教。無論他走到哪里，他的研究方向始終聚焦人工神經(jīng)網(wǎng)絡。他在神經(jīng)網(wǎng)絡方面的漫長學術生涯，幾乎與 AI 學科同齡。
人工神經(jīng)網(wǎng)絡（ANN），簡稱神經(jīng)網(wǎng)絡，是AI的重要研究領域。AI 研究領域一直有兩大學派，一派是符號學派，被稱為符號主義;另一派是聯(lián)結學派，也被稱為聯(lián)結主義。兩大學派都從人腦得到啟示，開始 AI研究。符號學派從人腦的推理功能出發(fā)，認為要模擬人腦的邏輯推理思維，就要把相關的信息抽象為符號，然后進行符號運算，從而實現(xiàn)推理功能。聯(lián)結學派則從人腦的組織出發(fā)，進行機器模擬。人腦有大量被稱為神經(jīng)元的腦細胞，人之所以能夠進行思維，就是因為這些神經(jīng)元互相聯(lián)結，處理各種信息。同樣，如果用機器模擬神經(jīng)元，并建立人工神經(jīng)元聯(lián)結網(wǎng)絡，這樣的人工神經(jīng)網(wǎng)絡就能夠進行思維。屬于聯(lián)結學派的人工神經(jīng)網(wǎng)絡，一直按照這樣的思路進行研究。
正像 AI 領域的所有研究一樣，人工神經(jīng)網(wǎng)絡道路注定不會平坦。
神經(jīng)網(wǎng)絡概念實際上先于 AI，在 20 世紀 40 年代就出現(xiàn)了。AI 學科的創(chuàng)始人之一的馬文·明斯基 1951 年就研制出基于神經(jīng)網(wǎng)絡的學習機，他在達特茅斯會議期間拿出來交流的，正是這一神經(jīng)網(wǎng)絡系統(tǒng)。1957 年康奈爾大學心理學教授弗蘭克·羅森布拉特（Frank Rosenblatt）提出的“感知器”（Perceptron），是第一次用算法來精確定義神經(jīng)網(wǎng)絡和第一個具有自組織自學習能力的數(shù)學模型。另一方面，這臺電子感知機因為能讀入并識別簡單的字母和圖像，而在當時引起轟動，引來對AI的無數(shù)美好遐想。
但那個時代的神經(jīng)網(wǎng)絡系統(tǒng)不可能實用，馬文·明斯基自己也對感知機提出嚴厲批評。人工神經(jīng)網(wǎng)絡的研究，很快在 AI 的第一次寒冬中進入低潮。
杰夫·欣頓博士畢業(yè)不久，AI 剛好迎來第二次高潮。一直在神經(jīng)網(wǎng)絡領域耕耘的他并沒有感到好時光到來，因為那個時代符號學派占了上風，名噪一時的專家系統(tǒng)、智能推理機，都是符號主義的勝利。而到了 AI 的第二次寒冬，所有的AI項目卻都受到重創(chuàng)，神經(jīng)網(wǎng)絡也如此。
人工神經(jīng)網(wǎng)絡想法非常好，研究成果也大量出現(xiàn)。但隨著對人腦研究的深入，人們發(fā)現(xiàn)，人腦的確是宇宙中最復雜的精靈之物，模仿人腦的人工神經(jīng)網(wǎng)絡系統(tǒng)，談何容易。
一個人類的大腦保守估計有 1000 億個神經(jīng)元。人們常常比喻人腦像一臺電腦，實際上每一個神經(jīng)元都是一臺電腦。每一個神經(jīng)元有無數(shù)突觸與其他神經(jīng)元相連，估計突觸的數(shù)量在 100 萬億到 1000 萬億之間。谷歌大腦是最著名的人工神經(jīng)網(wǎng)絡系統(tǒng)，即使在今天，目標也不過是達到大腦某一部分的功能。
由于人工神經(jīng)網(wǎng)絡的高度復雜性，這一研究方向一度被認為是學術死路。在AI第二次進入低谷時，很多同行開始轉去研究別的領域，但是欣頓等人仍然在這里堅守，他因而被視為不可理喻的怪人，說起神經(jīng)網(wǎng)絡，人們都用不屑的眼神看著他。盡管欣頓在人工神經(jīng)網(wǎng)絡領域碩果累累，并在 1998 年被選為英國皇家學會院士，還獲得了很多其他榮譽，但仍不能扭轉人們的偏見。很長一段時間里，多倫多大學計算機系私下流行著一句對新生的警告：不要去欣頓的實驗室。
欣頓不為所動，仍然堅持自己的神經(jīng)網(wǎng)絡研究方向。據(jù)說他有一種激勵自己的特殊方法，每周發(fā)泄般大吼一次：我發(fā)現(xiàn)大腦是怎樣工作的啦！這樣的習慣，幾十年一直保持下來。
在神經(jīng)網(wǎng)絡相關學術論文很難得到發(fā)表的那段時間，他堅持寫了兩百多篇研究論文，為后來的突破打下了堅實的基礎。科研經(jīng)費又成為他的大問題。但功夫不負有心人。2004 年，欣頓終于從加拿大高等研究所（CIFAR）獲得了每年50萬美元的經(jīng)費支持，如果和日本五代機等知名AI項目得到的巨額資金相比，這實在是一筆微薄的經(jīng)費。但是，名為“神經(jīng)計算和適應感知”的這一項目，在樂昆和本希奧兩位志同道合者的良好合作下，他們將一批一流的計算機、生物學、電子工程、神經(jīng)科學、物理學和心理學專家團結在一起，共同探索神經(jīng)網(wǎng)絡模擬人腦智能的新方法。
重大突破出現(xiàn)了。2006年7月28日，欣頓和學生題為《用神經(jīng)網(wǎng)絡降低數(shù)據(jù)維數(shù)》的論文在美國權威的《Science》雜志發(fā)表，這篇論文被認為是深度學習領域開創(chuàng)性論文。論文中介紹了神經(jīng)網(wǎng)絡的一些新思想和新方法，引起AI和人工神經(jīng)網(wǎng)絡界的關注。而他們和經(jīng)費支持者 CIFAR 一起，開始把新思想和新方法，用20年前就出現(xiàn)過但沒引起重視的一個術語“深度學習”（Deep Learning）來描述和包裝。深度學習開始登場，漸漸地成為AI和神經(jīng)網(wǎng)絡最熱門的研究方向，在有些場合，深度學習甚至成為神經(jīng)網(wǎng)絡的代名詞。
盡管 2006 年以后深度學習就開始引起關注，但震撼性的影響發(fā)生在 6 年后，在前面提到的 2012 年 ImageNet 圖像識別競賽上。ImageNet 是斯坦福大學華裔女科學家李飛飛和普林斯頓大學華裔教授李凱 2007 年起合作開發(fā)的大型圖像識別項目基礎上創(chuàng)辦的權威競賽，這項競賽已經(jīng)成為圖像識別領域當年最高水平者之間的較量。
欣頓的兩位學生組成多倫多大學小組，在 2012 年的競賽中采用深度學習贏得了競賽的圖像分類比賽冠軍，不僅識別出猴子，而且區(qū)分出蜘蛛猴和吼猴，以及各種各樣不同品種的貓。
一次比賽的冠軍也許并不重要，重要的是欣頓小組用了與其他參賽者完全不同的方法，得到顛覆性的結果。競賽中，他們采用深度學習的識別結果，準確率超過第二名東京大學10%以上，而第二到第四名都采用傳統(tǒng)計算機圖像識別方法進行分類，他們之間準確率的差別不超過1%。也就是說，采用深度學習，把圖像識別的準確率進步一下子提高了一個數(shù)量級。2012 年 10 月，在意大利佛羅倫薩的研討會上，競賽組織者李飛飛宣布了這一壓倒性的結果，在計算機視覺領域產(chǎn)生了極大的震動，并迅速波及到整個 AI 界和產(chǎn)業(yè)界。
深度學習的熱潮從此掀起，一波接一波向前迅猛推進，不斷進入一個又一個領域并連戰(zhàn)連捷，勢如破竹，形成今天銳不可擋的AI狂潮。
未完待續(xù)……
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
