作者 | 青暮
6月22日，北京智源大會舉行了認知神經基礎專題論壇，來自北京師范大學認知神經科學與學習國家重點實驗室的畢彥超教授、北京大學心理與認知學院的方方教授、北京師范大學心理學部的劉嘉教授、北京大學計算機系的吳思教授、中國科學院自動化研究所的余山教授分別做了報告，共同探究認知神經科學能為AI帶來什么啟發。第三位報告者是北京師范大學心理學部教授劉嘉，題目為《從認知到計算：認知神經智能科學》。在報告中，劉嘉教授首先回顧認知科學的歷史，解釋打開人腦黑箱的意義，然后通過一系列認知神經科學的實驗范式和研究技術，揭示了深度神經網絡的內部表征與算法以打開AI的黑箱，展示了人腦與類腦雙腦融合的可能路徑。
以下是演講全文，AI科技評論做了不改變原意的整理。今天我的報告主要圍繞如何從認知神經科學對大腦的研究方法論，來理解深度神經網絡的工作方式。在AI里，我們通常會遇到圖片識別的問題，我們把圖片輸入到訓練好的CNN里，CNN告訴我們這是一匹馬。這個過程是我們現在主流的深度神經網絡所做的工作，采用行為目標導向，即在輸入端和輸出端建立關聯，而把中間過程當成一個黑箱（blackbox）。顯然作為科學家，我們肯定有興趣把它打開，但是問題是有必要嗎？打開和不打開究竟對理解AI以及推動AI發展有沒有幫助？在心理學歷史上也曾有類似的爭論。關于刺激和行為之間關系的研究最早是由Pavlov（巴普洛夫）開展的，他稱之為條件反射。即當鈴鐺和食物同時出現或者鈴鐺比食物稍微早一點出現的時候，這時候就可以建立刺激與行為的聯系。即當食物不出現時，僅僅搖一下鈴鐺，狗也會分泌唾液。至于狗的大腦里面發生了什么，當時大家認為不重要，當成黑箱就好；而我們需要關注的是刺激和行為之間連接的法則。這個觀念從上個世紀三十年代一直到五六十年代都占據著心理學的主要地位，稱為行為主義。行為主義有一個著名的黑箱隱喻，即行為主義代表人物Watson（華生）說過：“給我一打健康的嬰兒，一個由我支配的特殊環境，讓我在這個環境里養育他們，我可擔保，任意選擇一個，不論他的父母的才干、傾向、愛好如何，他父母的職業及種族如何，我都可以按照我的意愿把他們訓練成任何一個人物——醫生、律師、藝術家、大商人，甚至乞丐或強盜。”這句話背后的邏輯就是深度神經網絡的“行為和目標導向”，翻譯成心理學的術語就是“人是環境的產物”或者“智能是環境的產物”。但是理解外部環境和行為之間的關系就夠了嗎？后繼的研究表明這遠遠不夠。Garcia（加西亞）曾經研究放療所產生的負作用，如惡心嘔吐等。具體而言，他給老鼠進行放療，然后觀察放療之后老鼠的行為。Garcia發現了一個非常奇怪的現象，放療后的老鼠中有一些老鼠開始拒絕喝水，再渴也不喝水。Garcia深入了解后發現，那些拒絕喝水的老鼠的盛水容器是塑料瓶，而繼續喝水的老鼠的盛水容器是玻璃瓶。玻璃和塑料之間有什么區別？非常簡單，因為玻璃瓶是沒味的，而塑料瓶是有味的，也就是說老鼠把它惡心嘔吐的癥狀和塑料瓶的味道聯系在一起了，老鼠會“認為“自己嘔吐是塑料瓶帶來的。從表面上來看，這就是一個非常簡單的刺激（塑料瓶的氣味）和行為（嘔吐）之間的聯結，也就是我們剛才說的條件反射。但是！Garcia進一步發現，當他用類似氣味的條件，比如閃光、鈴聲來試圖形成老鼠不喝水的條件反射，發現怎么都建不成聯結。也就是說老鼠只能把氣味和它的嘔吐建立聯結，而不能把閃光、鈴聲來與它的嘔吐建立聯結。基于此，Garcia用生物準備性（biological preparedness）的概念來對行為主義提出了挑戰。生物準備性的核心有兩點：第一，不是所有的刺激都能和反應建立聯結；第二，有機體的學習潛能都被其生物學基礎所約束。也就是說黑箱里面的東西制約了刺激和反應聯結的形成。
正是Garcia這個實驗使得我們開始研究老鼠的大腦里在“想”什么，狗的大腦里在“想”什么，于是認知科學由此誕生。科學家開始逐漸把大腦的黑箱打開，知識表征、注意力等概念就是認知科學在研究大腦機制時提出的認知概念。以前行為主義認為人只是環境的產物，現在我們知道，人不僅僅是環境的產物，而且也是環境的營造者，人有其自身的內部加工過程。同樣，深度神經網絡的內部表征與算法也必然影響刺激與行為的連結，也必然決定其智能的形態和本質。
之后認知科學和神經科學產生連接，我們開始了解認知模塊和表征的生物學基礎。基于認知神經科學過去20-30年的工作，我們開始理解視覺的產生機制。首先是初級視覺過程，對物體的線條、顏色、對比以及運動等特征進行初步分析。接下來是中級視覺過程，我們開始把物體從局部的信息整合成形狀、表面、深度信息，最后我們把這些信息整合起來進入高級視覺過程，這時候我們就可以實現物體識別等。認知神經科學幫我們打開了大腦黑箱的一部分。那么我們為什么不用認知神經科學的方法論和工具，來理解人工神經網絡的功能模塊和內部表征，了解人工智能背后的智能本質，獲得可解釋、可預測的AI？這里，我把這個思路稱為人工智能的認知神經解析，即用認知神經科學的方法來研究AI。
圖靈測試從本質上來講，是基于行為主義的邏輯——一個機器只要它在行為上達到人的水平，那么它就具有跟人一樣的智能。但是從認知科學的角度，一個更本質的測試應該是：一個智能機器，是否具有與人一樣的認知過程。例如，AI如今能夠實現物體識別、目標檢測等任務，但是AI使用的內部表征和人類是不是一樣的？在這個研究，我們將具體回答兩個問題：深度神經網絡使用什么表征？這種表征和人類相似嗎？我們這里呈現一個性別辨別的任務，下圖中左邊的是女性，右邊的是男性。但是如果我問，你是靠什么特征來進行判斷的？他們頭發的長短嗎？他們的眼睛大小嗎？他們臉型的外輪廓嗎？還是什么？你可以反省自己到底是靠什么做的判斷。
你會感受到這個任務很難，辨別性別很容易，但是理解究竟用哪些特征來做是挺難的。因為我們進行面孔認知加工是在無意識中完成的，不能被我們意識所覺察到。這里，我們采用認知神經科學的方法，即反向相關的方法（reverse correlation），通過結果來回推內部表征。首先，我們分別把女性面孔和男性面孔取平均，得到女性和男性的平均臉。當我們從女性平均臉平滑的過渡到男性平均臉的時候，大家感受一下效果。這動畫給人一個感覺，你對性別的判斷類似二分法。開始時是一張女性臉，后面是一張男性臉，中間是感知邊界，我們心理的感受并不是隨著圖像的線形變化而發生線性變化的，而是二分法，前半部分全是女性，后半部分全是男性。這里，我們找到感知邊界，生成一張中性臉。
接下來，我們訓練一個能識別性別的VGG-Face網絡。這個網絡已經經過預訓練，我們只做遷移學習，即把最后一層進行微調，對男性和女性的人臉做識別訓練。很快，對性別識別的準確率就達到了百分之百。我們把中性的面孔拿出來加上隨機噪音，然后再把這張照片輸入VGG-Face，讓它進行分類。添加噪音可以使中性臉被識別為男性臉或女性臉。我們識別了2萬張照片，每張照片基底圖是一樣的，而添加的噪音不一樣，這樣我們可以得到一組被VGG-Face識別為女性的照片和一組識別為男性的照片。我們把這些照片都貼上了標簽，然后把原來的基底圖去掉，只留下噪音，并按照性別的標簽分別疊加在一起。下圖就是VGG-Face把面孔識別為女性的面孔特征圖。原來的隨機噪音看上去無規則，但是通過reversecorrelation就可以從噪音中提取出結構的信息。我們大致看到，這些信息主要集中在眼睛、鼻子和嘴這些地方，這些特征是VGG-Face將面孔判斷女性的關鍵信息。同樣，我們可以把被判斷為男性的噪音疊加在一起，得到關于男性的一張特征圖。簡單對比可以發現，判斷為女性的特征圖和判斷為男性的特征圖是不一樣的，這兩張圖的模式很復雜。
我們把女性特征圖和男性噪音特征圖進行相減，得到識別特征圖，這張識別特征圖就是VGG-Face完成性別識別任務的內部表征，它認為這是把男性和女性分開的關鍵信息。我們把基底圖即中性臉疊加上去，可以看到噪音特征圖的極值點大致分布在眼睛和鼻子外側，以及人中、嘴唇的下沿。
我們接下來把這疊加到基底圖上，我們就得到了一個標準的男性臉。反之，如果我們把基底圖減去這張識別特征圖，就會得到一個標準的女性臉。所以我們通過這一系列操作就得到了VGG-Face用什么特征來進行性別判斷。
如果把VGG-Face換成人，結果會如何？我們找人看了這2萬張圖片。在大部分情況之下，被試會說“我怎么知道他是男性還是女性？”我們說“沒關系，你猜就是了，跟著感覺走，你覺得它是女性就按F，覺得是男性就按M”。于是被試帶著困惑、不解和勞累，把這個實驗給做完了。這是他們用于區分男性和女性的特征圖。我們按照相同的計算，分別得到男性的標準臉和女性的標準臉。
我們發現在VGG-Face的特征圖和人類的是非常類似的。事實上，如果我們對這兩張特征圖計算相關，可以得到0.73的相關度。從這個角度來講，人類和VGG-Face用了類似的表征來完成性別識別的任務。進一步，我們來看這個相似是發生在什么空間頻率上。在研究中，添加到中性臉的隨機噪音是有結構的，由不同空間頻率的圖組成，下圖最左邊是低頻的，最右邊是高頻的，我們把低頻和高頻的信息疊加起來，給大家看到一個實驗用的噪音圖。
現在看在不同的空間頻率下面，人和VGGFACE的特征圖分別是什么樣子。這些特征圖也是非常相似的，而且相似度在低頻上是最高的，隨著空間頻率的增加，人和VGG-Face的相似度越來越低。所以，VGG-Face和人類在完成面孔性別識別任務時，更多依賴于低頻的信息。
簡單總結一下，計算機視覺的奠基人之一David Marr提出我們應該從三個層面理解智能：第一個層面是實現的目標或完成的任務，比如這個實驗做的就是性別識別任務，這是最高的層面；最低的層面是物理實現的層面，也就是用什么硬件實現。在這個研究里有兩種實現的硬件，一個是VGG-Face，一個是人的大腦，這是兩個完全不同的物理層面；用物理硬件實現目標，中間還需要一個軟件的層面，稱之為表征和算法。表征和算法在輸入和輸出之間建立一種轉換，這種轉換就是智能。智能的本質就是表征。在上述研究里，表征就是把男性和女性區分開的特征圖。
VGG-Face和人類用類似表征來完成性別識別任務，前提條件是什么？ 面孔對于人類而言比較特別，我們看到一個面孔，通常需要識別出身份，即直接識別個體，即這是張三。但是對非面孔的物體，我們的識別通常是在類別層面，比如我們看到貓，只會說是一只貓，而不是說這是張三的貓。其次是對面孔的識別更多依賴低頻信息，比如心理學的負片效應，把照片的黑白值翻轉，發現識別起來非常困難，同樣把低頻信息過濾，識別也非常困難。因為VGG-Face是經過面孔識別預訓練的任務；所以，VGG-Face與人有類似的表征，可能是因為上述這兩個原因，即：（1）VGG-Face和人都是在個體層面上識別物體；（2）VGG-Face和人因為處理過大量的面孔，因此會對面孔的獨特特征（如低頻信息）敏感。
首先，我們來驗證第一個可能性：共同的任務經驗。這里，我們選擇AlexNet。AlexNet也是預訓練網絡，它不做面孔識別而做物體分類，我們把最后一層微調，讓它做識別男性和女性的分類任務，正確率93%。即，雖然AlexNet是用來訓練物體分類的，但是也能夠把男性和女性區分，正確率也相當高。現在問一個有趣的問題，AlexNet在性別辨認上也能達到和人一樣的準確度，但是AlexNet用的是和人類似的表征嗎？我們來看AlexNet辨別男性和女性的特征圖，如下圖所示，肉眼能夠辨別兩者存在非常大差別，基本不相關，相關度等于-0.04。我們把它疊加到原來的基底圖上去，得到的人臉也沒有明顯的性別特征。所以從這個角度來講，我們發現AlexNet雖然能夠區分男性和女性，但是它所用的表征是完全不一樣的。我們做進一步的空間頻率分析，把噪音特征圖分為不同的空間頻率，可以看到，基本上AlexNet和人類的各頻率的噪音特征圖是不相關的。回到實驗的第一部分結論，我們發現預訓練任務非常重要。為什么VGG-Face和人類在區分男性女性時用的表征是相似的？因為它們都被訓練在個體層面上進行加工，而AlexNet是在類的層面上進行加工，從這個角度來講，導致它們使用呢不同的表征。這一點我們可以從進化的角度來理解。我們之所以從單細胞變成現在多細胞的動物，就是因為我們在不斷地完成大自然交給我們的任務；一旦完成不了，那只有一個結果，就是基因被淘汰。也就是說，we are what we do。我們的智能是被我們過去所完成的任務所決定的。
總結一下：認知神經科學發展了一系列有用的工具和方法論以及實驗范式，這些范式有助于我們了解深度神經網絡內部特征和模塊，得到可解釋、可預測的深度神經網絡。更進一步，認知科學、神經科學和智能科學的深度交叉所形成的認知神經智能科學將會為揭示智能的本質，提供一個新的視角。具體而言，一個理想的研究智能模式是：通過神經科學發現一個大腦工作的機理（brain inspiration），根據認知科學來來對該機理進行建模（cognitivemodeling），然后用計算科學來開發一個計算復雜度適度的算法（physicalimplementation）來解決一個真實的現實問題。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
