0
雷鋒網按：雷鋒網 · 新智駕（微信公眾號：AI-Drive）持續關注和報道智能駕駛領域的一線動態。從6月份開始，我們聯合雷鋒網 · AI慕課學院、網易云課堂企業版舉辦系列智能駕駛講座，邀請業界、學界頂尖專家共同打造屬于智能駕駛時代的技術盛宴。
今年4月，百度推出阿波羅計劃（Apollo），將逐步開放其自動駕駛技術；今年7月，百度在首屆開發者大會（Baidu Create）上公布了阿波羅計劃的第一批細節，包括百度自動駕駛技術的架構設計以及一個完整的基于林肯MKZ打造的封閉場地循跡自動駕駛參考設計——Apollo 1.0。
接下來，這個計劃將逐步開放更多細節，為眾多從事自動駕駛研究的企業賦能。當然，想深入了解這個計劃的人數不勝數。
8月30日晚8點，雷鋒網新智駕邀請到百度智能駕駛事業部資深架構師郁浩詳解阿波羅計劃，進行計劃公布后的首次線上直播。本次分享中，您可以重點關注的內容包括：
端到端（End-to-end）自動駕駛系統的發展歷史
與傳統的規則式（rule based）自動駕駛相比，端到端自動駕駛有哪些區別和優劣勢？
百度的阿波羅計劃在這個方向有哪些實踐？
以下內容為郁浩分享完整版，由新智駕進行不改變原意的編輯和整理。
整個阿波羅項目其實是百度面向自動駕駛的一個很宏大的系統，而端到端（end-to-end）的方案是其中的一個子方向。今天主要進行這個子方向的實踐和經驗分享。
在介紹端到端自動駕駛之前，可以了解一下自動駕駛另一大主流的方案：基于規則（rule based solution）的方案。這類系統和端到端系統相比還是有很明顯的區別。
Rule based方案的主體需要人工去搭建，拆解開來一般是以下的流程：
從車輛開始是一個閉環：從車輛到車上的傳感器（radar、LiDAR以及camera等），綜合在一起獲取信息，這些信息經過感知層、經過特殊的處理（包括深度學習網絡），最終會提取出道路、行人和車輛等各種信息。在感知到的信息的基礎之上，再加入高精地圖等一些靜態信息，當動態和靜態信息結合在一起后，就會形成一個比較完備的世界模型（Wodel Model）——對外部環境的完備描述。
在此基礎之上，我們就進入到決策模塊，考慮到駕駛舒適性，這一步主要是演繹推理（reasoning）的一些過程，最終會產生一些決策，決策再往下就到了車廠比較擅長的領域——車輛控制，需要給車輛一些控制信號。
在這樣一個rule based的系統里面，其實有一個非常復雜的架構。
上圖是國際汽車工程師學會（SAE）推薦的一個系統架構圖。
我們可以看到這樣一個架構其實是一個閉環系統，這個閉環本身又分了好幾個層次。從最底層的控制循環（Control Layer）往上到安全性能的循環（Safety Layer）再到本地層的循環（Local Layer）再到全局的循環（Global Layer），這樣的層層閉環做到了對車輛的控制。
這樣一個復雜的系統其實還是提綱挈領的，再往下分又可以看到這樣一張架構圖：
這張架構圖比上一張顯然要詳細得多，但依然還是一種抽象的概括。這張架構圖其實也反映出了無人駕駛的幾大問題，需要從業者聯手去解決。
一個是系統復雜性。這樣一個系統，需要人工設計上千個模塊，從0到1是非常艱難的，其系統的復雜度不亞于一個操作系統
第二個是高精地圖的成本很高。在構建世界模型的時候，需要高精地圖的輔助，而高精地圖本身的廣鋪、更新都是極其大的成本。很多創業公司在往這個方向努力，會嘗試一些眾包的數據采集，這一塊也是個很誘人的方向。
還有一個問題是車載硬件計算能力要求非常高。在這樣一個系統里面，有不同的感知、決策模塊，每一個模塊都會使用深度學習的優化手段。一個綜合的復雜系統里面，可能需要幾個甚至是十幾個深度學習的神經網絡，每一個的計算成本都極其巨大。
NVIDIA CEO 黃仁勛曾表示，目前的自動駕駛系統，使用2個 Drive PX2核心都不夠，已經遠超目前計算能力所能達到的上限，硬件本身就是很高的門檻。
所以，打造一個自動駕駛系統的難度之大，已經遠遠超出一家公司的能力范圍，需要一個協作的生態（聯盟）。
*百度與 NVIDIA 合作推出的自動駕駛系統
*百度阿波羅計劃所購建的生態
這個系統中，有很多公司體量很大，每個公司也只不過做了其中的一部分工作。
剛剛提到一點，人駕駛的時候并不需要這么復雜的拆解，不需要高精度定位、高精度地圖，只需要一些導航語音的提示。很多人還可以邊打電話邊開車，能一心二用。
與之對應的，目前比較熱的一個新興的自動駕駛解決方案就是端到端（end-to-end）的系統，它的特點是更接近于人的駕駛習慣。看到的是人看到的場景，經過神經網絡的處理之后，產生類似于人類的駕駛行為。
如圖所示，車輛可能看到的是一張圖片，經過加工處理，得到了橫向控制和縱向控制。
其實end-to-end系統并不是最近這一兩年才出現的技術，這和整個無人駕駛系統一樣，是一個很長遠的事情。
早在1988年的時候，一個名為“ALVINN”的系統就已經面世了，是卡耐基梅隆大學（CMU）的研究成果。當時還沒有CNN，用的是比較淺層的全連接網絡，用的是單目相機，只處理30*32的圖像，即便是這么簡單的一個場景，還是可以看到它做了很多傳統的圖像處理的手段（比如二值化）。這樣的一個網絡也能讓車輛在簡單的道路上行駛。
到了2005年的時候，Yann LeCun也參與了一個類似的項目，研發出了DAVE系統。這系統運用了卷積CNN網絡，使用的是雙目相機。
再到2015年的時候，普林斯頓大學也做了一些嘗試，用中間狀態——從原始圖像，不是端到端生成的一個指令，是從中提取一些關鍵的信息，在關鍵信息的基礎上，再做自動駕駛的決策和控制。
轉折點出現在2016年，NVIDIA在2005年DAVE的基礎之上，做出了DAVE2。這個系統用的是單目相機、卷積神經網絡，更關鍵的是能搭載上實車路測。NVIDIA還為此研究出了配套的評估體系。
在NVIDIA之后，我們可以看到眾多的創業公司如雨后春筍般冒出來。比如Comma.ai、Udacity、Drive.ai以及AutoX，當然，后兩家沒有明確提及end-to-end系統，比較愿意說他們的系統完全基于深度學習、可快速大量的擴展等。Udacity為此還專門組織了end-to-end steering的比賽，其中也包含了很多很出彩的成果。
其實end-to-end系統不只是針對于自動駕駛領域，其實對于機器人行業來講，都有比較大的影響，可以說是變革。
上圖是李飛飛實驗室做的室內機器人的行駛測試，完全基于深度神經網絡的端到端的系統，里面沒有事先預置好的地圖，也沒有自定位、SLAM功能，完全是機器人實現的自動行駛。
還有一些是機械臂的操控，自動化完成一些指定的任務。傳統的機械臂也需要封閉環境的準確信息，以及各個關節和組件也需要極高精度的定位。經過閉環的控制，按照預設的軌跡執行特定的任務。而end-to-end系統就不需要這些，不再受限于簡單的封閉的環境，可以走向開放的環境里去。當然，也不再受限于高精地圖、高精的環境信息。
當然，目前也有一些人在用端到端的系統做一些更為主動的規劃，而不是一味的被動響應，這也是很有意思的方向。
那么end-to-end系統能干嘛？不能干嘛？主要的問題是什么？與rule based系統有什么區別和聯系？
接下來來拆解一下：
從功能層面看的話，我們把自動駕駛的行為或者功能按照兩個角度來分：一個是Reactive control；一個是Proactive planning。人可以邊打電話邊開車，其實就是Reactive control的一種，有時候是條件反射，甚至是一些簡單的駕駛經驗就可以判斷，不用你去做深入的思考。
而與之相對的就是Proactive planning，在一些陌生的環境、道路，聽導航的指示時，你要想一想該怎么走。比如并線的時候要看一看周圍的環境怎么樣、盲區有沒有車、其他車輛的車速如何……
所以從功能角度來看，目前的end-to-end系統實現的是Reactive control，或者說是類似于人潛意識的駕駛行為。而在Proactive planning這一塊，目前end-to-end系統還處在研究階段，這也是一個很誘人的方向。
在系統工程復雜度上，Rule based系統是極高的，而end-to-end系統則比較低。因為其中需要人工去構建的部分大多由神經網絡去擬合了。
當然，二者對于算法的要求都很高。
至于“可解釋性”，其實是非常多人在討論的事情，達成的共識是rule based系統可解釋性很高，而end-to-end系統可解釋性很低。
這里，要說明一下“可解釋性”與自動駕駛最終能落地的關系。其實，我們跳出來看，對于傳統的基于規則的無人駕駛系統，影響其最關鍵的點恰恰就在于規則式系統中存在著大量的不確定的邊界性問題，這些問題是“不可解釋的”。從這點看，rule based系統也沒有壓倒性的優勢。
此外，可解釋性當然很重要，去年9月份，美國白宮發表的針對自動駕駛行業的指導意見便指出，涉及到行駛安全的部分一定要具備可解釋性。
再看系統廣鋪的成本，rule based系統成本非常高，因為其依賴于高精度地圖，普通地圖的維護更新都需要很巨大的成本，可想而知高精度地圖的維護和更新成本會有多大。End-to-end系統廣鋪成本則很低了，因為其不依賴地圖和定位。
傳感器成本方面，rule based系統的成本會很高，而end-to-end系統則相對較低。在歐洲的車廠中，自動駕駛系統傳感器非常之多，光攝像頭就有很多個，還有很多radar、LiDAR（4線）。但end-to-end系統本身不是可以去減少使用傳感器，而是在信息利用率上很高，主要是整合信息的能力很強。
另外一個是車載計算能力，無疑這方面rule based系統要求會很高，end-to-end系統這方面要求就要低一些。
最后一個是數據成本，包括獲取和標注數據，這是對于自動駕駛發展來說比較關鍵的一點。在rule based系統中，因為需要人工去設計各個模塊，所以需要人工去對數據進行標注，比如比較知名的KITTI數據集，會耗費人力對環境圖像、LiDAR數據進行標注。這樣一來，數據采集成本已經很高了，后期的標注成本可能會更高。
而end-to-end系統的數據成本則要低很多，一方面其數據是傳感器數據，部署成功后就可以自動化去獲取；另一方面數據是人的駕駛行為，也是可以自動化的去采集，這樣的話整個數據成本就把標注的成本剔除了。整體成本要減掉二分之一甚至更多，因為一旦一些車廠和ADAS公司采納這一系統，就可以批量、規模化地去采集。可見，end-to-end系統在這方面優勢很大。
總結起來，核心問題在于：rule based系統的研發、廣鋪成本極高；end-to-end系統很缺數據，不過可以自動化、規模化獲取。所以，二者是互補的關系，對于一些普通的駕駛行為，使用end-to-end系統就足夠了，而對于一些安全層面的駕駛行為，則愿意去采用rule based系統。
接下來談談阿波羅項目的一些實踐經驗。
上面的視頻是百度的地圖采集車正在采集數據供End-to-end系統進行訓練。紅線是原始的司機的行為，綠線是模型預測出的一些結果。
目前，這個系統還只能做到Reactive control，從視頻中的一個交叉路口車輛的反應來看，紅線要進行邊線，但是綠線的預測還依然默認車輛要保持車道行駛。當然，當車輛拐彎之后，預測模型就知道要怎么走。
而上面這個視頻是百度今年在CES Asia上提供給用戶試乘的自動駕駛實車。已經將訓練后的End-to-end系統搭載上去，經過了海量的數據的訓練。
為了進行功能展示，車輛只用了一個單目攝像頭，在這樣的場地中可以實現自動駕駛。這里比較關鍵的點在于，我們故意設計了兩個比較急的彎，在速度上也可以做到更為人性化，急彎處會減速。
視頻后半段，工作人員將轉向的交通標志推進了場內，車輛可以識別出這個交通標志，然后進行左拐。這個循跡系統其實有很大差別，因為該系統可以識別交通標志。
如上文所述，end-to-end系統的關鍵在于很缺數據，現在的研究數據來源主要有兩方面，一方面是真實數據（一些機構的開源），一方面是模擬器的數據（模擬器軟件）。
可以對比一下二者的一些特性：
在今年的CVPR上，蘋果的獲獎論文便提出了simGAN的概念，就是要將模擬器中的場景渲染得和真實場景極其接近，如果這些數據可以應用于自動駕駛實車上，將會是很大的突破。但是現階段仍然要打一個問號。
真實數據從哪里來？百度已經和長安、江淮等車廠合作，共同推出地圖采集車。
這些車輛不只是采集地圖信息，還會采集環境信息以及駕駛行為，這些數據會用于后臺做訓練。目前已經有數百輛這樣的車在全國各地行駛。
再來說一下具體的數據，目前，我們開源出來的數據的基本結構是這樣的：
上圖中的圖片是百度的地圖采集車前向的攝像頭采集到的圖片，第一期會開源10000公里的數據（是已采集數據中的一小部分），在全世界范圍內也是絕無僅有的。
當然，我們原始采集到的數據是軌跡、坐標的信息，是參差、有一些擾動的，我們會經過地圖的制作流程和工藝將其處理得更為平滑、逼真。
有了這些高精度的軌跡之后，就可以做很多工作，比如汽車動力學方面的執行：
其中，百度阿波羅計劃開源的10000公里數據大概是這樣的一個組成關系：
其中Ctx指的是道路的曲率，為什么會有這么多組曲率數據，主要還是因為數據的延遲，車輛行駛過程中需要進行一定的預測，而系統無法做到百分之百的實時。
要特別提醒的是，各位在拿到開源數據的時候，也要做相應的處理。
NVIDIA在2016年就給出了一個基本的橫向的控制模型，一個比較典型的CNN網絡。除了和CNN的一些基本優化套路一樣，這個模型還會有一些問題：
而在縱向模型上，百度去年使用的是Convolutional-LSTM的視頻分析方法。
今年，百度采用的是橫向和縱向模型結合的方式，主要是LRCN的架構，就是CNN+RNN的整合。CNN去提取每一幀的特征，然后用LSTM擬合出其在時序上的行為。
其實走到現在，end-to-end系統還有很多可供討論的開放性問題，需要去優化，需要從業者聯手去解決。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
