0
| 本文作者： 劉潔 | 2024-09-12 10:42 |
自己稱贊自己千句，不如別人稱贊你一句。
例如馬斯克在播客、推特上經常自稱特斯拉的自動駕駛和機器人“天下第一”，但這樣的話看多了，難免也有些審美疲勞。不過，前幾天，Andrej Karpathy在No Priors播客中現身，透露了特斯拉在Optimus人形機器人和自動駕駛領域的一些鮮為人知的進展。
Karpathy曾追隨馬斯克，從OpenAI轉戰特斯拉，從無到有親手打造了特斯拉的計算機視覺團隊。
然而，隨著團隊逐漸壯大，他的角色也從技術專家轉為管理者，這與他專注技術工作的初衷相違背。對于Karpathy來說，從頭開始構建事物才是他熱愛和擅長的事情。因此，他不得不做出“艱難的決定”，在團隊成長到足夠自主的同時遺憾地告別了特斯拉。
去年，Karpathy重返OpenAI，但不久后又因為相似的原因離開。今年七月，他創立了自己的初創公司Eureka Labs，致力于將AI與教育相結合。
Karpathy的離職推文：“離開OpenAI沒有什么特別原因，計劃開展個人項目，但請繼續提出陰謀論因為那很有趣。”
盡管如此，Karpathy對特斯拉的情感依舊深厚。他在訪談中公開表示對特斯拉在AGI、機器人以及自動駕駛領域的贊賞，并透露了未來可能重返特斯拉的意愿。
在這期播客節目中，Karpathy不止分享了過去在特斯拉收獲的有關自動駕駛和人形機器人的思考，還有他對Scaling Law和AI發展的理解以及對AI教育的展望。
在談到自動駕駛時，Karpathy回憶起自己十年前第一次體驗Waymo的自動駕駛的經歷，那時Waymo在街區的表現已經非常接近完美。經過十年的發展，這項技術終于從demo演變成了真正的商業產品。
Karpathy認為現在的自動駕駛其實已經達到了類似AGI的水平，只是受限于技術和監管，全球范圍內的全面普及仍然是個難題。
Karpathy還把Waymo和特斯拉做了比較，非常有信心地肯定了特斯拉的自動駕駛技術。他透露，自己剛體驗了特斯拉的最新版本，感受非常驚艷，對其表現非常滿意。
在人形機器人方面，Karpathy提出了獨特的觀點。他認為，汽車本質上就是一種機器人。他還提到，在特斯拉早期的Optimus人形機器人開發中，汽車和機器人在硬件、工具以及研究人員方面基本都是共享的。
Karpathy特別分享了對人形設計的思考，他認為保持人形設計是為了更好地集中研究，利用人類最熟悉的姿態來幫助收集和處理數據，同時也使機器人更容易融入人類社會。
至于更深層次的技術方面，Karpathy 談到了對Scaling Law的理解。
雖然OpenAI以大參數模型而聞名，曾引領了一段時間的大參數模型風潮，但如今主流模型已經轉向小參數設計。在Karpathy的Youtube賬號，最近一條是三個月前重現GPT-2 124M參數的教學視頻，時長4個多小時，這或許也間接反映出Karpathy對Scaling Law的不同看法。
Karpathy 指出，當前AI發展的的瓶頸已經不再是參數和神經網絡，而要是數據集的規模和質量。未來的發展將更多依賴合成數據的生成，而合成數據的多樣性和“熵”尤為重要。模型輸出的多樣性如果降低，會導致數據集失去活力。
節目的最后，Karpathy回到了他目前專注的AI教育領域。他相信在AI的幫助下，一對一個性化課程有著巨大的潛力和市場，并透露自己正在籌備一門關于AI的課程，預計會在晚些時候上線。
完整播客視頻可以點以下鏈接觀看：
https://www.youtube.com/watch?v=hM_h0UA7upI
AI科技評論摘取了部分播客內容，做了不改原意的精編處理：
Sarah Guo：你曾在特斯拉領導自動駕駛部門，現在自動駕駛汽車已經可以上路。你認為當前技術處于什么水平？我們需要多長時間才能看到技術的進一步提升或更廣泛的普及？
Andrej Karpathy：我在自動駕駛領域工作了大約五年，對這個領域非常了解。我覺得我們現在的自動駕駛技術已經達到了類似AGI的水平。
今天的一些系統已經允許付費用戶在城市中使用，尤其是在舊金山，這種情況非常普遍。我個人已經體驗過很多次，這些系統真的很神奇，可以將你送到任何地方。
十年前，我第一次體驗了Waymo的自動駕駛。當時，我的一位朋友在Waymo工作，他給我展示了一個demo。那時候，Waymo在街區內的駕駛已經非常接近完美。
經過十年的發展，它終于從demo成為了付費產品，并且在城市范圍內不斷擴展。
Waymo自動駕駛汽車
Elad Gil：你覺得自動駕駛技術的進展主要受到監管還是技術的影響？你認為這項技術何時會真正成熟？
Andrej Karpathy：技術方面，演示和實際應用之間有很大差距。你在短時間的演示中不會遇到他們在過去十年里處理的所有問題。
此外，監管因素也起了重要作用。雖然我們在軟件方面已經接近實現AGI，但全球范圍的普及還遠未實現。演示與全球化之間的差距很大。
雖然很多人認為Waymo領先于特斯拉，但我個人認為特斯拉在自動駕駛領域更具領先優勢。雖然目前看起來可能不是這樣，但我對特斯拉的自動駕駛項目非常看好。
特斯拉面臨的軟件問題比Waymo的硬件問題要容易解決得多。特斯拉已經在全球范圍內大規模部署了汽車，而Waymo還在努力實現這一目標。一旦特斯拉能夠全面實現其技術，并成功部署這些車輛，將會是非常令人驚嘆的。
我昨天剛試駕了最新版的特斯拉，感覺他們最近做了很多出色的改進。
Elad Gil：我最近也用過這個系統，感覺確實很棒。
Andrej Karpathy：的確如此。昨天它為我完成了一些非常出色的駕駛任務。我對團隊的進展印象深刻。
我還是認為特斯拉面臨的主要問題是軟件，而Waymo則主要是硬件問題。目前，Waymo在這方面似乎稍占優勢。
不過，十年后我們再來看誰真正實現了規模化，并且從中獲利，我相信特斯拉會保持領先。
Elad Gil：你認為解決軟件問題的關鍵時刻還遠嗎？正如你所說，很多汽車使用昂貴的激光雷達和傳感器來支持軟件系統。特斯拉的方法是只用攝像頭，這樣可以顯著降低成本和復雜性，并能在多種車型上應用。你認為這種轉變會在什么時候發生？
Andrej Karpathy：我希望在幾年內能看到這種轉變。
實際上，有趣的是，特斯拉在訓練階段使用了很多昂貴的傳感器。雖然他們在實際部署中主要依靠攝像頭，但他們在訓練時使用了激光雷達和其他傳感器來構建地圖和收集數據。這種做法既聰明又有效，因為它利用了傳感器的信息來優化軟件。
我認為這種策略還沒有被充分認識到，但它會非常有效。盡管在訓練階段傳感器非常有用，但在實際測試中，攝像頭提供的信息已足夠支持系統的運行。
Elad Gil：另一種轉變是從啟發式學習轉向端到端的深度學習。你怎么看這個問題？
Andrej Karpathy：是的，特斯拉的策略一直很明確。
最初，特斯拉系統中有很多C++代碼，但現在神經網絡已經接管了許多功能，C++代碼的使用減少了。這表明神經網絡逐漸接管了系統的各個部分，從處理圖像到多圖像預測，最終系統只需輸出轉向指令。
特斯拉在這方面做得很好。相比之下，Waymo嘗試了不同的方法，但似乎沒有完全實現他們的目標。因為Waymo對具體細節保密，我們不完全了解他們的做法，但我相信特斯拉的逐步推進方法是有效的。
未來，特斯拉的端到端系統可能完全依賴神經網絡，通過視頻流直接生成指令。
不過，實現這一目標需要時間，因為要逐步建立系統并處理各種中間預測。即使在端到端系統中，中間表征和特征檢測器仍然重要，它們可以簡化最終系統的設計。
訓練一個龐大的神經網絡進行端到端駕駛時，監督信號不足是一個挑戰。因此，中間層的表征和檢測器能幫助解決這個問題，使端到端訓練更可行。
盡管我不是這個團隊的一部分，我相信特斯拉通過大量的預訓練可以逐步優化端到端系統。總體來說，特斯拉的逐步推進方法是合理且有效的。
Sarah Guo：你之前研究過特斯拉的人形機器人項目。我有很多問題，其中一個是，是否有技術或經驗的轉移？
Andrej Karpathy：幾乎所有東西都在轉移，我覺得很多人并沒有意識到這一點。
實際上，汽車本身就是一種機器人。而我并不認為特斯拉是一家汽車公司，這種看法其實有些誤導。特斯拉更像是一家機器人公司，尤其是在大規模生產機器人方面，因為規模化是個獨立的變量。
他們不僅僅是在制造某一件產品，而是在制造生產這件產品的機器，這也是一種完全不同的能力。所以，特斯拉就是一家規模化的機器人公司。
從汽車到人形機器人之間的技術轉移，其實并沒有那么困難。
事實上，早期版本的機器人“擎天柱”一度以為自己是輛汽車，因為它使用了同樣的計算機和攝像頭。
非常有趣的是，我們在機器人上運行的是汽車的算法，而它卻在辦公室里四處移動，試圖識別可駕駛的空間，但實際上它面對的是步行空間。雖然有些細微的調整需要做，但基本上，它在開車的環境里運行，實際上只是在行走。
Sarah Guo：這么說的話，確實可以從一個機器人視角去思考這個問題。許多技術可以直接轉移，只是缺少了一些駕駛相關的數據和控制模塊。
Andrej Karpathy：沒錯，確實會缺少一些關鍵的組件。
但另一件讓我印象深刻的是，Optimus項目啟動的速度非常快。當Elon宣布這個項目時，所有相關的工具、CAD模型、供應鏈管理等就迅速到位了。這讓我意識到，特斯拉內部其實積累了大量制造機器人的專業知識。
所有這些工具其實是通用的，只是被從汽車項目中重新配置和調整了一下。你需要的硬件、規模化生產的工具，甚至是背后控制這些工具的大腦，其實都差不多。
所以，不僅是技術網絡的轉移，還涉及到各種工作方法的轉移。比如，標簽團隊的工作方式、協調方法，以及整個項目團隊的運作方式，這些都需要進行大量的轉移和調整。
Elad Gil：你有沒有想過人形機器人或類似技術的第一個實際應用領域是什么？
Andrej Karpathy：我認為，最初的應用領域應該是公司內部自己使用。我非常看好特斯拉，他們可能會采取這種方式。
如果公司能意識到第一個客戶是自己，那么可以在工廠內部進行項目孵化，處理如材料搬運等任務。這樣一來，就可以避免與第三方簽訂復雜的合同，省去法律上的麻煩。
在內部成功孵化之后，可以進入B2B市場，向擁有大型倉庫的公司推廣。這些公司需要處理材料搬運等任務，合同和安全措施也能就緒。
等到在多家公司內部成功應用后，才是進入B2C市場的時機。我相信我們會看到B2C領域的機器人出現，例如像Unitree這樣的公司也在推出令人期待的機器人。
Unitree推出的G1機器人
Sarah Guo：我現在有一個G1機器人。
Andrej Karpathy：我也可能會考慮買一個。未來可能還會圍繞這些平臺形成一個生態系統，人們會基于這些平臺進行開發。
雖然從規模化的角度來看，這種方法是有前景的，但在初期階段，主要還是處理材料搬運任務，之后再逐步向更復雜的高復雜性任務（HKC）發展。
其中一個讓我非常興奮的項目是“吹葉機挑戰”。我希望看到Optimus機器人能在街上像踮著腳尖一樣小心翼翼地撿起每一片落葉，這樣我們就不再需要那些噪音大的吹葉機了。
我覺得這是一項很有前景的任務，也希望這是最早的應用之一。
Sarah Guo：我們可以聊聊人形機器人的設計邏輯嗎？最簡單的說法是：世界是為人類設計的，所以如果你制造一套硬件，最合理的做法就是讓這個模型在這套硬件上完成越來越多的任務。另一方面，有人認為，人類并不是在所有任務中的最佳選擇。你可以讓它們更強壯、更大或者更小，那為什么不嘗試做一些超越人類能力的事情呢？你怎么理解這個問題？
Andrej Karpathy：我覺得人們可能低估了每個平臺的固定成本的復雜性。實際上，每個平臺都有很高的固定成本，因此集中化、讓一個平臺能夠處理所有任務是非常有意義的。
此外，人形設計也很吸引人，因為人類可以輕松操作它，這在數據收集方面也非常有幫助。我認為這一點經常被忽視。
你提到的世界為人類設計的因素當然也很重要。我認為我們會看到一些人形平臺的變體，但每個平臺的固定成本都是巨大的。
另外一個重要因素是多任務學習。我們希望有一個能夠處理多種任務的單一神經網絡，從中獲得所有的智能和能力。
這也是語言模型如此有趣的原因之一，因為它們在統一的文本領域中處理多種任務，不同的問題之間共享知識，都結合在一個單一的神經網絡中。
你需要這樣的平臺。希望為葉子撿拾收集的數據能對其他任務也有幫助。如果你為特定任務構建專用系統，就不能從其他任務中獲得遷移學習的好處。
Sarah Guo：我聽說G1的價格大約是3萬美元，對吧？但似乎很難在特定預算下制造出一個功能非常強大的仿人機器人。如果你想在輪子上裝一個能做事的手臂，也許一開始用更便宜的方法來實現一個通用平臺會更實際。
Andrej Karpathy：這個觀點很有道理。你可以在上面裝一個輪子來替代腳。
我不確定這種做法是否會降低機器人的效果，但我覺得選擇一個平臺，讓它在長期使用中表現出色是非常重要的。
另外，人形機器人也有一種心理上的優勢，因為它們看起來更熟悉，人們更容易理解和互動。
不過，這也可能帶來恐懼感，人們可能更喜歡更抽象的設計。我不確定是否會出現某種“真正的怪物”，但這確實是一個有趣的問題。
Elad Gil：你認為實現這一未來技術里程碑還缺少什么？
Andrej Karpathy：我不確定自己是否有一個完全清晰的視角來解答這個問題。
不過，有一個有趣的方面是，在人體形態的設計中，下半身可能需要模仿學習，因為它涉及大量的鐘擺式控制和類似的技術，而上半身則需要處理遠程操作、數據收集和端到端的訓練。因此，整體來看，這些系統之間的互動變得非常復雜。
在初期階段，我預計很多工作將依賴于遠程操作，從地面開始模仿，這可能會在95%的情況下有效。
接下來，討論人與機器人之間的比例時，人們可能會逐漸轉變為機器人的監督者，而不是直接完成任務。這個過程將隨著時間推移逐步發生。
至于技術上的障礙，我不確定是否有某一件具體的事情阻礙了我們。
我覺得目前很多工具都已經可以使用。像Transformer這種技術就像是一種美麗的組織結構，只需要將數據以正確的形式輸入，然后進行訓練、實驗、部署和迭代。
這些過程確實繁瑣，但我不清楚是否有單獨的技術問題在阻礙我們的進展。
Sarah Guo：我們現在所處的狀態是怎樣的？
Andrej Karpathy：我們目前的狀態非常好。我覺得大家可能還沒有完全理解Transformer的真正神奇之處。它不僅僅是另一個普通的神經網絡，而是一個非常通用且強大的網絡架構。
舉個例子，當人們談論神經網絡中的“Scaling Law”時，這個法則實際上在很大程度上是Transformer的特性。
在Transformer出現之前，人們使用的是LSTM（長短期記憶網絡），將其層層堆疊，但卻無法得到清晰的Scaling Law。LSTM的訓練效果也不理想，而Transformer則徹底改變了這一點。它是第一個能夠真正體現Scaling Law的架構，一切都變得更加合理。
可以說，Transformer就像是一個通用的“可微分計算機”（differentiable computer）。
你可以向它輸入、輸出大量數據，利用反向傳播進行訓練。它可以自我組織起來，完成任務。我認為這是我們在算法領域無意中發現的一個神奇現象。
其中當然有一些關鍵的創新，比如殘差連接（residual connections）、層歸一化（layer normalization）和注意力機制（attention module）。
同時，它也避免了一些常見的飽和性非線性（如早期神經網絡中的激活函數），因為這些會削弱梯度信號。于是，幾項重要的創新組合在一起，形成了Transformer。
谷歌的論文展示了這一點，這種架構真正可以有效訓練，而且你會發現它可以輕松實現Scaling Law。可以說，這是一項重大的突破。
Sarah Guo：感覺我們還沒有真正達到發展的極限，我想討論“數據墻”問題，以及未來一代產品的成本和規模會有多高。你對此怎么看？
Andrej Karpathy：這正是我們現在面臨的核心問題。我不認為神經網絡的架構會阻礙我們進一步發展，至少它已經不是瓶頸了。
在前幾代模型中，Transformer確實是一個瓶頸，但現在情況不同了。所以我們現在更多討論的是：該使用什么損失函數？數據集在哪里？這些問題逐漸成為了新的瓶頸。
其實，神經網絡的結構已經比較成熟，很多公司和使用這項技術的人已經不再關注Transformer的架構創新。
比如，Llama發布的Transformer架構也沒有太大變化，唯一的顯著更新就是增加了“繩索位置編碼”。其他方面的改進，像是一些小的調整，可能總共也只帶來了3%左右的性能提升。
所以，從架構角度看，過去五年里沒有太多革命性的變化，大家現在已經把它視為理所當然，直接使用并進行訓練。
現在，大部分的創新都集中在數據集和功能細節的優化上。這是目前行業內活躍的討論和改進領域。
Sarah Guo：對吧？但在數據獲取方面也有很多爭論。當我們能夠輕松獲取互聯網數據時，問題不大，但一旦這些數據不再可用，情況就復雜了。比如，合成數據或者更昂貴的數據采集方式成為了現實中的挑戰。
Andrej Karpathy：是的，這確實是個好問題。現在，很多工作都在語言模型（LMS）上進行。
而互聯網數據并不是我們理想中的Transformer訓練數據。它就像是一個“近鄰”，能讓你走得很遠，效果出乎意料地好。
但說到底，互聯網數據本質上就是一堆網頁，而我們真正想要的，是更接近人類大腦中的“內心獨白”那種數據。
Sarah Guo：對，這正是我們的思路——捕捉大腦中的軌跡，思維的軌跡。
Andrej Karpathy：當你在解決問題時，你的大腦會產生一系列思維軌跡。如果我們能得到上億條這樣的數據，類似于AGI的想法，那我們就能取得很大進展。但目前我們還沒有達到這個水平。
所以，現在很多工作都圍繞著互聯網數據展開。這些數據雖然不是完美的，但已經非常接近，因為互聯網上有足夠的推理痕跡和豐富的知識，而Transformer的作用就是讓這些數據得以有效利用。
我認為，接下來很多工作將聚焦于如何將數據集重構為更類似于“內心獨白”的格式。合成數據的生成在這方面能提供很大幫助。
有趣的是，當前的模型在很大程度上幫助我們構建下一代模型。它就像在攀登樓梯，一步步向前推進。
Elad Gil：你覺得合成數據在這一過程中有多大的作用？合成數據能帶我們走多遠？因為是的，每一代模型的訓練都會幫助我們改進下一代模型，提供更多工具、數據標簽，甚至生成部分合成數據。你認為這些合成數據片段的重要性有多大？
Andrej Karpathy：是的，我認為合成數據的確是我們進步的關鍵之一，但一個常見的問題是，模型在生成內容時可能出現“坍塌”現象，輸出變得單一。
比如，讓ChatGPT講笑話時，它可能只會重復三四個笑話，缺乏足夠的變化。這種“熵”降低現象表現在單個結果上并不明顯，但從整體來看，模型的輸出會失去多樣性和豐富性。
如果你沒有保持這種“熵”——即數據的隨機性和多樣性——你就會得到一個貧瘠的數據集，失去了原有的活力。這種問題在表面上不易察覺，但實際上它會極大影響模型的性能。
因此，在生成合成數據時，你必須非常小心，確保數據集中保留足夠的熵。
有些人發布過虛擬人物數據集，里面有上億個性化的背景資料，類似于虛構的人物檔案。
比如“我是一個老師”或者“我是一個藝術家”，這類背景設定。通過這種方式，你不僅僅是在完成一個任務，還在逼迫模型探索更多可能的空間，從而增加了數據的多樣性。
總的來說，我認為合成數據在未來會占據非常重要的地位，我們不會面臨數據枯竭的困境。但在使用時需要非常小心，確保數據集保持足夠的豐富性和多樣性。
Sarah Guo：你認為我們從這項研究中對人類認知了解了什么？比如，弄清楚我們推理的方式，是否真的能幫助我們更好地理解大腦的工作原理？
Andrej Karpathy：我會對這種類比保持謹慎。總體而言，這兩者還是有很大差異的，但確實有一些相似之處。
舉個例子，我覺得在很多方面，Transformer比人腦更高效。它們之所以還不如人腦，主要是因為數據問題——這算是一個大概的解釋。
比如，Transformer在記憶序列方面比人類強多了。你給它一個序列，它可以在前后進行操作，記住并完成整個序列。而人類，只看一遍是記不住的。
所以在某些方面，像Transformer這樣的模型，尤其是在梯度優化上，可能比大腦還要有效。盡管它們還不完美，但在很多認知任務上，我認為它們有很大的潛力。
Sarah Guo：只要有足夠的數據輸入，它們就會表現得更好。
Elad Gil：是的，這是計算機的典型優勢，在某些應用上，它們比人類更擅長。
Andrej Karpathy：沒錯，尤其在記憶方面。人類大腦有很多限制，比如工作記憶容量非常小。而Transformer有更大的工作記憶，并且是更高效的學習者。
人類大腦在很多環境和生物限制下工作，比如人類沒有類似于反向傳播的機制，這本身就不直觀。人腦是一個復雜的動態系統，受到很多約束。
而我們現在的AI系統在某些方面可能已經比大腦更好，只是還沒達到大腦的整體水平。
Sarah Guo：你離開了OpenAI，現在從事教育工作。是什么讓你對教育如此熱衷？
Andrej Karpathy：我一直對學習和教學充滿熱情。這不僅是我長期以來的興趣，還因為我認為AI的目標不僅是自動化，更是賦予人們更多能力。我希望AI能幫助人們提升自我，而不是僅僅取代工作。如果能有理想的課程和導師，人們的成長會更快。
Elad Gil：80年代的研究表明個性化輔導能提高成績。AI要如何發揮作用？初期可能會出現什么產品？
Andrej Karpathy：我受到了這些研究的啟發。
現在，我在嘗試建立一個類似的課程，希望它能像你想學習AI那樣提供幫助。問題在于如何將這些課程擴展到全球80億人，他們有不同的語言和能力水平。
與每個人一對一的授課是不現實的。因此，我認為AI可以用來模擬優秀的教師。
雖然現有的AI模型可能還不足以創建完美的課程，但它們可以作為學生的前端，為他們解釋課程內容。老師將專注于設計課程內容，而AI則負責與學生互動，支持多種語言，并引導他們完成學習過程。
Eureka Labs計劃推出的第一門AI課程
Sarah Guo：我應該把這看作是類似于AI作為前端的經歷嗎？這種類比是否適用？
Andrej Karpathy：是的，我認為AI可以作為學生的前端，實際與學生互動并引導他們完成課程，只是目前還沒有完全實現。
隨著時間的推移和技術的進步，這種設置可以不斷優化。很多公司可能對現有AI能力的理解還不夠深入，導致他們構建的工具可能過于前瞻或不夠實際，但AI在教育中的潛力非常令人興奮。
Sarah Guo：我們還未完全利用好學習工具，你認為如果我們使用更多工具和課程，人類能否變得更好？
Andrej Karpathy ：確實如此。我們還沒有完全意識到可能性有多大。我認為有兩個關鍵維度：一是全球化維度，希望每個人都能接受優質教育；另一個是個體能力的提升。兩者都非常有趣且令人興奮。
Elad Gil：一對一學習通常強調適應性，特別是如何根據每個人的學習水平調整。你認為現在的AI能做到這一點嗎，還是這還是未來的事？目前的AI主要關注影響力和多語言支持。
Andrej Karpathy：AI確實在翻譯和處理材料方面非常擅長，這些功能已經很強大。
但對于個性化適應性，AI現在還處于起步階段。盡管當前的模型在某種程度上能夠根據背景進行調整，但真正高效的適應性還需要進一步發展。
例如，如果你對某個學科有背景，AI能夠類比你已有的知識，這在教育中會非常有用。雖然我們看到了一些進展，但真正的有效性還有待提高。雷峰網雷峰網(公眾號：雷峰網)
Elad Gil：適應性學習的關鍵是調整內容以匹配學習者的背景和能力水平。隨著時間推移，可以調整模型以適應學習者的優缺點。你怎么看待這種情況？
Andrej Karpathy：目前，我們看到的更多是演示效果，而真正的產品還遠未成熟。適應性學習在理論上接近，但在實際應用中仍有很多挑戰。
Elad Gil：非常感謝，今天的討論很精彩。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
