編輯 | 叢末
不知道是不是連鎖反應，自從Yann LeCun被眾“杠精”逼退推特，整個機器學習社區就彌漫著“有毒”的氣息。
這不，今早一位資深的reddit社區網友細數了機器學習社區有毒的現象，從同行評審說到了論文復現，從“大佬”崇拜說到了 LeCun的有毒反彈，也提到了AI道德的倫理問題以及論文發表的“你死我活”現象。最后也點出了當前機器學習社區的不尊重現象，例如Schmidhuber說Hinton 是小偷，Gebru說LeCun有性別歧視。在討論中沒有人心平氣和，每個人都在到處攻擊。然而，每個人都是受害者。以下是這位網友的內心獨白，以信件的形式展現在reddit社區，AI科技評論做了編譯：首先是，同行評審模式已經崩潰。例如，第四屆NeurIPS要求，所有提交的論文都要放到了arXiv上，還有DeepMind的研究人員公開對質那些給他們ICLR論文“差評”的評審員。盡管評審員已經表示拒收，但知名機構提交到arXiv的論文仍然在頂會中被接收。反之亦然，評審委員也會斃掉一些評審過程中“好評度”非常高的論文。（我不想提到任何名字，只需看一下今年ICLR的openreview頁面即可）。其次，論文存在復現危機。如今，在測試集上調整超參數似乎已成為標準做法。未能超越SOTA的論文在頂會上被接收的機會幾乎為零。所以，這導致研究員轉換了轉換了研究風向：對超參數進行調整，實現一些細微的技巧，并期望性能的提高。第三，存在“大佬”崇拜問題。來自斯坦福或DeepMind等知名機構的每篇論文都被視為是一項突破。例如，BERT被引用的次數是ULMfit的七倍。加持Google背景的論文可以提供相當多的信譽和可見度。在每次ICML會議上，無論工作內容如何，每一篇DeepMind poster論文前都有很多人圍觀。在線上ICLR 2020上的Zoom會議上也發生了同樣的事情。此外，NeurIPS 2020的提交量是ICML的兩倍，即使這兩個都是頂級ML會議。為什么？為什么“神經”這個名字如此受歡迎？還有，Bengio、Hinton和LeCun確實是深度學習的先驅，但稱他們為AI的“教父”則是瘋狂的行為，這已經達到了宗教崇拜的程度。第四，Yann LeCun談論偏見和公平話題的方式實際上并不敏感，但是，卻遭到了超出合理范圍的惡意攻擊，LeCun的沉默也不會解決任何問題。第五，機器學習和整個計算機科學領域都存在嚴重的多樣性問題。在我們大學的CS系中，只有30％的本科生和15％的教授是女性。對于女性而言，在博士或博士后期間休育兒假通常意味著學術生涯的結束。但是，這種缺乏多樣性的現象經常被濫用為借口，用來使某些人免受任何形式的批評。限制關于種族和性別的科學討論中的負面評論造成了有毒的環境。人們變得害怕，害怕被稱為種族主義者或性別歧視者。然而，這反過來加劇了多樣性問題。第六，社區的道德和倫理環境非常隨意。僅僅因為沒有在文章中提到研究人員，就發生了很多激烈的討論。同時，幾乎所有有價值的ML討論都將超過10億人口的非洲排除在外（一些Indaba研討會除外）。第七，有一種刻板的不發論文就“狗die”的心態。如果每年不發表5篇以上的NeurIPS / ICML論文，那就是looser。研究小組已經變得如此龐大，以至于項目負責人甚至都不知道每個博士生的名字。某些人每年向NeurIPS提交50篇以上的論文。撰寫論文的唯一目的已經變成在簡歷中再增加一篇NeurIPS論文。質量是次要的，通過同行評審已經成為主要目標。最后，討論變得不禮貌。Schmidhuber稱Hinton為小偷，Gebru稱LeCun為白人至上主義者，Anandkumar稱Marcus為性別主義者。每個人都受到攻擊，但沒有任何改善的跡象。Jürgen Schmidhuber曾經引用 200 多條文獻來逐條反駁 ACM 給予Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun的圖靈獎的理由，指出獲獎者并沒有引用之前研究者的工作，包括LSTM、CTC、CNN、dropout、GAN等技術。Yann LeCun曾經和Timnit Gebru在推特上討論機器學習系統中的偏見來源問題，卻因為問題的敏感性和直言不諱的說話方式被暗示是種族主義者甚至是性別歧視者，導致他后來失望退出推特。即便是愛因斯坦，也曾經極力反對如今已被普遍接受的量子力學理論，我們可以停止妖魔化那些不同意我們觀點的人嗎？由于他人的惡意攻擊或壓制而使我們沉默的那一刻，就是科學和社會進步消亡的開始。此“信件”發在reddit上之后，引起了網友的熱烈討論，6個小時瀏覽閱讀量達到了1.2K，是近幾個星期的話題活躍度之首。網友評論的風向還算一致，大多都同意作者羅列的這些有毒現象。另外，還有網友額外補充了其他有毒現象，例如糟糕的政治。還有網友將此現象延伸到了其他學科，例如物理學。100％同意。不太知名的研究人員真正有趣的研究通常只有1-2條評論，我感到很氣憤。同時，ML名人隨便一條推文都有300 -500條評論。早在2017年，NeurIPS就拒絕了我已經實現并發現非常有效的一種非常新穎的語言建模方法。（不是我的論文。）NeurIPS基本上接收了FAIR或DeepMind的所有NLP論文，甚至是那些聲稱僅歸因于網格搜索的微不足道的改進，以及那些明顯夸大其成就的論文。閱讀評審員的評論后，我不由自主地顫抖著：匿名審閱者在同一家公司工作。我可以證明：機器學習論文不發表就出局的心態很普遍，雖然我不是機器學習研究人員，但經常有機器學習社區的小伙伴問我發表論文的會議接收率是多少。仿佛他們和我生活的不是同一個星球。我完全同意第三點.......但是Bert確實讓模型訓練變得容易了，作者在模型的可用性上做了很多的努力。同意大部分，但是有點小問題。投稿期間公開論文、論文復現、大佬崇拜這些問題確實存在，但是論文數量、多樣性等其他問題，其實并沒有很嚴重。當前的問題是論文放在arxiv上面的太少了。要是都放上去....就像數學和物理領域一樣，這會使得社區更健康。“我是化學工程領域的，你說的這些現象其實在我的研究領域里也有，這是學術界普遍的問題。其實這些問題的根源在于大家論文發表的壓力太大了。”我進入科學研究是因為我原本認為這里是公平的，結果卻大相徑庭。這不是最近的現象，而且不僅僅是ML。只要學術系統按其方式運作并受到看門人和具有不良激勵作用的機構的保護，這將永遠不會改變。你能做什么？只有以身作則，不要在規則里玩，退出吧，去做獨立研究。不要被行業的競爭態勢驅使，去做真實的東西。從內部對系統進行改革非常困難。當足夠多的人決定完全退出系統并建立具有臨界價值的替代方案時，改革就來了。這份有毒“指南”直接嚇退了準備入坑機器學習項目的小白~當然，下面眾多網友跟帖安慰他：有毒現象只是少數，大多數情況下，機器學習研究領域還是非常和諧的。https://www.reddit.com/r/MachineLearning/comments/hiv3vf/d_the_machine_learning_community_has_a_toxicity/
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
