0
ICML作為國際機(jī)器學(xué)習(xí)大會在一些學(xué)者心中的地位很高，不僅因為它是所謂的頂會，更因為它在論文評審方面所做的一些開創(chuàng)性的工作。
比如去年率先提出要提交代碼，今年又率先提出要規(guī)范實驗步驟，這些舉措讓大家看到了，它的確是這個領(lǐng)域的引領(lǐng)者。
（雷鋒網(wǎng)）
為了對新手投稿人友好，今年的ICML還公開了審稿人對每篇論文要填寫的表格，讓新手了解一下評審們都會怎么打分。
越來越完善的機(jī)制，讓ICML2020投稿量已經(jīng)超過6000，對比去年總投稿量的3424篇，增幅接近一倍。但是投稿要求的嚴(yán)格加上越來越多的論文投稿數(shù)量，并不代表著科研的普及，據(jù)一位“資深”審稿人在reddit上爆料，有些投稿論文的狀態(tài)是“未完稿”。
也就是說，有些“學(xué)者”論文還沒寫完，就已經(jīng)將論文投出去讓評審打分。注意，不是沒有潤色，而是論文該寫的部分沒有寫完！
這位審稿人在reddit上講述了他的內(nèi)心獨白，表示他審閱的論文投稿中超過一半沒有完稿，而他們審稿人卻要花費6-7個小時甚至10個小時以上來審閱一篇這樣的稿件，這對審稿人未免也太不尊重了！
這位審稿人自白全文如下（AI 科技評論編譯）：
我知道很多投稿作者將在未來幾周內(nèi)收到ICML的投稿反饋——并且大概率是拒稿反饋。我知道作者們收到拒稿反饋會一時難以消化，我感同身受，因為我也像大家一樣也投了稿并且也可能收到拒稿通知。
但是，作為一位在本周內(nèi)已經(jīng)花了20至30個小時在審稿上且有可能還需要再花上30至40個小時審稿的審稿人，我在這里懇請大家：
停止向大會提交未完稿的論文！
關(guān)于這一點，我現(xiàn)在審閱的超過一半的投稿都是未完稿的論文，它們都存在非常明顯、不容反駁的錯誤，相信是個正常人都難以相信這樣的論文會出現(xiàn)在頂級會議的同行評審中。也沒有正常人會把這些投稿與去年 ICML 收錄的甚至最差的論文放在一起比較，更不會認(rèn)為前者比后者的質(zhì)量差不多或者更高。
在提交論文之前，請花點時間請你的同行或者導(dǎo)師提前審閱一遍論文。如果他們發(fā)現(xiàn)了任何錯誤，我向你保證，審稿人也同樣能發(fā)現(xiàn)這些錯誤，然后給你一個傷人、令人沮喪的評論反饋。
我發(fā)現(xiàn)我們正處于一個巨大的炒作泡沫中，我們都想趕上這趟熱門的火車，然而當(dāng)我審閱到這些未完稿的論文時，我感受到了來自作者的不尊重。
這些作者顯然是在等著早期評審階段的反饋。不過這對于會議系統(tǒng)和同行評審流程來說并不公平，要求審稿人為你們的論文提進(jìn)行“無償”工作，還要指導(dǎo)你們?nèi)绾螛?gòu)建和呈現(xiàn)你們的工作。把你們的審稿人當(dāng)做免費勞動力也太不公平。
我審一篇論文至少要花費6至7個小時，多的時候要花費我10個多小時。這10個多小時消耗的也是我生命中的10個多小時啊，難道這些作者認(rèn)為他們有權(quán)利讓我花費這些時間來幫助他們發(fā)表研究工作嗎？這讓我感到非常不受尊重，老實說，如果這些論文就是我期望審閱的投稿的質(zhì)量，我都想要放棄申請成為一位審稿人了。
這些作者不僅自私，他們也在損害整個研究社區(qū)、會議質(zhì)量以及同行評審流程。越來越多未完稿的論文被提交，這也意味著審稿人將面臨更高的審稿負(fù)荷。如果我們不再花這么多時間來審閱每一篇論文，也就意味著好的、值得品讀的論文也會被“一帶而過”，可能被不公平地拒稿、或者得到非常糟糕的反饋。這是令人難以接受的！
老實說，這些作者的行為，跟那些在流行病期間囤積廁紙的人如出一轍。他們自私的行為損害了社區(qū)，將他們自身凌駕于研究過程和其他提交了好論文的作者之上。
懇請大家不要再這樣做了！請?zhí)峤煌旮宓摹?yōu)秀的、你認(rèn)為已經(jīng)準(zhǔn)備好接受同行評審和發(fā)表的論文！
帖子一發(fā)到reddit上，立即引起了網(wǎng)友們的討論，討論的焦點在于6-7個小時審稿一篇未完稿的是否意味著浪費、這些投稿者的動機(jī)是什么以及呼吁機(jī)器學(xué)習(xí)社區(qū)的學(xué)者“謹(jǐn)慎”發(fā)表論文。
（雷鋒網(wǎng)）
大意是：你審稿花費的時間太多了，對于“未完稿的論文”應(yīng)該簡要總結(jié)2~3個缺點，然后不要內(nèi)疚的拒絕，最多花費1個小時，那么如何總結(jié)論文缺點，這是一個練習(xí)：)
（雷鋒網(wǎng)）
為作者做文獻(xiàn)搜索的行為是值得稱贊的，但你只需要舉一個例子來說明這方面的弱點即可。為未完稿論文付出這么多時間不值得~
一些人發(fā)表論文不是為了推動社區(qū)進(jìn)步，而是僅僅為了增量，這些人失去了尊重。
對此領(lǐng)域越來越多的參與，是好的，也是不好的╯﹏╰
那些人可能想要得到一些專業(yè)反饋，從而改進(jìn)他們的論文，然后在提交給下一次會議。
機(jī)器學(xué)習(xí)社區(qū)的人都有資格投頂會，占用議組織者的時間和努力么？研究生一年級的學(xué)生，大多是對已有的模型修修改改，發(fā)表在Arxiv上的論文大多數(shù)都有一些標(biāo)簽錯誤、數(shù)學(xué)錯誤......
其實完稿和未完稿之間劃線的標(biāo)準(zhǔn)不是很清楚......
論文未完稿便投稿其實已經(jīng)在一定程度上，已經(jīng)是一個“小流行”，據(jù)在reddit上吐槽的那位審稿人而言，在他接到的審閱任務(wù)的論文中，有一半是未完稿的。嗯，一半，也就是占比50%......
另外，AI科技評論在搜索引擎上，搜索了一下，在“百度知道”上，已經(jīng)有了相關(guān)的問題詢問。而在知乎上，已經(jīng)有一些關(guān)于“是先潤色，還是先投稿”的問答！
這意味著，有未完稿論文就投稿的想法研究員們不在少數(shù)。那么，這些“研究者”基于什么樣的原因，有勇氣把未完稿論文投稿呢？
首先，頂會投稿的門檻越來越低，從金錢成本上來講，投稿成本也是基本免費的，所以也方便了作者們把同一篇論文反復(fù)投不同的會議。
如何杜絕會議論文質(zhì)量參差不齊，給會議投稿設(shè)置門檻是很好的方法，比如周志華建議會議收取10美元投稿費，論文被錄用就用來抵扣注冊費，沒被接收就貢獻(xiàn)作為學(xué)生參會的旅行資助。
不要小看這10美元，它能隔絕大部分隨意的、個人的投稿行為，畢竟如果把沒完成的論文投稿，就相當(dāng)于白扔10美元。
在老師層面來講，絕大多數(shù)不會允許學(xué)生將未完稿的論文投稿，畢竟稍微有審稿經(jīng)歷的老師都會對這種態(tài)度深痛惡絕！所以這10美元，學(xué)生得不到報銷！
上圖評審示例是ICLR 的已公開評審結(jié)果，評審給一篇拒絕論文的意見更加充分。
另一個審稿的時候出現(xiàn)未成稿的原因是，大部分投稿人想撈一些專業(yè)的審稿意見，能夠幫助他改進(jìn)論文，方便下一次投稿。在AI類的頂會圈里，大多數(shù)會議都會要求評審員給出專業(yè)的2~3條評審意見，加上還有rebuttal環(huán)節(jié)，一些“論文初學(xué)者”能夠得到專業(yè)的指導(dǎo)意見。
出現(xiàn)這種現(xiàn)象的最后一個原因是，學(xué)生有普遍抽獎心理：評審老師會不會“眼瞎”，就給通過了~~~~~
對于此現(xiàn)象，AI科技評論特地采訪到了在頂會審稿方面擁有豐富經(jīng)驗的阿德萊德大學(xué)助理教授吳琦，他結(jié)合自身經(jīng)歷分享了自己的一些看法，相信會給論文投稿作者以及研究社區(qū)一些啟發(fā)。
問：您如何看待投稿者沒有完稿就投稿的這一現(xiàn)象？
吳琦：這個要看對沒有“完稿”的定義是什么，是文章質(zhì)量不夠高？還是文章明顯沒有完成，比如缺少非常核心的方法描述，實驗證明，或者出現(xiàn)大量的 typo和錯誤等等。
前者會有一定比例，但是審稿人和AC的工作正是找出這些質(zhì)量不夠高的文章，提出問題和建議。我們沒有辦法期望所有投稿的文章都是質(zhì)量非常高、沒有絲毫瑕疵的，無論這個會議和期刊的整體質(zhì)量有多高。
如果是后者，那確實會造成審稿人資源的浪費，畢竟審稿人在做志愿性質(zhì)的工作，大家更期望看到一個起碼是看起來“完整”的工作。當(dāng)然，以我個人的經(jīng)驗，在聲譽(yù)比較好的會議中，這個比例還是相對比較低的。拿計算機(jī)視覺三大會來說，我前后審過應(yīng)該有100多篇，質(zhì)量不高的很常見，但是像后者所謂“未完稿”的，起碼我遇到的屈指可數(shù)。
當(dāng)然，隨著這些會議投稿量越來越大，不排除后面會遇到更多這樣“未完稿”的論文，比如我今年在CVPR審稿中 ，遇到一篇只寫了6頁的投稿（規(guī)定最長是8頁），就屬于后者——文章中的錯誤非常多，方法描述不清晰甚至有錯誤，有的圖甚至連標(biāo)題都沒有，這就屬于明顯的“未完稿”。
一般來說，投稿前，作為指導(dǎo)老師，都會對投出去的文章把把關(guān)，畢竟學(xué)術(shù)領(lǐng)域里，大家最關(guān)心的還是自己的名聲。能力可能有高低，文章質(zhì)量也會有高低，但是大家對頂會的敬畏，應(yīng)該是保持一致的。
問：審稿過程中，對一篇論文是否完稿有判斷標(biāo)準(zhǔn)么？如果僅僅是論文缺少某個實驗、僅僅缺少定義是否會被判定為“未完稿”論文？
吳琦：不同的審稿人可能會有不同的標(biāo)準(zhǔn)，有些實驗和定義可能不是必須的，或者是已經(jīng)有的可以直接引用，那我認(rèn)為這種明顯不能算“未完稿”。而且一般來說，會議文章都有比較嚴(yán)格的頁數(shù)限制，確實沒有辦法把所有定義和實驗全部呈現(xiàn)出來，作者只能呈現(xiàn)最重要的。
而對于核心的方法描述，證明文章核心論點的實驗，確實不能少。比如，我在評審一篇文章時，對方法部分的要求是，看完方法部分，我是否能夠利用文章中呈現(xiàn)出的信息，自己去實現(xiàn)，如果可以，那說明作者寫的是完整而清晰的。對實驗部分，會去看實驗中的數(shù)據(jù)是否可以支撐作者在摘要和引文中提出的觀點。
如果這些關(guān)鍵方法和實驗都有，我會認(rèn)為這個文章是完整的，作者態(tài)度是認(rèn)真的。至于文章好壞，那是另外一個事情了，比如要看貢獻(xiàn)是否新穎和重要，對社區(qū)理解某個問題是否有幫助，方法是否有效等等其他很多很多方面了。
問：就您的自身經(jīng)歷或了解到的情況來看，審閱一篇“壞”論文，花費的時間是否比審一篇好論文更長？
吳琦：其實不會，最好和最壞（比如“未完稿”）的論文都是比較好審的，好文章優(yōu)點一目了然，讀起來如沐春風(fēng)。壞文章缺點也是顯而易見，讀起來晦澀可笑。而最花時間的其實都是介于兩者之間的文章，優(yōu)缺點都有，但是都不大，需要去花時間衡量。
問：在您看來，投稿作者未完稿便投稿的原因或者說動機(jī)有哪些？會帶來哪些負(fù)面影響？
吳琦：原因就是大家普遍認(rèn)為文章中或不中是有隨機(jī)性的，和文章質(zhì)量不是強(qiáng)相關(guān)，其實這是一種錯覺。
我認(rèn)為絕大部分中了的文章都是有可取之處的，當(dāng)然也不排除有些質(zhì)量很低的文章由于各種原因被接收的，這會是一個惡性循環(huán)，大家可能確實看到了一些質(zhì)量不高，甚至是質(zhì)量很低和“未完稿”的文章也中了頂級會議和期刊，所以大家就都去投，都抱著“我也去試試”的心態(tài)去投，這樣的結(jié)果就是真的有可能會有越來越多的“未完稿”文章被接收，然后又是越來越多的“未完稿”式的投稿。
問：要想改善此現(xiàn)象，您有哪些建議？（例如投稿論文收費？）
吳琦：這個是大佬們?nèi)ド塘康膯栴}，我這種后生不敢大放厥詞。不過我覺得投稿收費不可取，便宜了，沒人在乎，該投還是投；貴了，確實也不現(xiàn)實。
最近的會議都或多或少有些嘗試，比如IJCAI的“早期拒絕”，本意就是改善這種現(xiàn)象，我個人倒是覺得再打磨幾輪，應(yīng)該是能起到作用的。整個社區(qū)，也確實沒法接受動不動10000+的投稿和審稿量了。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
本專題其他文章
