0
| 本文作者： nebula | 2024-06-07 14:12 |
近日，國際機器學習大會披露了2024國際機器學習大會（ICML2024）收錄的論文。本屆會議共有9473篇有效論文投稿，創(chuàng)歷史新高，組委會最終錄用了2609篇，接收率為27.5%。
國際機器學習大會是全球機器學習領域的權威會議，迄今舉辦了41次會議。組委會成員來自卡內基梅倫大學、劍橋大學、谷歌、蘋果等世界名校及全球知名科技企業(yè)。今年的國際機器學習大會將于7月21日～27日在奧地利維也納舉辦。
據(jù)了解，螞蟻集團此次有11篇論文入選，覆蓋圖機器學習、網(wǎng)絡/信息安全、人工智能、計算機視覺等多個人工智能和機器學習領域的前沿主題。論文試圖改進和優(yōu)化的技術問題，則聚焦在提高AI的經(jīng)濟性和可靠性上。
提高AI的經(jīng)濟性，主要看是否能把大模型做“小”，是否能持續(xù)工程提效，以及是否能持續(xù)度量和優(yōu)化綠色指標，這決定大模型應用能否能成為主流。
《基于關鍵點的漸進式思維鏈蒸餾方法在大語言模型（LLMs）中的應用》正是一個把大模型做“小”的研究。該文提出了一種名為KPOD的新蒸餾方法，這是一種機器學習技術，能將大而復雜的模型（教師模型）所學到的知識遷移到一個小而簡單的模型（學生模型）中，以大大減少模型的規(guī)模和計算成本，同時盡可能保留原始模型的性能。研究團隊以GPT-3.5-Turbo作為教師模型，以LLaMA-7B和Flan-T5系列模型作為學生模型進行思維鏈蒸餾，結果表明，相較現(xiàn)有模型蒸餾技術，KPOD能將推理準確率提升5%。
《關注邊界：基于重構決策邊界的核心集選取》提出了一種新的核心集構建方法，首次在ImageNet-1K數(shù)據(jù)集上實現(xiàn)了使用50%的數(shù)據(jù)訓練，但是精度損失不超過1%。
還有幾篇論文就如何提高AI在計算、訓練、推理等過程中的效率，提出了新的技術解決方案。
《Ditto: 量化感知的Transformer模型安全推理》一文針對大模型密態(tài)推理場景展開了研究，以更高的效率實現(xiàn)密態(tài)數(shù)據(jù)類型的切換，進而帶來更優(yōu)的密態(tài)推理性能。實驗結果表明，Ditto可以在不顯著降低模型可用性的情況下實現(xiàn)推理效率的提升，性能相較最新工作提升約2～4倍。
《多源噪聲標簽下的自感知去噪方法》一文，從理論上分析了神經(jīng)網(wǎng)絡在面對多源噪聲標記時具備的對樣本級噪聲和源級標注質量的感知能力，進一步提出了一種名為自感知去噪的多源噪聲標簽學習方法，利用神經(jīng)網(wǎng)絡的自我認知能力在訓練期間進行去噪；并構建了一個選擇性蒸餾模塊以優(yōu)化計算效率。
《通過隨機微分方程統(tǒng)一貝葉斯流網(wǎng)絡與擴散模型》一文提出了一種新采樣方法 BFN-Solver，相比原始BFN采樣器實現(xiàn)了5-20倍的速度提升。
提高AI的可信性，則是要讓AI更準確專業(yè)、真實嚴謹、可控透明及安全可靠，終極目標是解決控制和“對齊”比人類聰明的模型。這對于AI在金融、醫(yī)療等嚴謹行業(yè)的落地應用尤為必要與重要。
《基于強化學習的檢索增強大語言模型可信對齊》一文針對檢索增強的大語言模型仍然會遭受幻覺困擾的問題，提出一種基于強化學習的算法“可信對齊”， 從理論上和實驗上證明了大型語言模型可以通過這種方法對齊到可信狀態(tài)，并將對齊的應用場景從滿足人類偏好擴展到創(chuàng)建可信的Agent等場合。結果表明，基于“可信對齊”的檢索增強大語言模型，無需人工標注，即可在natural question問答任務上帶來平均55%的EM提升和53%的記憶率降低。
公開信息顯示，此次被會議收錄論文的還有清華大學、復旦大學、上海交通大學、中國人民大學、騰訊、聯(lián)想等國內知名高校及企業(yè)。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
