0
| 本文作者： nebula | 2023-11-06 14:32 |
11 月 6 日，李開復博士帶隊創辦的AI2.0公司零一萬物正式開源發布首款預訓練大模型 Yi-34B，模型開放商用申請，已在阿里云魔搭社區ModelScope首發。魔搭第一時間推出了模型部署相關教程，供開發者參考并快速上手。
零一萬物此次開源的Yi系列模型包含34B和6B兩個版本。據 Hugging Face英文開源社區平臺和C-Eval中文評測的最新榜單，Yi-34B 預訓練模型取得了多項 SOTA 國際最佳性能指標認可，成為全球開源大模型“雙料冠軍”。
零一萬物創始人及 CEO 李開復博士表示:“零一萬物堅定進軍全球第一梯隊目標，從招的第一個人，寫的第一行代碼，設計的第一個模型開始，就一直抱著成為‘World's No.1’的初衷和決心。”
魔搭社區開源地址：
https://www.modelscope.cn/models/01ai/Yi-34B/summary
https://www.modelscope.cn/models/01ai/Yi-6B/summary
魔搭社區最佳實踐：
https://mp.weixin.qq.com/s/hy-ovRIkXGfv39RiNEHddw
Yi-34B 登頂全球英文及中文權威榜單 No.1
在 Hugging Face英文測試公開榜單Pretrained預訓練開源模型排名中，Yi-34B以70.72 分位列全球第一，碾壓 LLaMA2-70B 和 Falcon-180B 等眾多大尺寸模型。
Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜，Yi-34B高居榜首(2023 年 11 月 5 日)
在 C-Eval中文權威榜單排行榜上, Yi-34B超越了全球所有開源模型。對比GPT-4，在 CMMLU、E-Eval、Gaokao 三個主要的中文指標上，Yi-34B 也具有絕對優勢。
C-Eval 排行榜:公開訪問的模型，Yi-34B 全球第一(2023 年 11 月 5 日)
在全球大模型各項評測中最關鍵的 MMLU(Massive Multitask Language Understanding 大規模多任務語言理解)、BBH 等反映模型綜合能力的評測集上，Yi-34B 同樣表現突出，在通用能力、知識推理、閱讀理解等多項指標評比中全部勝出。
各評測集得分:Yi 模型 v.s. 其他開源模型
和 LLaMA2 一樣，Yi 系列模型在 GSM8k、MBPP 的數學和代碼評測表現略遜 GPT 模型。未來，零一萬物的系列開源計劃中將推出代碼能力和數學能力專項的繼續訓練模型。
全球最長200K 上下文窗口
Yi-34B模型將發布全球最長、可支持200K超上下文窗口(context window)版本，可以處理約40萬漢字超文本輸入。上下文窗口是大模型綜合運算能力的金指標之一，對于理解和生成與特定上下文相關的文本至關重要。
受限于計算復雜度、數據完備度等問題，上下文窗口規模擴充從計算、內存和通信的角度存在各種挑戰。為此，零一萬物技術團隊實施了一系列優化，包括計算通信重疊、序列并行、通信壓縮等，實現了在大規模模型訓練中近100倍的能力提升，也為Yi系列模型上下文規模下一次躍升儲備了充足“電力”。
AI Infra實測實現 40%訓練成本下降
李開復曾經表示，“做過大模型 Infra 的人比做算法的人才更稀缺”。超強的 Infra 能力是大模型研發的核心護城河之一。
AI Infra(AI Infrastructure 人工智能基礎架構技術)涵蓋大模型訓練和部署提供各種底層技術設施，包括處理器、操作系統、存儲系統、網絡基礎設施、云計算平臺等等。
零一萬物 Yi系列大模型基于阿里云平臺打造，阿里云強大的智能算力基礎設施為模型訓練提供了穩固的基石。零一萬物的Infra 技術通過“高精度”系統、彈性訓和接力訓等全棧式解決方案，確保訓練高效、安全地進行。
憑借強大的 AI Infra，Yi-34B模型訓練成本實測下降40%，實際訓練完成達標時間與預測的時間誤差不到一小時，進一步模擬上到千億規模訓練成本可下降多達 50%。目前，零一萬物 Infra 能力實現故障預測準確率超過 90%，故障提前發現率達到 99.9%，不需要人工參與的故障自愈率超95%。
零一萬物組建了由前 Google 大數據和知識圖譜專家領銜的數據團隊，建設了高效、自動、可評價、可擴展的智能數據處理管線；還自研出一套“規模化訓練實驗平臺”，用來指導模型的設計和優化。數據處理管線和加大規模預測的訓練能力建設，把以往的大模型訓練碰運氣的“煉丹”過程變得極度細致和科學化。
李開復宣布，零一萬物已啟動下一個千億參數模型的訓練。
接下來，零一萬物將基于 Yi系列大模型，打造更多To C超級應用。李開復強調，“AI 2.0 是有史以來最大的科技革命，它帶來的改變世界的最大機會一定是平臺和技術，正如 PC 時代的微軟 Office，移動互聯網時代的微信、抖音、美團一樣，商業化爆發式增長概率最高的一定是 ToC 應用。零一萬物邀請開發者社群跟我們一起搭建 Yi 開源模型的應用生態系，協力打造 AI 2.0 時代的超級應用。”
雷峰網(公眾號：雷峰網)
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
