0
[雷峰網(公眾號：雷峰網)]兩周前，面壁發布領先的開源大模型「Eurux-8x22B 」。相比口碑之作 Llama3-70B，發布時間更早，綜合性能相當，尤其是擁有更強的推理性能——刷新開源大模型推理性能 SOTA，堪稱開源大模型中「理科狀元」。激活參數僅 39B，支持 64k 上下文，相比 Llama3 速度更快、可處理更長文本。
圖注：面壁Eurux-8x22B 模型在 LeetCode 和 TheoremQA這兩個具有挑戰性的基準測試中，刷新開源大模型推理性能 SOTA。
圖注：面壁Eurux-8x22B 模型綜合性能比肩 LlaMa3-70B，超越開源模型 WizardLM-2-8x22b, Mistral-8x22b-Instruct,DeepSeek-67b，以及閉源模型 GPT-3.5-turbo。
Eurux-8x22B 由 Mistral-8x22B對齊而來。強勁戰斗力，來自面壁 Ultra 對齊技術上新 UltraInterat 大規模、高質量對齊數據集。此前，面壁 Ultra 對齊系列數據集已經“強壯”了全球超 200 個大模型，堪稱大模型上分神器。
Eurux-8x22B模型+對齊數據集，全家桶開源：
https://github.com/OpenBMB/Eurus
https://huggingface.co/openbmb/Eurux-8x22b-nca
復雜推理能力是體現大模型性能差異的最核心能力之一，也是大模型真正落地應用所需的關鍵能力所在。
Eurux-8x22B 在代碼和數學等復雜推理的綜合性能方面超越 Llama3-70B，刷新開源大模型 SOTA，堪稱「理科狀元」。特別在 LeetCode （180道LeetCode真題）和 TheoremQA（美國大學水準的STEM題目）這兩個具有挑戰性的基準測試中，超過現有開源模型。
圖注：Eurux-8x22B 在代碼和數學等復雜推理綜合性能方面超越 Llama3-70B，刷新開源大模型 SOTA。
開源大模型「理科狀元」Eurux-8x22B在實際應用中表現如何呢？
在近期 LeetCode 周賽，這一檢驗人類程序員編程能力的真實競技場上：Eurux-8x22B 在 Python 編程方面取得綜合排名超越了80% 的人類參賽選手的優秀成績，成功解決四道算法題中的三道，可以初步通過互聯網大廠的程序員編程面試。
下面是本次周賽中Eurux-8x22B對一道中等難度的算法題的真實解答：
除了代碼能力優秀，Eurux-8x22B 解答數學題也是輕而易舉。
例如給它一道高中排列組合題，Eurux-8x22B 首先給出了清晰的解題思路，然后一步步地拆解執行，再進行結果匯總，最后得到正確答案。
再考察它一道代數題，Eurux-8x22B 直擊要害，運用二項式定理，清晰簡潔地給出了正確的解答。
接著給它一道向量代數題，Eurux-8x22B 也能輕松拿下。
高考函數題可能是令很多人回憶起來就頭疼的一類題，Eurux-8x22B 也能解答無誤。
（需要說明的是，Eurux-8x22B 沒有針對中文語料進行額外的微調和對齊!）
本次大模型「理科狀元」 Eurux-8x22B 的優異表現，得益于來自面壁 Ultra 對齊技術的大規模、高質量對齊數據集UltraInteract上新。
好數據，才有好模型。此前，面壁 Ultra 對齊技術已經“強壯”了全球超 200 個大模型，堪稱大模型上分神器。
? UltraInterat對齊數據集地址：
? https://github.com/OpenBMB/Eurus
UltraInteract是專門設計用于提升大模型推理能力的大規模、高質量的對齊數據集，包含了覆蓋數學、代碼和邏輯推理問題的12個開源數據集的86K條指令和220K偏好對，共有五十萬（條）左右數據。相比而言，LLaMA 3-70B模型則是使用了千萬量級的對齊數據，這從側面證明了 UltraInteract 數據集的優質性——數據質量勝過數據數量。UltraInteract 數據集開源后在社區受到了廣泛好評。
從領先的端側模型「小鋼炮」MiniCPM，到開源模型推理新 SOTA 的Eurux-8x22B，為什么面壁智能總能推出同等參數、性能更優的「高效大模型」？答案是，大模型是一項系統工程，而面壁作為國內極少數兼具大模型算法與 infra 能力的團隊，擁有自研的全流程高效生產線：面壁 Ultra 對齊技術、Infra 工藝、獨家「模型沙盒」實驗和現代化數據工廠，從數據、訓練到調校工藝環環相扣，一條優秀的大模型Scaling Law增長曲線由此而生。
Infra工藝方面，面壁構建了全流程優化加速工具套件平臺ModelForce，可以實現 10 倍推理加速，90% 成本降低。
算法方面，通過上千次以上的「模型沙盒」實驗，探索更加科學的訓模方法。以小見大，尋找高效模型訓練配置，實現模型能力快速形成。
? Eurux-8x22B模型GitHub地址：
https://github.com/OpenBMB/Eurus
? Eurux-8x22B模型HuggingFace地址：https://huggingface.co/openbmb/Eurux-8x22b-nc
? UltraInterat對齊數據集地址：
https://github.com/OpenBMB/Eurus
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
