0
| 本文作者: 二維馬曉寧 | 2026-02-06 15:16 |
雷峰網(公眾號:雷峰網)訊 2026年2月3日,面壁智能正式發布并開源了集語言、視覺、語音于一體的全模態大模型 MiniCPM-o 4.5,眾智FlagOS系統軟件棧,成功助力該模型在發布當日即完成對六大主流AI芯片的適配與優化,并實現端到端推理性能全面超越各芯片原生方案,這標志著國產基礎軟件在破解“跨芯適配難”行業痛點上取得里程碑式突破。
作為首個全雙工全模態大模型,面壁MiniCPM-o 4.5 首次實現“類人”感知交互,能夠根據環境“邊看、邊聽、邊說”,保證輸入輸出實時同步。這就對底層推理系統的計算效率、資源調度與多模態數據流的低延遲處理能力提出了極高要求。對此,眾智 FlagOS 憑借其統一、高性能的跨芯片系統軟件棧,提供了從算子優化到編譯調度的全鏈路加速方案,有效解決了大模型在多元硬件上保持高實時性、高吞吐推理的關鍵難題,實現了“一次開發,跨芯運行”的效果。
在確保模型精度無損失的前提下,基于 FlagOS 版本的MiniCPM-o 4.5在全部六款芯片上均實現了端到端推理效率的顯著提升,不同場景下平均加速比為7.76%—22.4%。在統一硬件條件下,FlagOS 版本相比 CUDA 版本提升端到端推理效率 6.10%,與各芯片自身的原生系統軟件棧相比,FlagOS 帶來的性能提升更為顯著,例如在 Nvidia 硬件上提升 6.10%,在 Hygon 硬件上提升 4.57%,整體平均提升幅度突出。而在長負載任務的平均測試中,FlagOS 版本的端到端性能比例達到 106.10%,全面驗證了其優化效果。這一系列數據強有力地證明,FlagOS不僅解決了“有沒有”的適配問題,更實現了“好不好”的性能超越,為應用方提供了更具性價比的多元算力選擇。
此次合作的成功實踐,為面臨硬件適配困境的模型廠商提供了明確路徑,通過集成FlagOS這類統一軟件棧,能夠以較低成本快速實現模型在多芯片平臺的高性能部署,從而將研發重心回歸模型創新本身。隨著FlagOS生態的持續發展,其“一次開發、多芯運行”的能力有望成為AI應用生態的重要基礎,推動大模型技術更高效、更經濟地服務于各行各業。隨著FlagOS生態的持續發展,有望成為驅動AI應用生態繁榮的關鍵基礎設施,最終推動大模型技術以更低的部署成本、更靈活的硬件選擇,加速賦能千行百業。
雷峰網版權文章,未經授權禁止轉載。詳情見轉載須知。