0
| 本文作者: 鄭佳美 | 2026-01-30 11:18 |
今日,商湯正式開源多模態(tài)自主推理模型 SenseNova-MARS(8B/32B 雙版本),其在多模態(tài)搜索與推理的核心基準(zhǔn)測(cè)試中以 69.74 分超越Gemini-3-Pro(69.06 分)、GPT-5.2(67.64 分)。
SenseNova-MARS是首個(gè)支持動(dòng)態(tài)視覺(jué)推理和圖文搜索深度融合的 Agentic VLM 模型,它能自己規(guī)劃步驟、調(diào)用工具,輕松搞定各種復(fù)雜任務(wù),讓AI真正具備“執(zhí)行能力”。
在MMSearch、HR-MMSearch、FVQA、InfoSeek、SimpleVQA、LiveVQA等基準(zhǔn)測(cè)試中,SenseNova-MARS取得開源模型中的 SOTA 成績(jī),還超越Gemini-3.0-Pro、GPT-5.2等頂級(jí)閉源模型,在搜索推理和視覺(jué)理解兩大核心領(lǐng)域全面領(lǐng)跑。更多細(xì)節(jié)請(qǐng)參見技術(shù)報(bào)告(https://arxiv.org/abs/2512.24330),歡迎開發(fā)者、各行業(yè)用戶測(cè)試與體驗(yàn)。
全能冠軍,自主解決復(fù)雜問(wèn)題
SenseNova-MARS在多項(xiàng)多模態(tài)搜索評(píng)測(cè)中展現(xiàn)出明顯的領(lǐng)先優(yōu)勢(shì),平均得分達(dá)到 69.74 分,成功超過(guò)了 Gemini-3-Pro 的 69.06 分與 GPT-5.2 的 67.64 分。
在 MMSearch 榜單(圖文搜索核心評(píng)測(cè))中,模型以 74.27 分登頂,超GPT-5.2(66.08 分);HR-MMSearch(高清細(xì)節(jié)搜索評(píng)測(cè))中以54.43 分領(lǐng)先,顯著拉開與閉源模型的差距。
HR-MMSearch的測(cè)試題目堪稱“AI界的奧林匹克”:采用305張2025年最新的4K超高清圖片,確保AI無(wú)法依賴舊知識(shí)“作弊”;所有問(wèn)題都針對(duì)圖片中占比不到5%的細(xì)節(jié),比如小標(biāo)志、小字、微小物體,必須用圖像裁剪工具才能看清;覆蓋體育、娛樂(lè)文化、科學(xué)技術(shù)、商業(yè)金融、游戲、學(xué)術(shù)研究、地理旅行等八大領(lǐng)域,60%的問(wèn)題都需要至少使用三種工具才能解答。
簡(jiǎn)單說(shuō),無(wú)論是需要“查遍全網(wǎng)”的知識(shí)密集型任務(wù),還是需要“火眼金睛”的細(xì)粒度視覺(jué)分析,它都是當(dāng)前的“全能冠軍”。
SenseNova-MARS還能實(shí)實(shí)在在落地到我們生活和工作的場(chǎng)景,解決需要“多步驟推理+多工具協(xié)作”的問(wèn)題。
普通AI的工具調(diào)用,要么只能搜文字,要么只能看圖片,遇到需要“先放大細(xì)節(jié)、再識(shí)別物體、最后查背景”的復(fù)雜任務(wù)就束手無(wú)策。
面對(duì)識(shí)別賽車服微小 Logo + 查詢公司成立年份 + 匹配車手出生年月 + 計(jì)算差值’的復(fù)雜任務(wù),SenseNova-MARS 可自主調(diào)用圖像裁剪、文本 / 圖像搜索工具,無(wú)需人工干預(yù)完成閉環(huán)解答。
SenseNova-MARS能從產(chǎn)品和行業(yè)峰會(huì)的照片中,識(shí)別企業(yè)的標(biāo)志,快速搜集產(chǎn)品、企業(yè)的信息,以及時(shí)間、數(shù)量、參數(shù)等細(xì)節(jié)要素,輔助分析行業(yè)情況和格局。
SenseNova-MARS能從賽事照片中識(shí)別畫面中的Logo、人物等信息,追溯比賽或人員背景信息,
幫助快速補(bǔ)充重要細(xì)節(jié)。
SenseNova-MARS甚至能夠輕松處理,這類超長(zhǎng)步驟的多模態(tài)推理,和超過(guò)三種工具調(diào)用,自動(dòng)裁剪分析細(xì)節(jié)、搜索相關(guān)研究數(shù)據(jù),快速驗(yàn)證假設(shè),得出關(guān)鍵判斷。
擁有這種“自主思考+多工具協(xié)作”的能力,SenseNova-MARS能夠自動(dòng)解決“細(xì)節(jié)識(shí)別 + 信息檢索 + 邏輯推理”復(fù)雜任務(wù),幫助實(shí)現(xiàn)工作效率提升。
l 圖像裁剪:能精準(zhǔn)聚焦圖片上的微小細(xì)節(jié),哪怕是占比不到5%的細(xì)節(jié)——比如賽車手衣服上的微小Logo、賽事照片里觀眾席的標(biāo)語(yǔ),都可通過(guò)裁剪放大清晰分析。
l 圖像搜索:能在看到物體、人物或場(chǎng)景,的瞬間自動(dòng)匹配相關(guān)信息——比如識(shí)別出賽車手的身份,或是某款冷門設(shè)備的型號(hào)。
l 文本搜索:能快速抓取精準(zhǔn)信息——無(wú)論是公司成立年份、人物出生年月,還是最新的行業(yè)數(shù)據(jù),都能秒級(jí)獲取。
SenseNova-MARS采用了“因材施教”的訓(xùn)練方法。
l 第一階段:打基礎(chǔ)。針對(duì)跨模態(tài)多跳搜索推理訓(xùn)練數(shù)據(jù)稀缺的痛點(diǎn),創(chuàng)新性的提出了基于多模智能體的自動(dòng)化數(shù)據(jù)合成引擎,采用細(xì)粒度視覺(jué)錨點(diǎn) + 多跳深度關(guān)聯(lián)檢索的機(jī)制,動(dòng)態(tài)挖掘并關(guān)聯(lián)跨網(wǎng)頁(yè)實(shí)體的邏輯,自動(dòng)化構(gòu)建高復(fù)雜度的多跳推理鏈路,同時(shí)引入閉環(huán)自洽性校驗(yàn)來(lái)去除幻覺(jué)數(shù)據(jù),構(gòu)造出具備嚴(yán)密邏輯鏈條與高知識(shí)密度的多跳搜索問(wèn)答數(shù)據(jù)。用精心篩選的“高難度案例”做教材,每個(gè)案例都標(biāo)注了“該用什么工具、步驟是什么”,讓AI先學(xué)會(huì)基本的“破案邏輯”。這些案例都是從海量數(shù)據(jù)中挑出的“硬骨頭”,確保AI一開始就接觸真實(shí)復(fù)雜場(chǎng)景。
l 第二階段:練實(shí)戰(zhàn)。采用“強(qiáng)化學(xué)習(xí)”——就像偵探在一次次破案中積累經(jīng)驗(yàn),AI每做對(duì)一次決策(比如選對(duì)工具、步驟合理)就會(huì)獲得獎(jiǎng)勵(lì),做錯(cuò)了就調(diào)整策略。為了避免AI“學(xué)偏”,研究團(tuán)隊(duì)還加了個(gè)“穩(wěn)定器”——BN-GSPO算法,讓它在處理簡(jiǎn)單題和復(fù)雜題時(shí)都能保持穩(wěn)定進(jìn)步,不會(huì)出現(xiàn)“偏科”。 這種基于雙階段歸一化的優(yōu)雅機(jī)制有效平滑了動(dòng)態(tài)工具調(diào)用返回分布多樣性帶來(lái)的優(yōu)化波動(dòng)并確保了學(xué)習(xí)信號(hào)分布的一致性,從而成功解決了跨模態(tài)多步多工具智能體訓(xùn)練過(guò)程中的收斂性難題。
經(jīng)過(guò)這樣的訓(xùn)練,AI不僅學(xué)會(huì)了用工具,更培養(yǎng)"工具使用直覺(jué)"——知道在什么情況下應(yīng)該使用哪些工具,以及如何將不同工具的結(jié)果有機(jī)結(jié)合起來(lái)。
模型、代碼、數(shù)據(jù)全開源
商湯日日新SenseNova-MARS模型、代碼、數(shù)據(jù)集全開源,支持 Hugging Face 直接下載。
Github 倉(cāng)庫(kù):https://github.com/OpenSenseNova/SenseNova-MARS
模型倉(cāng)庫(kù):
32B:https://huggingface.co/sensenova/SenseNova-MARS-32B
8B:https://huggingface.co/sensenova/SenseNova-MARS-8B
技術(shù)報(bào)告:https://arxiv.org/abs/2512.24330
雷峰網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。