0
| 本文作者： 劉伊倫 | 2026-03-30 10:46 |
當(dāng)AI產(chǎn)業(yè)從模型能力競爭逐步轉(zhuǎn)向規(guī)模化應(yīng)用競爭，圍繞“Token推理效率”進(jìn)行系統(tǒng)性優(yōu)化成為行業(yè)的核心命題。
“隨著智能體、AI Coding等應(yīng)用的爆發(fā)式增長，Token消耗量呈百倍、千倍級躍升，2026年已成為名副其實(shí)的‘Token爆發(fā)元年’。AI產(chǎn)業(yè)的核心關(guān)注焦點(diǎn)，正從模型參數(shù)規(guī)模、模型可用性全面轉(zhuǎn)向穩(wěn)定、低成本、高質(zhì)量交付的Token產(chǎn)能。”鄭緯民院士表示。
但與此同時(shí)，國內(nèi)算力利用率正深陷結(jié)構(gòu)性困境。
首先，資源配比嚴(yán)重失衡，Token生成過度綁定GPU，高端內(nèi)存、集群SSD、IB互聯(lián)等昂貴閑置資源利用率不足10%，整機(jī)綜合利用率不及20%，造成巨額智算成本空耗。
軟硬協(xié)同樣存在短板，硬件算力持續(xù)迭代，但軟件優(yōu)化與分布式并行組合穩(wěn)定性不足，超80%理論算力被浪費(fèi)，粗放調(diào)度又隱形損耗超50%算力。
面對大量行業(yè)痛點(diǎn)，雷峰網(wǎng)(公眾號：雷峰網(wǎng))獲悉，3月27日2026中關(guān)村論壇期間，趨境科技發(fā)布全新一代AI推理平臺(tái)——趨境ATaaS高效能AI Token生產(chǎn)服務(wù)平臺(tái)（Approaching.AI Token as a Service），為破解算力投入與Token產(chǎn)出失衡難題提供了系統(tǒng)性解決方案。
這一產(chǎn)品落地，也折射出AI基礎(chǔ)設(shè)施產(chǎn)業(yè)的演進(jìn)趨勢：行業(yè)競爭不再單純比拼算力規(guī)模，而是轉(zhuǎn)向綜合衡量Token生產(chǎn)核心指標(biāo)，涵蓋首包響應(yīng)時(shí)延（TTFT）、Token吞吐效率（TPS）與全域資源利用率等關(guān)鍵維度。
那么，趨境ATaaS通過哪些底層技術(shù)優(yōu)化，破解行業(yè)算力利用的結(jié)構(gòu)性矛盾？又將如何通過生態(tài)共建，系統(tǒng)性打通產(chǎn)業(yè)割裂痛點(diǎn)？
萬億Token穩(wěn)態(tài)產(chǎn)出、GPU開銷直降 90%，TaaS平臺(tái)重構(gòu)智算底座
過去兩年，行業(yè)焦點(diǎn)高度集中在基礎(chǔ)模型競賽：各家瘋狂堆疊參數(shù)、沖刺榜單、追逐SOTA性能，模型廠商一度成為資本追捧的熱點(diǎn)。
但隨著產(chǎn)業(yè)主線從大模型訓(xùn)練轉(zhuǎn)向規(guī)模化落地應(yīng)用，深層供需失衡開始顯性暴露：個(gè)人重度使用“小龍蝦”等AI智能體單日Token成本可達(dá)千元，服務(wù)供給端卻深陷虧損經(jīng)營，大量智算資源長期低效空轉(zhuǎn)、得不到合理利用。
TaaS成為調(diào)和產(chǎn)業(yè)矛盾、重構(gòu)Token生產(chǎn)效率的核心解法，為行業(yè)打通降本、提效、提質(zhì)的關(guān)鍵通路。
對此，鄭緯民院士錨定產(chǎn)業(yè)趨勢，明確了TaaS落地演進(jìn)的三大核心技術(shù)底座：一是全系統(tǒng)異構(gòu)協(xié)同，通過將不同計(jì)算任務(wù)合理分配至GPU、CPU、內(nèi)存和SSD，打破算力瓶頸；二是存算協(xié)同實(shí)現(xiàn)“以存換算”，通過前置KV Cache等技術(shù)，大幅降低重復(fù)計(jì)算量，提升推理效率；三是面向SLO的智能調(diào)度，精準(zhǔn)地將用戶業(yè)務(wù)需求“翻譯”為底層資源決策。
立足這套底層技術(shù)邏輯，趨境ATaaS平臺(tái)以極致高效能Token生產(chǎn)為核心錨點(diǎn)，可承載萬級并發(fā)AI推理業(yè)務(wù)，支撐集群實(shí)現(xiàn)日均萬億級穩(wěn)態(tài)Token產(chǎn)出落地。
作為全球首創(chuàng)的大模型計(jì)算邏輯重構(gòu)技術(shù)，異構(gòu)推理2.0技術(shù)“六合”深度融合CPU與GPU、國產(chǎn)及非國產(chǎn)異構(gòu)算力，實(shí)現(xiàn)任務(wù)智能分流，能將萬卡級智算集群運(yùn)營成本壓降20%以上。
以存換算2.0“月餅”，憑借超體量KV Cache緩存技術(shù)，將存儲(chǔ)空間拓展百倍至千倍，最高實(shí)現(xiàn)90%緩存命中率，直接削減90%的GPU算力開銷。
“雙儀”虛實(shí)同構(gòu)技術(shù)，依托算子級SLO仿真能力，完成算力資源智能預(yù)規(guī)劃與動(dòng)態(tài)調(diào)優(yōu)，精準(zhǔn)切分異構(gòu)算力，讓萬卡級集群硬件綜合利用率實(shí)現(xiàn)數(shù)倍提升。
“萬象”極致彈性技術(shù)，則打通了規(guī)模化量產(chǎn)的最后一道壁壘，支持萬億參數(shù)大模型7秒極速拉起、動(dòng)態(tài)配置變更，以及數(shù)百節(jié)點(diǎn)超大規(guī)模EP彈性調(diào)度，為萬卡級集群高性能橫向擴(kuò)展筑牢根基。
趨境ATaaS平臺(tái)的發(fā)布為AI基礎(chǔ)設(shè)施的建設(shè)和運(yùn)營提供了新的思路和行業(yè)標(biāo)準(zhǔn)，使每單位算力和能耗投入都能夠數(shù)倍轉(zhuǎn)化為更穩(wěn)定、更可衡量的Token價(jià)值產(chǎn)出，更標(biāo)志著AI基礎(chǔ)設(shè)施發(fā)展焦點(diǎn)從單純的算力規(guī)模競爭，轉(zhuǎn)向?qū)oken生產(chǎn)效率的綜合衡量，推動(dòng)算力基礎(chǔ)設(shè)施從“數(shù)據(jù)中心”向“Token工廠”全面演進(jìn)。
集群性能翻倍背后：TaaS生態(tài)協(xié)同「重寫」Token經(jīng)濟(jì)學(xué)
面對國產(chǎn)推理基礎(chǔ)設(shè)施“可用”與“好用”之間的鴻溝，技術(shù)優(yōu)化之外，生態(tài)協(xié)同的緊迫性正在凸顯。
從底層硬件廠商，到模型廠商，再到最貼近終端用戶的云服務(wù)平臺(tái)，趨境ATaaS平臺(tái)正逐步嵌入產(chǎn)業(yè)鏈的每一個(gè)關(guān)鍵環(huán)節(jié)，以生態(tài)協(xié)同模式發(fā)揮聚合效應(yīng)，推動(dòng)國產(chǎn)AI推理基礎(chǔ)設(shè)施的發(fā)展。
華為昇騰計(jì)算業(yè)務(wù)副總裁、首席產(chǎn)品規(guī)劃師葉耀榮表示，趨境與昇騰展開了全方位的技術(shù)和商業(yè)化合作，部分項(xiàng)目中在昇騰AI集群上實(shí)現(xiàn)了2倍以上性能提升。
九源智能計(jì)算系統(tǒng)生態(tài)聯(lián)合體副秘書長王豪杰表示，Token時(shí)代競爭轉(zhuǎn)向單位成本產(chǎn)出，國產(chǎn)卡面臨“生態(tài)驅(qū)動(dòng)”困局。九源聯(lián)合體打造國產(chǎn)智能計(jì)算生態(tài)，全國產(chǎn)化方案適配多款GPU、串行代碼高效并行的九源領(lǐng)域編程語言“九齒”、支撐Mooncake推理加速系統(tǒng)、基于國產(chǎn)芯片的高效智能體，并與KTransformers等框架深度聯(lián)動(dòng)。
云上算力服務(wù)的深度融合同樣是破局關(guān)鍵。
并行科技董事長陳健表示，并行MaaS服務(wù)得到趨境科技的大力支持，雙方合作將高質(zhì)量Token的生產(chǎn)成本大幅優(yōu)化，并將特定場景下的集群性能提升50%，共同為智譜、Kimi、MiniMax、DeepSeek等頭部大模型客戶提供優(yōu)質(zhì)服務(wù)。
京東云同樣與趨境科技達(dá)成合作，雙方聯(lián)合打造推理引擎，推動(dòng)Mooncake開源生態(tài)發(fā)展。
基于一系列產(chǎn)業(yè)實(shí)踐，行業(yè)各方進(jìn)一步沉淀形成三大共識。
首先，軟硬深度協(xié)同是釋放國產(chǎn)算力潛能的關(guān)鍵，需通過系統(tǒng)級優(yōu)化彌合硬件性能與業(yè)務(wù)需求之間的鴻溝。
生態(tài)統(tǒng)一與標(biāo)準(zhǔn)建設(shè)同樣至關(guān)重要，打破“百花齊放”帶來的適配難題，才能實(shí)現(xiàn)規(guī)模化應(yīng)用。
最后，人才培養(yǎng)是產(chǎn)業(yè)根基，需通過開源社區(qū)、技術(shù)競賽等方式，培育兼具理論與工程能力的AI Infra人才。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
