0
最近的AI社區(qū)，關(guān)于模型規(guī)模的討論有些活躍。
一方面，此前在大模型開發(fā)奉為“圣經(jīng)”的Scaling Law，似乎正在褪去光環(huán)。去年大家還在猜測(cè)GPT-5的規(guī)模“可能會(huì)大到想不到”，現(xiàn)在這種討論幾乎絕跡。大神Andrej Karpathy，則是在感慨大模型規(guī)模正在“倒退”。
另一方面，近期市場(chǎng)上性能優(yōu)秀的小型模型層出不窮，參數(shù)規(guī)模、任務(wù)處理、反應(yīng)速度、安全性能，各公司在不同方面卷了又卷。
究竟是往大做探索極限，還是往小做迎合市場(chǎng)？
這最終匯總成一個(gè)問題：在這樣模型快速更迭的市場(chǎng)中，要怎么才能把LLM模型的商業(yè)價(jià)值最大化？
最近發(fā)起討論的是X.ai創(chuàng)始成員之一的Toby Pohlen。他認(rèn)為如果模型以指數(shù)級(jí)速度改進(jìn)，那么訓(xùn)練模型的價(jià)值也會(huì)以指數(shù)級(jí)速度折舊。這也導(dǎo)致人們需要趕在模型更迭前就迅速采取行動(dòng)獲取商業(yè)價(jià)值，一旦模型產(chǎn)生更新，上一代模型就基本一文不值了。
Toby的這番言論深得老板Elon Musk之心，大筆一揮打了一個(gè)“100分”。
賈揚(yáng)清也參與到了這場(chǎng)討論中來，他用感恩節(jié)火雞做了一個(gè)有趣的比喻。他提出，售賣模型就像是感恩節(jié)火雞促銷，必須在感恩節(jié)前夕抓緊時(shí)間售賣，避免在感恩節(jié)到來后的貶值。新模型的技術(shù)更新就是一個(gè)又一個(gè)感恩節(jié)，只有銷售得更快才能賺到更多的利潤。
（emmm...如果對(duì)火雞不好了解，換成中秋節(jié)前搶月餅的故事大家或許應(yīng)該容易理解一些？）
評(píng)論區(qū)也有不少人表達(dá)了對(duì)此觀點(diǎn)的贊同。
有人說只要不斷地開發(fā)新產(chǎn)品和迭代新模型，就能從中持續(xù)獲得商業(yè)價(jià)值。
還有人說，模型改進(jìn)的頻率將直接決定模型本身的商業(yè)價(jià)值。
但是，模型的商業(yè)價(jià)值由什么決定，又該如何實(shí)現(xiàn)？
模型發(fā)展在走CNN老路嗎？
模型必須做小，用起來才順手。
比起大型模型，小型模型成本低應(yīng)用便利，更能收獲商業(yè)市場(chǎng)的青睞。賈揚(yáng)清就發(fā)現(xiàn)，行業(yè)趨勢(shì)在于研發(fā)和使用尺寸更小性能強(qiáng)大的模型，人們也更愿意把規(guī)模參數(shù)在7B-70B之間的中小型模型作為商業(yè)使用的選擇。
作為前大模型時(shí)代的親歷者，賈揚(yáng)清在當(dāng)下LLM模型市場(chǎng)上嗅到了熟悉的味道，先變大再變小變高效，這和CNN時(shí)期的模型發(fā)展簡(jiǎn)直一模一樣。
賈揚(yáng)清還對(duì)CNN的發(fā)展歷程做了一個(gè)簡(jiǎn)單的介紹。
首先是2012年，AlexNet開啟了模型大小增長的序幕。2014年的VGGNet就是一個(gè)規(guī)模較大的高性能模型。
到了2015年，模型尺寸開始縮小。GoogleNet 將模型大小從GB降至MB，縮小了100倍，還同時(shí)保持了良好的性能。同年面世的SqueezeNet也遵循了追求更小尺寸的趨勢(shì)。
在此之后，模型發(fā)展的重點(diǎn)轉(zhuǎn)移到了維持平衡。比如如 ResNet(2015)、ResNeXT(2016)等模型都保持了一個(gè)適中的規(guī)模，注重計(jì)算效率。
賈揚(yáng)清還介紹了CNN的一個(gè)有趣的應(yīng)用，Google的MobileNet（2017），占用空間小性能優(yōu)越，還具有出色的特征嵌入泛化。
最后，賈揚(yáng)清引用了Ghimire 等人在《高效卷積神經(jīng)網(wǎng)絡(luò)和硬件加速調(diào)查》里的一張圖：
他還進(jìn)一步發(fā)問，LLM模型未來會(huì)遵循和CNN一樣的發(fā)展趨勢(shì)嗎？
不過賈揚(yáng)清也補(bǔ)充道，雖然行業(yè)趨勢(shì)是模型小型化，但并不意味著號(hào)召大家放棄尺寸更大的模型。
但這隨之而來的是另一個(gè)問題：大型模型的成本會(huì)更高。
此前也有人提出質(zhì)疑，對(duì)大型模型服務(wù)商的運(yùn)營成本和營運(yùn)收益做了簡(jiǎn)單的計(jì)算，每天8張H100顯卡運(yùn)營節(jié)點(diǎn)的成本約為1000美元，每天可以提供2600萬token的服務(wù)，但按Llama 405B每一百萬token 3美元的價(jià)格，怎么算都是虧本的，無法盈利的大型模型不會(huì)被市場(chǎng)拋棄嗎？
賈揚(yáng)清表示，哎你說這個(gè)我就不困了，我熟我來說：）
賈揚(yáng)清認(rèn)為，雖然每個(gè)請(qǐng)求大約每秒輸出30個(gè)token，但通過批量處理（同時(shí)處理多個(gè)請(qǐng)求）可以顯著提高總吞吐量，可以達(dá)到比單個(gè)請(qǐng)求高出10倍或更高的吞吐量。
同時(shí)他還指出，每秒大約30個(gè)token指的是輸出token，大模型對(duì)于輸入token的處理速度更快，這也增加了處理的總token數(shù)，大模型通常對(duì)輸入和輸出分別計(jì)費(fèi)，也正是這個(gè)道理。
在后續(xù)的另一個(gè)回復(fù)，賈揚(yáng)清做了更詳細(xì)的量化計(jì)算：
批量輸出速度：?jiǎn)尾l(fā)405b推理通常有每秒30個(gè)token的輸出速度。合理的并發(fā)可以使總吞吐量提高10倍，達(dá)到每秒300個(gè)token的輸出吞吐量。
輸入token：輸入token也被計(jì)費(fèi)，通常輸入token的數(shù)量遠(yuǎn)大于輸出token。一個(gè)常見的聊天機(jī)器人應(yīng)用可能有2048個(gè)輸入token和128個(gè)輸出token。假設(shè)輸入輸出token比率為10:1，那么每秒300個(gè)輸出token的處理量相當(dāng)于每秒3000個(gè)輸入token。
價(jià)格：每天總共處理285,120,000個(gè)token，按當(dāng)前Lepton價(jià)格每百萬token2.8美元計(jì)算，收入為798.34美元。
機(jī)器成本：以lambda按需價(jià)格為基準(zhǔn)，每張H100卡每小時(shí)3.49美元，8張H100卡一天的成本為670.08美元。
收入798.34美元，成本670.08美元，因此通過整合多種技術(shù)方法，在合理流量下（像Lepton這樣的大模型技術(shù)服務(wù)商）是可能盈利的。
當(dāng)然，這只是一個(gè)簡(jiǎn)單的推算，實(shí)際的盈利還會(huì)受到流量穩(wěn)定性、計(jì)費(fèi)方式、按需使用GPU的機(jī)器成本控制、解碼、提示緩存以及其他因素的影響。
但某種程度上說，類似深度學(xué)習(xí)時(shí)代對(duì)CNN的不斷優(yōu)化，在大模型時(shí)代，也需要技術(shù)人員對(duì)于模型進(jìn)行種種優(yōu)化，來保證性能提高的同時(shí)不斷降低成本，這正是賈揚(yáng)清看好的創(chuàng)業(yè)路線。
我們不妨再多討論一下，對(duì)于賈揚(yáng)清這樣的AI Infra創(chuàng)業(yè)者，模型大小的潮流變化對(duì)他的商業(yè)模式有什么影響？
這個(gè)問題，要分不同情況分析。
如果模型參數(shù)量越大，提供模型服務(wù)的門檻越高（參考Llama 405B），其客單價(jià)自然也就越大；
另一方面，由于很多小模型實(shí)際是在大模型的基礎(chǔ)上蒸餾而得到，模型小了，所需的計(jì)算資源并沒有等幅度減少；
由于較小的模型更容易部署在不同的設(shè)備和平臺(tái)上，這可能會(huì)帶來應(yīng)用場(chǎng)景的增加，雖然客單價(jià)可能降低，但在需求數(shù)量上的增加反而可能使得總收入增加；
對(duì)于賈揚(yáng)清來說，META的開源路線使得賈揚(yáng)清的服務(wù)對(duì)象擴(kuò)大，因此開源對(duì)他來說更有利。
看來不管未來模型規(guī)模怎么不變化，賈揚(yáng)清都有機(jī)會(huì)憑借技術(shù)升級(jí)穩(wěn)坐釣魚臺(tái)。這有點(diǎn)像之前的中國股市，不管什么消息，都是“利好茅臺(tái)”啊。
這恐怕就是賈揚(yáng)清最近在推特上為什么這么活躍發(fā)表看法的原因？你看好賈揚(yáng)清這種AI Infra的創(chuàng)業(yè)路線嗎？雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
