大模型嘗鮮潮來了,一體機(jī)市場也如同坐上火箭躥升起來。
文|趙艷秋 周享玥
編|牛慧
春節(jié)開工后的這個月,國內(nèi)最忙碌的工程師群體之一,可能要數(shù)做大模型一體機(jī)的了。幾乎所有服務(wù)器、云廠商、大模型和垂類應(yīng)用服務(wù)商,都在加班加點追趕研發(fā)進(jìn)度。一些主流企業(yè)的商機(jī)幾乎是以往的數(shù)十倍甚至百倍。發(fā)布一體機(jī)的企業(yè),也將超過百家。
為什么一體機(jī)會在今年爆火?客戶采購它用來做什么?一體機(jī)企業(yè)又在拼什么?
01
大模型一體機(jī)市場“坐上火箭”
從DeepSeek春節(jié)爆火,掀起企業(yè)嘗鮮浪潮開始,大模型一體機(jī)市場就如同坐上火箭,迅速膨脹起來。
2月13日,大模型行業(yè)應(yīng)用開發(fā)商眾數(shù)信科聯(lián)合中國移動,推出了大模型一體機(jī),預(yù)裝DeepSeek等大模型,并通過“以租代購”的方式,將租用價格直接打到了每月千元檔位。
“現(xiàn)在很多客戶對于AI智能體有極強(qiáng)的動力,但等不及去立項、走流程。”眾數(shù)信科創(chuàng)始人兼CEO吳炳坤告訴數(shù)智前線,這個模式滿足了客戶快速嘗鮮,推出后接到大量需求。
不管是服務(wù)器廠商、云廠商、大模型廠商,還是垂類應(yīng)用開發(fā)商、上市公司、創(chuàng)新團(tuán)隊,都紛紛推出一體機(jī)產(chǎn)品。
服務(wù)器廠商們是其中一大主力玩家,華為、浪潮信息、聯(lián)想、新華三、超聚變、寧暢等在內(nèi)的所有主流服務(wù)器廠商,都參與其中。
產(chǎn)品推出后的生態(tài)動作也已開啟。3月5日,浪潮信息宣布,將面向全國元腦生態(tài)伙伴舉辦"元腦企智DeepSeek一體機(jī)生態(tài)伙伴推介體驗會"。而神州數(shù)碼信創(chuàng)集團(tuán)生態(tài)營銷部總經(jīng)理朱素潔告訴數(shù)智前線,正在搭建OpenLab開放實驗室,面向神州鯤泰生態(tài)伙伴及神州數(shù)碼千帆計劃合作伙伴等,開放測試環(huán)境,聯(lián)合有明確行業(yè)場景的伙伴展開解決方案合作。
在云市場,運營商云公司、各公有云和私有云廠商,都在春節(jié)期間啟動了一體機(jī)研發(fā),并排著隊發(fā)布一體機(jī)。
2月8日,京東云推出涵蓋了三個不同檔位的DeepSeek大模型一體機(jī)。2月10日,天翼云推出息壤智算一體機(jī)-DeepSeek版,突出全棧國產(chǎn)化。2月14日,百度智能云推出千帆DeepSeek一體機(jī)。緊隨其后,海云捷訊、火山引擎、浪潮云海推出DeepSeek一體機(jī)。
大模型廠商的動作也很快。科大訊飛在3月3日聯(lián)合華為,迭代新一代星火一體機(jī),并首次推出針對醫(yī)療、高教、政務(wù)、警務(wù)、法律五大全新應(yīng)用場景的一體機(jī)產(chǎn)品。
來自各行各業(yè)的企業(yè)、上市公司,同樣摩拳擦掌,也迅速推出DeepSeek一體機(jī),尤其針對面向醫(yī)療、金融、政務(wù)等不同垂直領(lǐng)域的產(chǎn)品。
02
為什么去年不火,今年爆火?
一體機(jī)商機(jī)呈現(xiàn)井噴式爆發(fā),今年開年以來,幾乎是以往的數(shù)十倍甚至百倍。其實,一體機(jī)并不是一件新鮮事。大模型火了之后,過去一兩年,廠商推出了大模型一體機(jī),但市場未爆發(fā)。“前后反差非常大。”京東云PaaS業(yè)務(wù)部產(chǎn)品負(fù)責(zé)人賀皓直言。
為什么DeepSeek給市場帶來轉(zhuǎn)折?
業(yè)界認(rèn)為,根本原因是目前企業(yè)正在嘗鮮推理市場。
DeepSeek的出現(xiàn),讓市場對人工智能,形成了空前的認(rèn)知。“我看到這一輪很大的不同是,很多對技術(shù)不是很懂的,如律所、會計師事務(wù)所,也想去用AI。” 海云捷迅云業(yè)務(wù)負(fù)責(zé)人趙利軍說,考慮到數(shù)據(jù)安全性,他們期望供應(yīng)商提供All in One的產(chǎn)品,拿回去開箱就能用,先嘗試,再考慮怎么跟業(yè)務(wù)做整合。“后續(xù)可能會有很多可能性。”
而促成市場擁抱人工智能的關(guān)鍵,是基礎(chǔ)模型能力的提升。“尤其DeepSeek滿血版,超越了之前一些閉源或開源模型。”京東云賀皓分析。另外,之前的開源模型,不像DeepSeek開源這么徹底,最高版本都是收費的,對用戶而言,成本仍較高。而之前閉源模型在很多場景下,無法做到私有化交付,即便能做到,成本也很高昂,而政務(wù)、金融和部分企業(yè),因合規(guī)要求,數(shù)據(jù)不能出域,這制約了三類典型客戶市場的爆發(fā)。
“DeepSeek用較小的訓(xùn)練成本,效果超越國際競品,也大幅降低了推理成本,吸引了眾多企業(yè),尤其是中小企業(yè)。”科大訊飛星火軍團(tuán)智算產(chǎn)品負(fù)責(zé)人羅雷說,觸發(fā)了多個行業(yè)客戶的需求。
“現(xiàn)在,中小規(guī)模用戶也能把自己的私有數(shù)據(jù),通過強(qiáng)化學(xué)習(xí)形成專屬模型,企業(yè)的投資回報是劃算的。”神州數(shù)碼信創(chuàng)業(yè)務(wù)集團(tuán)產(chǎn)品中心總經(jīng)理李川分析。而且,企業(yè)在使用時,要求掌握端到端的可解釋性。開源模型相比于閉源模型,更可追溯、可解釋,打消了用戶的一些顧慮。而國產(chǎn)化算力的供應(yīng)和適配上,也已完成得很好。“2月4日,DeepSeek在昇騰社區(qū)上線之后,大概一周左右,我們?nèi)慨a(chǎn)品線,都已完成了適配。”
DeepSeek出現(xiàn),解決了企業(yè)應(yīng)用的關(guān)鍵痛點,點燃了需求。“現(xiàn)在有點像當(dāng)年iPhone出來時,雖然好但非常貴。”京東云賀皓說,“安卓出來了,整個智能機(jī)市場的需求才完全被釋放出來。”
03
客戶采購一體機(jī),用來做什么
“DeepSeek一體機(jī)第一批市場落地,將以嘗鮮為主。”科大訊飛星火軍團(tuán)智算產(chǎn)品負(fù)責(zé)人羅雷觀察說。
“目前采購一體機(jī)的客戶主要有兩類,一類是去年已經(jīng)落地大模型的企業(yè),他們要體驗一下,DeepSeek這種比較好的通用大模型,能不能快速滿足他們的通用場景。另一類是過去觀望的中小客戶,他們就想快速買一臺來體驗一下,業(yè)內(nèi)領(lǐng)先的大模型能力到底達(dá)到什么樣的基線效果。”
“一體機(jī)其實滿足用戶一個快部署,以及偏通用的應(yīng)用需求。”聯(lián)想一體機(jī)人士補(bǔ)充。
“現(xiàn)在單臺或幾臺一體機(jī)就能部署大模型,讓企業(yè)嘗試一些功能,如AI助手。這在以前,肯定是搞不定的。”海云捷訊云業(yè)務(wù)負(fù)責(zé)人趙利軍說。
由于滿血版的一體機(jī)仍然要百萬元量級,對于一些中小公司,一些一體機(jī)廠商已推出像1.5b或7b等蒸餾版一體機(jī),讓客戶用一個比較小的投資來嘗鮮。
京東云賀皓告訴數(shù)智前線,他們接觸到的客戶群體,目前買一體機(jī)以推理為主。政務(wù)客戶有非常具體的場景,如公文撰寫、一網(wǎng)通辦對民生政策的解答等。“我們在鶴壁、大同已落地類似應(yīng)用。”而他們接觸的金融客戶,理財投顧場景也居多。其實,金融客戶早已在內(nèi)部用大模型做了相關(guān)智能體,這次模型效果、私有化部署、成本可控這幾個條件疊加在一起,這個場景需求一下就釋放出來了。
但業(yè)界觀察,嘗鮮之后,已有客戶開始對接訓(xùn)推一體化的場景,結(jié)合自己私有的數(shù)據(jù)做微調(diào)和蒸餾,進(jìn)一步解決具體場景的痛點。“這時它的算力要求,目前我們評估下來,要增加到5臺左右。”賀皓說。
“未來客戶肯定不單單需要純推理的能力,要去賦能具體場景,解決客戶的痛點。這肯定是未來一體機(jī)的落地的重點方向。”科大訊飛羅雷說。
04
政務(wù)一馬當(dāng)先,金融緊隨其后
與之前金融是各種新科技應(yīng)用的急先鋒不同,這一輪政務(wù)行業(yè)一馬當(dāng)先。
“政務(wù)類的訴求非常明確,每個省市都有一網(wǎng)通辦,面向民生的辦公入口,有政策解答場景的應(yīng)用。”京東云賀皓觀察。而業(yè)界看到,各個省市也都在暗自較勁。
神州鯤泰李川看到,動作最快的是深圳、北京,包括一些城市都已上線了政務(wù)AI員工。而對外服務(wù)的響應(yīng)時間和處理業(yè)務(wù)的筆數(shù),基本上都有百分之四五十的提升。
第二類是金融企業(yè)。“金融本來已在內(nèi)部開發(fā)了類似投顧、風(fēng)險管控的智能體,這一波,他們只是把調(diào)API的接口,換成DeepSeek的API接口,立馬就可以驗證效果,所以這一波速度也非?。”賀皓說。從公開報道來看,工行、建行、郵儲銀行、招商銀行等都快速引入了DeepSeek。
第三類是教育科研。“從大年初二開始,我們就接到很多客戶的咨詢電話,全是問怎么用DeepSeek模型,構(gòu)建自己的專屬業(yè)務(wù)場景的。”眾數(shù)信科吳炳坤告訴數(shù)智前線,“其實,高校和科研院所早在農(nóng)歷年前就行動起來了。因為DeepSeek是最先在學(xué)術(shù)圈‘爆炸’,然后擴(kuò)大到技術(shù)應(yīng)用圈和產(chǎn)業(yè)圈。”
而很多科研院所,會有大量自己的科研數(shù)據(jù),出于保密性和知識產(chǎn)權(quán)的考慮,也會采購一體機(jī),他們也是最早采購或租賃一體機(jī)的行業(yè)用戶。
第四類是醫(yī)療醫(yī)藥。神州鯤泰李川舉例,像醫(yī)院一個科室,有十幾名醫(yī)生,有自己的病歷積累,原來病歷集中在數(shù)據(jù)庫里,但這些病例本身有文本、圖片,檢索很難用,F(xiàn)在用大模型將數(shù)據(jù)切片,形成一個大模型可以理解的知識庫,醫(yī)生在做診斷時,檢索病例的響應(yīng)速度可以比原來快很多,生產(chǎn)力得到提升。
第五個是智能制造。專注于工業(yè)大模型落地的中工互聯(lián)董事長智振告訴數(shù)智前線,從今年春節(jié)后第一天上班開始,他們每天都接到不少客戶的咨詢,大家的態(tài)度都很積極,“基本上都要求把DeepSeek-R1接進(jìn)去”。DeepSeek-R1有更強(qiáng)的推理能力,這將AI應(yīng)用從局部推向全局,可以做企業(yè)的“大腦”。
IDC中國研究經(jīng)理程蔭觀察,教育/科研、政務(wù)與公共服務(wù)、制造、能源、醫(yī)療、金融等行業(yè)的需求較為明顯。去年更關(guān)注基礎(chǔ)功能和性能,今年可能更強(qiáng)調(diào)效果更佳的AI模型能力集成、軟硬件協(xié)同優(yōu)化和行業(yè)定制化、安全性等。
除了這些突出的行業(yè)外,海云捷訊的趙利軍強(qiáng)調(diào)了中小企業(yè)。“今年可能有點特殊的是,除了傳統(tǒng)的政企,中小企業(yè)對這個事情的關(guān)注度非常高,因為確實能幫助他們提升效率。”趙利軍發(fā)現(xiàn),大家通常先搭一個環(huán)境,同時去發(fā)動內(nèi)部團(tuán)隊對接、研究,看怎么和自己的業(yè)務(wù)系統(tǒng)整合起來。
05
一體機(jī)與已建智算中心是什么關(guān)系?
從上述主流應(yīng)用行業(yè)來看,從政務(wù)、金融到大型央國企,基本都建設(shè)了自己的智算設(shè)施,比如政務(wù)云和智算中心。一體機(jī)與已有的設(shè)施之間是怎樣的關(guān)系?
“其實是一個互補(bǔ)的關(guān)系。”科大訊飛羅雷舉例,去年一些大型企業(yè)建設(shè)的智算中心,主要用于模型訓(xùn)練,本身都有自己的一些訓(xùn)練和推理平臺,也可以基于這個平臺去部署DeepSeek。但由于DeepSeek部署或推理性能優(yōu)化有一定技術(shù)門檻,很多客戶不具備這樣的能力,先買一臺一體機(jī),開箱即用。當(dāng)體驗完之后,可以在智算中心上去訓(xùn)練專屬模型,將一體機(jī)作為一個邊緣設(shè)備,提升邊緣推理效果,形成類似云端訓(xùn)練、邊緣部署或者云邊協(xié)同的架構(gòu)。
京東云賀皓舉例,傳統(tǒng)政務(wù)云集群有嚴(yán)格的網(wǎng)段管理,比如互聯(lián)網(wǎng)區(qū)、政務(wù)內(nèi)網(wǎng)區(qū)等。新的部署,機(jī)房資源可能要重新規(guī)劃。從網(wǎng)絡(luò)劃分以及部署靈活性上看,當(dāng)政務(wù)有AI的上線要求時,政務(wù)云可以擴(kuò)容,也可以做類似外掛一體機(jī)的形態(tài),因為一體機(jī)可以快速部署,開箱即用。此外,云廠商如京東云等,也提供了類似純軟件輸出形式,相當(dāng)于把一體機(jī)里的軟件平臺,輸出到客戶原有的集群中。
06
一體機(jī),選滿血版還是蒸餾版?
這波一體機(jī)需求熱潮中,來自各行各業(yè)的企業(yè)和政府客戶們,關(guān)注的Top3問題都有哪些?
“客戶首先會問的一個問題是到貨時間,他們都是希望越快越好。”神州鯤泰李川告訴數(shù)智前線,大家現(xiàn)在都很關(guān)心有沒有現(xiàn)貨,能不能立刻交付。
為此,廠商們也都在卷交付能力。“我們現(xiàn)在有的樣機(jī)都交付出去了。”李川說。京東云賀皓也表示,他們目前給到客戶的承諾是,現(xiàn)貨儲備一周內(nèi)可以發(fā)到客戶現(xiàn)場,開箱即用,而需要定制的期貨產(chǎn)品保證在一個月內(nèi)到貨。
另外,綜合性價比也備受關(guān)注,其中一個維度是參數(shù)規(guī)模是否一定需要671b的DeepSeek滿血版,以及是否需要支持國產(chǎn)化加速卡。“這是客戶比較關(guān)心,也是我們會去引導(dǎo)客戶詢問確認(rèn)的。”賀皓說。
目前,雖然不少廠商都已對外宣布,單臺即能部署DeepSeek滿血版,但購買成本依然在百萬元級別。這對于不少企業(yè)來說仍然是個不低的門檻。
業(yè)界觀察,這波采購潮中,很多客戶都在部署滿血版的一體機(jī)。“我覺得這是一個過程,慢慢的不同客戶會區(qū)分出來,不是所有的客戶都需要滿血版。”李川說,偏文科聊天機(jī)器人的應(yīng)用,其實蒸餾板上的效果也是不錯的。
現(xiàn)在,已有客戶退而求其次,選擇預(yù)制了參數(shù)規(guī)模更小的大模型、成本更低的一體機(jī),先做嘗試。另外也有部分已經(jīng)較為了解大模型的客戶,結(jié)合自己的應(yīng)用場景綜合考量,并不一定需要滿血版,而選擇了支持70b、32b等蒸餾版的一體機(jī)。
“對于很多還處在嘗鮮階段的客戶來說,50萬以內(nèi)一臺的一體機(jī),是目前大家比較容易接受的。”海云捷訊趙利軍告訴數(shù)智前線。
面對綜合性價比這一指標(biāo),市場上的一體機(jī)廠商們也都針對性地推出了不同檔位的一體機(jī)產(chǎn)品方案。如京東云賀皓透露,他們目前對外提供有滿血版、標(biāo)準(zhǔn)版、輕量版三檔方案。
神州鯤泰李川也表示,他們目前已經(jīng)對外推出一體機(jī)“全家桶”產(chǎn)品,并正在測試通過前端路由手段,實現(xiàn)滿血版和蒸餾版能夠混合使用,來進(jìn)一步降低成本。
與此同時,性能指標(biāo)也是客戶重點關(guān)注的問題之一。“你能支持多少并發(fā),每秒能有多少token數(shù),這是客戶十分關(guān)心的。”李川告訴數(shù)智前線。
07
企業(yè)都在找差異化
針對市場上幾類一體機(jī)供應(yīng)商,IDC中國研究經(jīng)理程蔭分析,各類企業(yè)有不同優(yōu)勢:
服務(wù)器企業(yè),在硬件制造和國產(chǎn)化適配上有優(yōu)勢。云計算廠商,注重軟硬件融合調(diào)優(yōu)和推理加速,強(qiáng)調(diào)全棧國產(chǎn)化和性能優(yōu)化、開箱即用。行業(yè)應(yīng)用開發(fā)商在垂直場景定制化解決方案上有專長。大模型企業(yè)則提供模型優(yōu)化和工具鏈支持。
其實,從當(dāng)下一體機(jī)來看,硬件比較統(tǒng)一,DeepSeek也是統(tǒng)一的,怎么做出自己的差異化?
“云計算廠商,包括京東在內(nèi)主打的一體機(jī),強(qiáng)調(diào)在同等硬件資源配置、同等模型參數(shù)規(guī)模下,力爭為客戶提供更多的每秒token數(shù)加并發(fā)數(shù),這是我們極致追求的。”京東云賀皓說,這本來也是大規(guī)模云平臺具備的算力調(diào)度優(yōu)化能力。他們用這種方式為客戶降本。同時,包括京東云在內(nèi)的云計算企業(yè),往往背靠大廠,通過服務(wù)內(nèi)部客戶,有各種行業(yè)屬性打磨;對外服務(wù),也形成了一些行業(yè)賽道,這是其一體機(jī)生態(tài)的優(yōu)勢。
私有云企業(yè)海云捷訊趙利軍說,他們也強(qiáng)調(diào)一體機(jī)的性能調(diào)優(yōu)。趙利軍關(guān)注到DeepSeek開源周。從推理角度,開源了一些算法、庫函數(shù),對DeepSeek推理加速指出了方向。不過,他也關(guān)注到,DeepSeek官方提出的4+18這樣22臺機(jī)器規(guī)模,在中小企業(yè)并不常見。怎樣去充分理解它的思想,應(yīng)用到客戶小規(guī)模訴求中,也有很多工作去做。
“我們并不想交付一個沒有差異化的產(chǎn)品,否則最后就是打價格戰(zhàn),就陷入了‘誰便宜用誰’的惡性循環(huán)。”趙利軍說。
科大訊飛在3月3日推出了通用一體機(jī)以及五類場景一體機(jī)。令人關(guān)注的是場景一體機(jī),目前在市場上并不多見。它內(nèi)置“雙擎”,除了DeepSeek引擎之外,還有訊飛專業(yè)模型,如醫(yī)療大模型、科研大模型、法律大模型等,這些是公司在行業(yè)賽道積累的數(shù)據(jù)和知識訓(xùn)練而來,用戶可選擇切換使用。
“從我的理解,未來賦能客戶生產(chǎn),還是以多模型為主。”羅雷在談到企業(yè)如何更好落地大模型時說,“不太可能單一模型,解決客戶所有的問題。”比如DeepSeek在醫(yī)療、教育等垂類場景下,達(dá)不到專業(yè)模型的效果,他認(rèn)為未來模型會并存。
一位聯(lián)想一體機(jī)人士也持類似觀點。他舉例,當(dāng)下在智能家居場景下,你說要休息了,DeepSeek不太會觸發(fā)關(guān)燈等動作,需要選擇其他模型實現(xiàn)。同樣,在工業(yè)場景下,智振告訴數(shù)智前線,DeepSeek可以作為一個工廠大腦,專業(yè)問題上調(diào)用相關(guān)的工業(yè)模型。
“最核心的,目前整個市場競爭比較激烈,從大模型企業(yè)站位看,我們的抓手其實是一些真正的業(yè)務(wù)場景落地。”羅雷說。
而觀察服務(wù)器基礎(chǔ)設(shè)施企業(yè)神州鯤泰,講求產(chǎn)品的全面。橫向有“全家桶”解決方案,從10萬元到幾百萬元級別、不同參數(shù)大模型的需求,都有對應(yīng)的一體機(jī)解決方案;縱向上,打造從硬件底座、軟件平臺到開箱即用的應(yīng)用。生態(tài)在其中的分量很重,神州鯤泰與360、中科軟等聚焦場景化打造大模型一體機(jī)解決方案。
目前,從這四大背景的四類企業(yè)來看,都在展開產(chǎn)品差異化競爭。
從DeepSeek一體機(jī)生態(tài)角度,從事開源多年的趙利軍說,開源的一個特點是最開始在某一方向上,都會有三五個不同類型的產(chǎn)品競爭,但很可能會快速收斂到頭部,大家也會更愿意在統(tǒng)一的平臺上去做更多的事,這樣能逐步形成一個生態(tài)、一個社區(qū),這無論對硬件還是軟件廠商,都是一個好事。如果一直沒有形成穩(wěn)態(tài),生態(tài)企業(yè)要適配各種廠商的架構(gòu),維護(hù)產(chǎn)品質(zhì)量的難度會很大,也會浪費很多時間與資源。
目前,開源模型還未形成穩(wěn)態(tài),今年上半年,大模型企業(yè)之間仍在快速卷模型。不過,DeepSeek是目前最熱門的,軟硬件廠商都會去給它做更多適配優(yōu)化。它已經(jīng)開始占據(jù)一些生態(tài)位。
而從一體機(jī)角度,“現(xiàn)在還是一體機(jī)井噴前期。”神州鯤泰產(chǎn)品負(fù)責(zé)人李川說,以前的一體機(jī),不具備自我優(yōu)化能力,每一次軟硬件迭代,都會造成一些投資上的問題。“大模型有自我學(xué)習(xí)能力,我認(rèn)為大模型一體機(jī)會繼續(xù)快速發(fā)展。”
他看到客戶的第一波動作比較快,大概經(jīng)歷6~9個月之后,當(dāng)有更多生產(chǎn)力場景實現(xiàn)價值后,“在今年下半年,會有更廣的范圍、更多的用戶會投入進(jìn)來”。