02 中美差距沒那么大

從硅谷到中國，ChatGPT的熱度有增無減。

畢竟一直以來，關(guān)鍵的技術(shù)革新都發(fā)生在硅谷，這兩年中國尖端技術(shù)又一直面臨卡脖子的問題。所以在ChatGPT出現(xiàn)之后，大家最關(guān)心的還是當(dāng)國外技術(shù)已經(jīng)開始商業(yè)化落地的時候，國內(nèi)的進(jìn)度到底如何，差距又有多少？

2月7日，百度對外公布了自家類ChatGPT產(chǎn)品的名稱“文心一言”，英文名叫ERNIE BOT，目前，文心一言正在做上線前的沖刺。

“文心一言”一經(jīng)透露，便迅速登上各大平臺熱搜，百度股價一度漲超17％，市值增長約700億港元。很明顯，市場對于一個中國版的ChatGPT已經(jīng)期待太久。

之前，有觀點(diǎn)認(rèn)為國內(nèi)外差距大概在兩年左右。但云知聲研發(fā)副總裁劉升平認(rèn)為，實(shí)際上的差距可能沒有這么遠(yuǎn)。兩年的說法是因?yàn)镚PT－3是在兩年前公布的，但其實(shí)自GPT－3發(fā)布之后，國內(nèi)許多企業(yè)就已經(jīng)跟進(jìn)在做類似的大模型了�！皩�(shí)際差距并沒有那么大，大概在一年左右。”

小冰公司CEO李笛也向光錐智能提到：“國內(nèi)人工智能技術(shù)不像芯片、操作系統(tǒng)一樣落后于國外，相反它應(yīng)該是最接近國際的�！�

“國內(nèi)外的差距主要是一種思維上的差距。”李笛認(rèn)為，國內(nèi)對技術(shù)創(chuàng)新這件事鼓勵得不夠充分，如果一個公司耐得住寂寞，那它無論在哪個方向都是OK的。

事實(shí)上，國內(nèi)大廠基本都具備訓(xùn)練大模型的能力。比如百度這次發(fā)布的文心一言，就和百度文心大模型一脈相承。

百度在發(fā)布文心一言名字的時候還特意提到，在人工智能四層構(gòu)架中有全棧布局，包括底層芯片、深度學(xué)習(xí)框架，大模型以及最上層的搜索等應(yīng)用。擁有產(chǎn)業(yè)級知識增強(qiáng)文心大模型ERNIE，具備跨模態(tài)、跨語言的深度語言語義理解與生成能力。

同樣的，騰訊也有類似混元AI大模型，在此基礎(chǔ)上，騰訊推出了HunYuan－NLP 1T大模型并一度登頂國內(nèi)最權(quán)威的自然語言理解任務(wù)榜單CLUE。此外，像阿里有“通義”大模型，華為有盤古大模型，國家隊(duì)中科院自動化研究所有“紫東·太初”等等。

簡單來說，國內(nèi)大廠基本都有做NLP預(yù)訓(xùn)練模型的能力，甚至許多專業(yè)能力還處在世界領(lǐng)先的水平。

比如騰訊的混元大模型在2022年11月公布了一項(xiàng)最新進(jìn)展，它們實(shí)現(xiàn)萬億級NLP模型，可以用256張卡，最快1天內(nèi)完成訓(xùn)練，成本相比原來降低1／8。

作為對比，ChatGPT訓(xùn)練一次的成本高達(dá)1千萬美元，這是一般企業(yè)無法承受的。小冰公司CEO李笛算過一筆賬：“如果按照ChatGPT成本來考量的話，每天我要燒3億人民幣，一年要燒一千多億�！�

而騰訊通過課程學(xué)習(xí)、MOE路由算法、模型結(jié)構(gòu)等方式優(yōu)化之后，讓更多企業(yè)能夠承擔(dān)得起訓(xùn)練自己的NLP模型的成本。

除此之外，像在專利儲備上，根據(jù)statista2021年的數(shù)據(jù)，百度和騰訊都名列世界前列。

另一方面，就ChatGPT而言，它的技術(shù)原理并不新鮮。

Yann LeCun提到：“就底層技術(shù)而言，ChatGPT并不是特別創(chuàng)新的，它不是革命性的，盡管這是公眾對它的看法�！彼�指出，除了谷歌和Meta，還有6家初創(chuàng)公司基本上擁有與它非常相似的技術(shù)。ChatGPT是一項(xiàng)集體努力，因?yàn)樗鼌R集了多方多年來開發(fā)的多項(xiàng)技術(shù)。

李笛也提到，大模型對應(yīng)的技術(shù)理念已經(jīng)誕生好幾年，無論是國內(nèi)還是國外，使用這種技術(shù)理念訓(xùn)練出來的大模型已經(jīng)很多，只是在具體fine tune（微調(diào)）的過程中專注的領(lǐng)域有所不同。

做個不恰當(dāng)?shù)谋扔�，ChatGPT就像原子彈一樣，它的原理已經(jīng)被寫在了教科書里，而大多數(shù)國家仍然無法實(shí)現(xiàn)，更多是因?yàn)楣こ绦缘膯栴}。比如千億規(guī)模的數(shù)據(jù)從哪里來？如何進(jìn)行數(shù)據(jù)標(biāo)注，具體標(biāo)注哪些數(shù)據(jù)，標(biāo)注多少，這些數(shù)據(jù)又如何進(jìn)行組織訓(xùn)練等等。

而這些問題也都沒有在OpenAI的論文中得到公布，需要企業(yè)在自己的模型訓(xùn)練中去嘗試和摸索，然后形成經(jīng)驗(yàn)，積累成自己的know－h(huán)ow。

03 不要神化ChatGPT

雖然在底層技術(shù)上，國內(nèi)外其實(shí)并沒有想象中那么大的差距。但當(dāng)大家看到國外如火如荼的技術(shù)落地時，也會擔(dān)心國內(nèi)在這方面掉隊(duì)。

對于ChatGPT這樣技術(shù)邏輯清晰的產(chǎn)品而言，慢一點(diǎn)并不影響結(jié)果。但如果產(chǎn)品差，則表現(xiàn)在具體工程問題的解決能力上，這些部分要摸索，要踩坑，要形成經(jīng)驗(yàn)都需要漫長的時間，這背后反映的是技術(shù)水平的問題。

相比于歐美以英文為主的語言環(huán)境，中文是表意文字，在抽象概括和邏輯能力上天生不及英文。除此之外，國內(nèi)互聯(lián)網(wǎng)的語料也相對缺乏，沒有英文互聯(lián)網(wǎng)那么大的數(shù)據(jù)積累。

所以有業(yè)內(nèi)人士表示，對目前國內(nèi)的類ChatGPT產(chǎn)品發(fā)展而言，重要的不是模型，而是數(shù)據(jù)。

“自然語言處理需要經(jīng)過一個非常嚴(yán)密的推理過程�！崩畹烟岬剑骸按竽Ｐ湍撤N意義上代表一種暴力，即把大量的數(shù)據(jù)壓縮到一個黑盒里面，然后提取出來，這意味著大家在算力有一定保障的前提下，可以有機(jī)會用之前沒有用過的方法去完成�！�

另一方面，ChatGPT確實(shí)是革命性的存在，但卻并不代表它就是今后NLP領(lǐng)域的唯一方向。

首先是ChatGPT的技術(shù)發(fā)展，今天最主要的技術(shù)在于，一個模型建壓好之后，如何從里面很好地提取數(shù)據(jù)，目前還有很多新方法沒有嘗試，所以不排除未來用更小的模型達(dá)到很好效果的可能。

李笛提到，現(xiàn)在整個行業(yè)都在追求這種可能，因?yàn)槟Ｐ蛥��?shù)太大，一定意味著成本非常高，以及各種各樣的其他問題�！敖裉旒夹g(shù)差異還遠(yuǎn)遠(yuǎn)沒有達(dá)到成為不同技術(shù)流派的程度，也還遠(yuǎn)遠(yuǎn)沒有到說就按應(yīng)用場景去劃分這樣一個程度�！�

其次是從整個NLP的技術(shù)路線來看，目前主要有兩種主流技術(shù)路線，分別是以谷歌BERT為代表的雙向預(yù)訓(xùn)練語言模型＋fine－tuning（微調(diào)），和以O(shè)penAI的GPT為代表的自回歸預(yù)訓(xùn)練語言模型＋Prompting（指示／提示）。

在ChatGPT發(fā)布之前，BERT一直是業(yè)內(nèi)主流的技術(shù)方案，它之所以被ChatGPT搶了風(fēng)頭，是因?yàn)樗鼰o法像GPT一樣用一個模型解決所有問題，沒有表現(xiàn)出通用型人工智能的潛力。

但實(shí)際上，BERT在許多具體的場景下?lián)碛袃?yōu)勢，比如在特定場景下，BERT可以用更小的數(shù)據(jù)量（ChatGPT是在3000億單詞的語料基礎(chǔ)上預(yù)訓(xùn)練出的擁有1750億參數(shù)的模型），更低的訓(xùn)練成本實(shí)現(xiàn)同樣的性能。

比如在醫(yī)院內(nèi)部這樣一個特定場景，一方面它用不起千億規(guī)模的模型，ChatGPT在醫(yī)院場景就屬于殺雞用牛刀，醫(yī)院也無法負(fù)擔(dān)部署ChatGPT的成本。另一方面，ChatGPT的模型是基于公開數(shù)據(jù)訓(xùn)練的，但醫(yī)院的數(shù)據(jù)并不存在公共網(wǎng)絡(luò)上，所以面對醫(yī)院的問題，ChatGPT可能無能為力。

但BERT卻能夠適應(yīng)這樣的場景，它可以以更小的數(shù)據(jù)量，更低的成本，針對醫(yī)院的數(shù)據(jù)和場景針對性地訓(xùn)練出的模型，在解決具體問題上比ChatGPT更加得心應(yīng)手。

這其實(shí)就是一個所有領(lǐng)域都涉獵的全能型選手和深耕特定領(lǐng)域的專家之間的區(qū)別。即在數(shù)據(jù)確定的特定場景，BERT更有優(yōu)勢。而在沒有明確數(shù)據(jù)和目標(biāo)，面向開放式的應(yīng)用場景，ChatGPT則更合適。

當(dāng)然，具體到國內(nèi)企業(yè)的商業(yè)化來說，大模型需要大量的數(shù)據(jù)，高昂的訓(xùn)練成本，這些都不是一般企業(yè)能夠承擔(dān)的，因此它注定了是巨頭的游戲。

在騰訊研究院近期發(fā)布的《AIGC發(fā)展趨勢2023》報(bào)告中就梳理了目前AIGC產(chǎn)業(yè)生態(tài)體系的三層構(gòu)架，包括以預(yù)訓(xùn)練模型為主的基礎(chǔ)層；以垂直化、場景化、個性化模型為主的中間層；和以圖像、語音、文字生成等具體AIGC應(yīng)用為主的應(yīng)用層。

圖：騰訊研究院《AIGC發(fā)展趨勢2023》

其中，如百度、騰訊、OpenAI這樣的大公司將專注于做預(yù)訓(xùn)練模型，對這些企業(yè)來說，他們一方面能夠?qū)⒋竽Ｐ偷哪芰φ�合到自己的產(chǎn)品線中，直接面向廣大的用戶；另一方面又能夠通過API為中小企業(yè)提供能力調(diào)用，在具體場景中落地。

面對這樣的生態(tài)架構(gòu)，一位知名機(jī)構(gòu)投資人在考察過硅谷的ChatGPT項(xiàng)目后向光錐智能表示：“創(chuàng)業(yè)公司的機(jī)會在于，在開源技術(shù)的基礎(chǔ)上，做具體的應(yīng)用場景。尤其是可以把幾種具體技術(shù)結(jié)合在一起，比如數(shù)字人和ChatGPT結(jié)合，自動生成視頻，用于金融、客服等特定場景下的應(yīng)用�！�

但這也會面臨一些問題，即如果大家都調(diào)用同一個模型的能力，又落地在同一個細(xì)分場景，那必然會面臨同質(zhì)化的問題。

所以劉升平認(rèn)為：“ChatGPT適合創(chuàng)業(yè)公司進(jìn)入市場初期的冷啟動，即通過ChatGPT提供服務(wù)，然后逐步積累數(shù)據(jù)，待有了一定數(shù)據(jù)積累之后再利用BERT訓(xùn)練專用模型，以此來建立自己的技術(shù)壁壘和護(hù)城河，同時也提供差異化的服務(wù)，和同行拉開差距。”

所以，無論是從技術(shù)，還是從商業(yè)化的角度而言，ChatGPT和BERT從來不是一個非此即彼的問題，而是一個術(shù)業(yè)有專攻的問題。

此外，劉升平也提到，對于中小公司而言，如果沒有能力去研發(fā)類似ChatGPT的通用大模型，那也可以考慮研發(fā)類似ChatGPT的行業(yè)版模型，用更少的參數(shù)量，更多的行業(yè)數(shù)據(jù)，在行業(yè)問題上達(dá)到或超過ChatGPT的效果。

“我認(rèn)為到目前為止，人工智能在To C和To B上尚未出現(xiàn)一個放之四海而皆準(zhǔn)的商業(yè)模式�！�

李笛提到，AI現(xiàn)在還出其實(shí)還處在一個相對比較早期，甚至可以稱之為蠻荒時代，很多理念都還處在特別特別原始的狀態(tài)，所以可能每年我們回顧過去，都會覺得在顛覆自己。

“就像前幾年NIIPS大會上有人開玩笑說過的大模型煉丹，現(xiàn)在的大模型就像大家拿到了一個好的玩具，但不知道這個玩具還能吐出什么令人驚訝的東西�！�

在2016年，AlphaGo擊敗李世石時，我們也曾以為AI時代已經(jīng)來臨，它會在許多領(lǐng)域?qū)⑷祟愄娲�掉，我們也曾為此恐慌和興奮，但實(shí)際上如今將近10年過去了，AlphaGo并沒有改變世界，甚至沒有改變?nèi)魏稳恕?/p>

所以，何妨讓子彈再飛一會兒呢？

       原文標(biāo)題 : 不必神化ChatGPT，它很牛，但中外差距沒那么大