“人類永遠(yuǎn)不會(huì)嫌網(wǎng)絡(luò)太快，就像永遠(yuǎn)不會(huì)嫌高鐵太快，你只會(huì)嫌它慢，希望它更快些�！�

一個(gè)月內(nèi)，百度、阿里、騰訊、商湯、訊飛、360等國(guó)內(nèi)大廠扎堆發(fā)布“中國(guó)版 GPT ”，這家的名字還沒(méi)記清楚，另一家的又蹦了出來(lái)，一時(shí)間 AI 大模型“諸神混戰(zhàn)”�？蓪�(shí)話實(shí)說(shuō)，和 ChatGPT 相比，國(guó)內(nèi)的 GPT 還存在一定差距，但大家對(duì)于 AI 的狂熱渴求已經(jīng)被點(diǎn)燃，越來(lái)越多的企業(yè)意識(shí)到， AI 這班車，再不上，就來(lái)不及了。

01

大語(yǔ)言模型的成功與挑戰(zhàn)

以 GPT 系列模型為代表的大語(yǔ)言模型成為近來(lái)最受關(guān)注的技術(shù)之一。

圖 | OpenAI-ChatGPT

ChatGPT 憑什么落別人那么遠(yuǎn)？

模型越大， AI 回饋的效果越好。 OpenAI 的 GPT-1 模型有50億個(gè)參數(shù)， GPT-3.5 有1750億個(gè)參數(shù)，到現(xiàn)在的 GPT-4 預(yù)計(jì)將有超過(guò)一個(gè)T的參數(shù)。可以看出參數(shù)是成倍甚至成指數(shù)級(jí)增長(zhǎng)。這種增長(zhǎng)模型的變化，首先對(duì)內(nèi)存性能有著極高要求，因?yàn)橛?xùn)練它需要海量數(shù)據(jù)，同時(shí)需要處理海量數(shù)據(jù)集；此外，是數(shù)據(jù)中心的計(jì)算能力，還有 GPU 與 CPU 之間的通信；更重要的是網(wǎng)絡(luò)的帶寬，這些因素將決定大語(yǔ)言模型的整體性能。

整體性能決定了大模型運(yùn)行、訓(xùn)練所需的時(shí)長(zhǎng)，也決定了對(duì)大模型后續(xù)調(diào)優(yōu)再訓(xùn)練的周期。比如你的大語(yǔ)言模型訓(xùn)練需要6個(gè)月，一年可能最多訓(xùn)練2次，而別人訓(xùn)練只需要2或3個(gè)月，一年就可以訓(xùn)練多次，那么最后 AI 的迭代效果是完全不一樣的。

圖 | NVIDIA

如今，不只是提出大語(yǔ)言模型的公司，越來(lái)越多的企業(yè)已經(jīng)意識(shí)到 AI 可能會(huì)優(yōu)化工作流程或是給客戶提供相應(yīng)的服務(wù)，大家紛紛開(kāi)始嘗試做自己的產(chǎn)品。但一旦大家都在這個(gè)模型的基礎(chǔ)上去做，就會(huì)遇到吞吐量和性能的瓶頸。要支撐這么一個(gè)大模型做訓(xùn)練，投入成本是非常高的。

圖 | NVIDIA

此外還有電力的限制，能做大模型訓(xùn)練的數(shù)據(jù)中心的功耗和電力需求是非常大的，且增長(zhǎng)趨勢(shì)明顯。數(shù)據(jù)顯示，數(shù)據(jù)中心一年消耗電力200 T瓦時(shí)，也就是2000億度電，占全球電力使用量的2%。2000億度電是什么概念？2021年我國(guó)三峽水電站發(fā)電量為1036億度，也就是三峽水電站兩年發(fā)的電量才夠全球數(shù)據(jù)中心用一年。而隨著 AI 數(shù)據(jù)中心的部署和持續(xù)增長(zhǎng)，到2030年，全球電力使用的預(yù)測(cè)份額將達(dá)到5%，這將為全球能源、環(huán)保、碳排放等帶來(lái)巨大挑戰(zhàn)。

02

你跟ChatGPT可能只差了一個(gè)DPU

在 AI 的競(jìng)賽中，有兩種方式：第一種是用資源去堆，就像造車一樣，后造車的永遠(yuǎn)要比先造車的人燒更多的錢去打市場(chǎng)；第二種是在同等資源下，比誰(shuí)快，快就需要效率，而提高效率就需要 DPU 。

微軟此前發(fā)布的博客透露了 OpenAI 的 ChatGPT 采用的硬件是基于 NVIDIA 智能網(wǎng)卡和 InfiniBand 200G 網(wǎng)絡(luò)所做的產(chǎn)品，未來(lái)也有意部署 DPU 。

圖 | 微軟官博

而為了應(yīng)對(duì) AI 模型訓(xùn)練、推理帶來(lái)的需求和挑戰(zhàn)， NVIDIA 近日發(fā)布了其最新一代數(shù)據(jù)處理器 BlueField-3 DPU ，并宣布全面量產(chǎn)。

圖 | NVIDIA

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生表示， AI 時(shí)代需要云數(shù)據(jù)中心基礎(chǔ)設(shè)施來(lái)支持非凡的計(jì)算需求�！� NVIDIA BlueField-3 DPU 實(shí)現(xiàn)了這一進(jìn)步，將傳統(tǒng)的云計(jì)算環(huán)境轉(zhuǎn)變?yōu)榧铀佟⒐?jié)能和安全的基礎(chǔ)設(shè)施，以處理生成 AI 的苛刻工作負(fù)載。”

據(jù) NVIDIA 介紹， BlueField-3 DPU 是一款專為數(shù)據(jù)中心設(shè)計(jì)的、軟件定義、硬件加速的云服務(wù)計(jì)算平臺(tái)。它集成了高達(dá)16個(gè)計(jì)算核心，可提供高達(dá)400Gbp/s的網(wǎng)絡(luò)帶寬，并且支持多種協(xié)議和功能，包括網(wǎng)絡(luò)虛擬化、彈性負(fù)載均衡、數(shù)據(jù)中心互連等。 BlueField-3 DPU 還擁有世界領(lǐng)先的存儲(chǔ)加速功能，可提供高達(dá)1.6Tbp/s的存儲(chǔ)帶寬，并支持 NVMe-over-Fabric 和 RDMA 等高性能存儲(chǔ)協(xié)議。

大語(yǔ)言模型背后的硬件構(gòu)成是怎樣的？各家都不同。以 NVIDA DGX 為參照，支持大語(yǔ)言模型的服務(wù)器由8顆 NVIDIA 高性能 GPU 、4個(gè) NVIDIA NVSWITCHES 、2顆x86 ?CPU、9塊 NVIDIA BlueField-3 DPU 、2T DDR５內(nèi)存、PCIe Gen5.0，以及服務(wù)器間的 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡(luò)構(gòu)成。

其中 NVIDIA BlueField-3 DPU 發(fā)揮了怎樣的作用？首先是加速性能：NVIDIA BlueField-3 DPU 具有豐富的硬件加速器，可以滿足大語(yǔ)言模型嚴(yán)格的性能要求，并運(yùn)行苛刻的工作負(fù)載；其次，云規(guī)模效率：NVIDIA BlueField-3 DPU 可以釋放 CPU 核心，使大語(yǔ)言模型應(yīng)用具有更好的性能和可擴(kuò)展性，提升服務(wù)器的效率和能效，降本增效；第三是強(qiáng)大的零信任安全：安全的基礎(chǔ)設(shè)施都可以運(yùn)行在 NVIDIA BlueField-3 DPU 之上，并基于此構(gòu)建零信任安全模型，在不影響性能的情況下，確保數(shù)據(jù)中心安全；第四是完全可編程的基礎(chǔ)設(shè)施：NVIDIA DOCA 2.0 體現(xiàn)了 NVIDIA BlueField-3 DPU 的軟件可編程性，借助 NVIDIA BlueField-3 DPU 可以獲得完全可編程的加速數(shù)據(jù)中心平臺(tái)。

圖 | NVIDIA

簡(jiǎn)單地說(shuō)，NVIDIA BlueField-3 DPU 可以提升整個(gè)網(wǎng)絡(luò)性能，配合高算力 GPU ，可以支撐更大規(guī)模的大語(yǔ)言模型訓(xùn)練，從而縮短訓(xùn)練時(shí)間。根據(jù)模型需求動(dòng)態(tài)調(diào)整部署以共享算力資源，并應(yīng)對(duì)不同規(guī)模的模型訓(xùn)練；提升服務(wù)器能效、釋放算力資源，用更少的服務(wù)器完成更多的任務(wù)，從而幫助企業(yè)實(shí)現(xiàn)節(jié)能環(huán)保、降本增效。

據(jù) NVIDIA 介紹，大語(yǔ)言模型和生成式AI主要會(huì)構(gòu)建在云基礎(chǔ)設(shè)施之上，以云服務(wù)的方式服務(wù)于市場(chǎng)，因此，DPU 會(huì)主要應(yīng)用于云服務(wù)提供商、AI 技術(shù)公司以及采用 AI 技術(shù)的企業(yè)。據(jù)悉，NVIDIA BlueField-3 DPU 已經(jīng)在部分國(guó)內(nèi)公有云服務(wù)提供商進(jìn)行測(cè)試，后續(xù)會(huì)逐步開(kāi)始采用。

在不久前的 GTC 2023 大會(huì)上，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生堅(jiān)定表示“ AI 迎來(lái)了‘ iPhone 時(shí)刻’”，回想當(dāng)年蘋(píng)果手機(jī)剛問(wèn)世，當(dāng)時(shí)的用戶還都想著手機(jī)不就是用來(lái)打電話、發(fā)短信的？而今天，我們幾乎已經(jīng)遺忘了當(dāng)時(shí)的想法和其他手機(jī)。同樣，你會(huì)發(fā)現(xiàn)生活將慢慢被 AI 改變。

*聲明：本文為MetaPost原創(chuàng)，如需轉(zhuǎn)載請(qǐng)聯(lián)系我們。未經(jīng)允許嚴(yán)禁轉(zhuǎn)載，文章版權(quán)及最終解釋權(quán)歸MetaPost所有。

       原文標(biāo)題 : 你的GPT跟ChatGPT可能只差了一個(gè)DPU