本地部署還是硬核玩家的玩法。

這個(gè)春節(jié)假期，要說(shuō)“紅得發(fā)紫”的科技產(chǎn)品，DeepSeek應(yīng)該當(dāng)之無(wú)愧。

甚至平時(shí)對(duì)科技新聞毫不在意的長(zhǎng)輩們，也走過(guò)來(lái)問(wèn)小雷有沒(méi)有聽(tīng)說(shuō)過(guò)DeepSeek。在我的印象中，上一次AI大模型如此深入人心的，還是OpenAI的ChatGPT。

大紅大紫的背后，是DeepSeek遭受連續(xù)且高強(qiáng)度的網(wǎng)絡(luò)攻擊，大部分時(shí)候官網(wǎng)都沒(méi)辦法正常生成內(nèi)容，即便關(guān)閉聯(lián)網(wǎng)搜索，具備深度推理能力的DeepSeek-R1在線模型還是無(wú)法正常使用。好在，在華為等眾多科技公司的支持下，第三方平臺(tái)紛紛接入DeepSeek的API，讓穩(wěn)定在線使用成為了可能。

不過(guò)這些渠道本質(zhì)上還是線上訪問(wèn)，春節(jié)期間休息的小雷，還想玩一把更大的，比如把DeepSeek大模型部署到本地。

于是，在春節(jié)期間，小雷動(dòng)起手來(lái)實(shí)踐了一下。

下載慢還得敲代碼，打造“AI電腦”不容易

事實(shí)上，無(wú)論是不是DeepSeek，想要在自己電腦部署一個(gè)本地大模型，執(zhí)行的步驟并不多，難點(diǎn)在于尋找到對(duì)應(yīng)的資源和命令。但需要注意的一點(diǎn)是，本地大模型雖說(shuō)是已經(jīng)訓(xùn)練好的成品，但也需要有一定的硬件基礎(chǔ)，體驗(yàn)才算得上好。

（圖片來(lái)自O(shè)llama）

首先，我們可以到Ollama官網(wǎng)下載一個(gè)桌面端應(yīng)用，這個(gè)應(yīng)用相當(dāng)于一個(gè)承載本地大模型的“盒子”，除了DeepSeek之外，你可以在Ollama官網(wǎng)的模型庫(kù)中找到許多開(kāi)源大模型。

Ollama桌面端并不提供任何控制界面，想要將大模型下載到本地，需要在Ollama官網(wǎng)的模型庫(kù)當(dāng)中找到對(duì)應(yīng)模型的代碼，復(fù)制到PowerShell（Win+R輸入PowerShell回車(chē)打開(kāi)）當(dāng)中，就可以執(zhí)行模型數(shù)據(jù)的拉取和安裝。

（圖片來(lái)自雷科技）

小雷選的是DeepSeek-R1模型當(dāng)中的7b版本，也就是帶有70億參數(shù)的DeepSeek-R1模型，占用4.7GB。本地大模型參數(shù)量越大自然是越好，可以提供更精準(zhǔn)的語(yǔ)言理解和更高質(zhì)量的文本生成能力，具備更強(qiáng)的邏輯推理和學(xué)習(xí)能力，同時(shí)知識(shí)儲(chǔ)備和泛化能力。但本地大模型依賴(lài)電腦計(jì)算能力，每個(gè)人對(duì)大模型的需求不同，不應(yīng)該“硬來(lái)”。

一般來(lái)說(shuō)，運(yùn)行1.5B參數(shù)的模型最低需要4GB顯存的GPU以及16GB的內(nèi)存，如果達(dá)不到要求，則會(huì)強(qiáng)行使用CPU進(jìn)行計(jì)算，硬件負(fù)擔(dān)更大，且推理的時(shí)間會(huì)更長(zhǎng)。而滿血版的DeepSeek-R1參數(shù)量為671b，體積達(dá)到404GB，需要更高規(guī)格的計(jì)算硬件才能負(fù)擔(dān)得起，對(duì)于個(gè)人部署需求，小雷建議1.5b-8b參數(shù)最為適合。

（圖片來(lái)自雷科技）

模型數(shù)據(jù)拉取完畢，系統(tǒng)則會(huì)自動(dòng)執(zhí)行安裝，完成之后就可以直接在PowerShell窗口當(dāng)中直接調(diào)取剛下載的DeepSeek-R1模型，輸入框填寫(xiě)問(wèn)題發(fā)送，本地大模型就會(huì)推理并生成。

到這里，DeepSeek-R1本地大模型的部署就完成了，理論上大家也可以根據(jù)這樣的方法去部署其它大模型上電腦。

但每次開(kāi)啟電腦都要打開(kāi)PowerShell界面才能激活大模型，對(duì)于普通用戶而言并不方便，這個(gè)時(shí)候我們需要給DeepSeek-R1安裝一套更直觀的交互界面。小雷選擇了在Docker應(yīng)用（圖標(biāo)是一個(gè)藍(lán)色海豚）上添加一個(gè)Open-WebUI組件，讓DeepSeek-R1可以通過(guò)瀏覽器界面交互，并賦予它聯(lián)系上下文的能力。

具體來(lái)看，需要先下載Docker桌面端，按照默認(rèn)的引導(dǎo)完成安裝之后（可跳過(guò)賬號(hào)注冊(cè)等步驟），再次打開(kāi)PowerShell界面復(fù)制并執(zhí)行以下這條指令，小雷幫大家省下去Github查找的時(shí)間了：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果是使用NVIDIA GPU的小伙伴，則需要使用以下這條指令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

拉取大模型文件和Open WebUI組件需要一個(gè)比較漫長(zhǎng)的過(guò)程，尤其是網(wǎng)絡(luò)不太理想（或者沒(méi)有科學(xué)上網(wǎng)）的環(huán)境，下載器會(huì)不斷重試/切換線路，出現(xiàn)下載進(jìn)度丟失的問(wèn)題。

安裝完成之后，Docker應(yīng)用中就會(huì)出現(xiàn)一個(gè)Open-WebUI的相關(guān)組件，把它勾選啟動(dòng)，再點(diǎn)擊“3000:8080”字樣的鏈接，系統(tǒng)就會(huì)跳轉(zhuǎn)到網(wǎng)頁(yè)。

（圖片來(lái)自雷科技）

這個(gè)時(shí)候，你就獲得了一臺(tái)帶有AI本地大模型的真正的“AI電腦”了。

小雷體驗(yàn)了整個(gè)部署過(guò)程，步驟并不算復(fù)雜，系統(tǒng)的數(shù)據(jù)拉取和安裝都是自動(dòng)化的，主要還是在搜索命令行和安裝資源，以及拉取和安裝組件時(shí)花了比較多的時(shí)間，Ollama和Docker都可以通過(guò)百度搜索到，小雷也在上面提供了對(duì)應(yīng)的跳轉(zhuǎn)鏈接，動(dòng)手能力且有興趣的各位可以嘗試嘗試。

當(dāng)然了，本地部署大模型的方法并不只有這一個(gè)，像華為剛推出的ModelEngine等，具備一站式訓(xùn)練優(yōu)化和一鍵部署的能力，應(yīng)該是面向企業(yè)端的開(kāi)發(fā)工具。

離線使用是好事，但生成能力不如云端版

國(guó)內(nèi)的AI大模型應(yīng)用選擇很多，而且網(wǎng)頁(yè)端服務(wù)很齊全，那么本地部署的意義在哪里？

前面鋪墊了這么多工作準(zhǔn)備本地大模型，關(guān)鍵有兩點(diǎn)：第一，本地大模型的所有模型數(shù)據(jù)和對(duì)話記錄都是完全離線，存儲(chǔ)在本地，本地推理響應(yīng)時(shí)間更快，也避免了敏感內(nèi)容泄露。同時(shí)在飛機(jī)等無(wú)網(wǎng)環(huán)境之下，也可以正常使用大模型；第二，本地部署支持各種開(kāi)源模型，個(gè)人用戶可以靈活擴(kuò)展和切換，也可以根據(jù)自身需求進(jìn)行優(yōu)化和工具集成，總之操作空間會(huì)比線上大模型更多。

不過(guò)小雷部署的時(shí)間還不長(zhǎng)，許多功能還沒(méi)摸清楚，這次就簡(jiǎn)單討論一下本地大模型的體驗(yàn)如何。

小雷安裝DeepSeek-R1 7b模型的電腦是機(jī)械革命無(wú)界14X，輕薄本定位，運(yùn)行內(nèi)存為24GB，并沒(méi)有配備獨(dú)立顯卡這種硬件，不在本地部署大模型的推薦配置范圍內(nèi)，算是一個(gè)“反面教材”。換句話說(shuō)，DeepSeek-R1 7b模型在這款電腦上，需要更多的推理時(shí)間和資源占用才能夠正常生成內(nèi)容。

（圖片來(lái)自雷科技）

像“飯后脹氣”等問(wèn)題的討論和答案，大模型需要思考30秒-1分鐘才到答案生成階段，期間電腦的負(fù)載會(huì)達(dá)到高峰，CPU和內(nèi)存幾乎被占滿，可以想象沒(méi)有獨(dú)立顯卡的電腦帶動(dòng)本地大模型會(huì)比較吃力，小雷認(rèn)為給出的答案的確有一定的正向參考的作用。

（圖片來(lái)自雷科技）

相比于答案，小雷更感興趣的還是DeepSeek擬人化的思考過(guò)程，很少有AI助手把思考的過(guò)程做到如此擬人化，不管生成的答案是否準(zhǔn)確，它的擬人化推理過(guò)程似乎也能激起許多普通用戶的興趣。

如果把同樣的問(wèn)題放在網(wǎng)頁(yè)端的DeepSeek大模型，并啟用R1深度思考，直接生成了一個(gè)“服務(wù)器繁忙”的回饋，密集的訪問(wèn)的確給DeepSeek造成了不少困擾，這個(gè)時(shí)候想要正常地和它交談，本地部署能力不一定很強(qiáng)，至少能夠訪問(wèn)得到。

（圖片來(lái)自DeepSeek）

再換一個(gè)問(wèn)題，小雷用了一道經(jīng)典的概率題目向本地DeepSeek-R1 7b發(fā)起提問(wèn)。網(wǎng)頁(yè)端DeepSeek-R1持續(xù)繁忙中，本地DeepSeek可能也有一些手足無(wú)措，列舉了多種情況后又自行駁回，最后還混入了之前提問(wèn)的“飯后脹氣”的內(nèi)容，畫(huà)面顯得相當(dāng)滑稽。

（圖片來(lái)自雷科技）

本地DeepSeek在連續(xù)輸出十多分鐘后也沒(méi)有提供答案，考慮到時(shí)間有限，小雷還是停止了生成。

只能說(shuō)數(shù)學(xué)題目對(duì)于70億參數(shù)的DeepSeek-R1 7b還是過(guò)于復(fù)雜，在線大模型都不一定能夠輸出準(zhǔn)確答案，本地就更成問(wèn)題了，同時(shí)高參數(shù)的本地大模型推理的過(guò)程中，電腦的負(fù)載壓力也會(huì)拉滿。

從開(kāi)源的角度去分析，本地大模型的擴(kuò)張性和可玩性會(huì)比傳統(tǒng)的線上大模型更好玩。但本地大模型的部署大家也很清楚，操作起來(lái)并不是很容易，想要挖掘更多玩法，還是要靠動(dòng)手能力強(qiáng)的用戶。

本地部署DeepSeek，只是圖個(gè)新鮮好玩？

那么，本地大模型值得人手一個(gè)嗎？小雷的答案是否定的。

就現(xiàn)階段的生成能力來(lái)說(shuō)，本地大模型很難跟線上大模型媲美，參數(shù)規(guī)模和計(jì)算能力擺在那，肯定沒(méi)法跟正規(guī)大模型公司背后的算力集群對(duì)比。本地大模型適合動(dòng)手能力強(qiáng)的電腦用戶折騰，深度發(fā)掘的確能帶來(lái)一些功能上的便利，畢竟本地大模型在系統(tǒng)底層中運(yùn)行，能夠更好地與硬件結(jié)合。

但作為普通用戶，部署本身也算不上是一件多容易的事情，大模型的周邊配套并沒(méi)有想象中成熟，Ollama官網(wǎng)全是英文，Docker應(yīng)用也不提供中文支持，本身在部署上就有較高的門(mén)檻。小雷部署一個(gè)本地DeepSeek大模型，只是圖個(gè)新鮮，平均生成用時(shí)20秒起步，除了可以離線隨處用，普通的生成需求，體驗(yàn)還是不如在線大模型。

像讀取文件分析、聯(lián)網(wǎng)收集數(shù)據(jù)分析這些能力，還需要用戶自己來(lái)折騰，小雷目前部署的DeepSeek還只是個(gè)開(kāi)始。另外如果你有一天不用了想要?jiǎng)h掉大模型數(shù)據(jù)，還需要學(xué)習(xí)步驟來(lái)清除，否則它就會(huì)一直占用系統(tǒng)盤(pán)的存儲(chǔ)空間。

（圖片來(lái)自mockup）

在小雷看來(lái)，DeepSeek走開(kāi)源道路，最主要的原因還是為了打響市場(chǎng)影響力，先行占據(jù)市場(chǎng)地位，吸引行業(yè)圍繞它來(lái)建立完善的服務(wù)體系。拋開(kāi)Ollama這些不說(shuō)，國(guó)內(nèi)眾多大模型平臺(tái)率先接入DeepSeek的API，就是開(kāi)源帶來(lái)的直接結(jié)果。

可以想象，攜帶超高熱度的DeepSeek完成各行業(yè)的應(yīng)用和滲透，個(gè)人本地部署的需求也會(huì)變得遠(yuǎn)比現(xiàn)在簡(jiǎn)單，調(diào)起PowerShell界面、敲代碼這些事情甚至都不需要用戶來(lái)做。

至于DeepSeek會(huì)發(fā)展成什么樣，小雷還無(wú)法預(yù)測(cè)，被行業(yè)高度關(guān)注利大于弊，不穩(wěn)定的服務(wù)只是短痛，能夠提高市場(chǎng)占比走到普通用戶身邊，滲透到各個(gè)設(shè)備，到那個(gè)時(shí)候，本地部署這件事情或許本身就沒(méi)有必要了。

來(lái)源：雷科技

       原文標(biāo)題 : 我把DeepSeek裝進(jìn)了電腦里：生成能力一般，但確實(shí)很好玩