字越少,貨越多。
我參考了多個當地語系化部署方案,結合我自己的體驗,分享我認為目前最簡單的實操方案。
非常簡單,只需照做,幾乎有手就行。
過程非常簡單,只需照做,10分鐘搞定,有手就行。
已經把身邊所有高配、低配的電腦部署了本地DeepSeek-R1大模型。
不久前企鵝廠的騰訊元寶的用戶協定涉及“霸王條款”。你用騰訊元寶生成的內容,智慧財產權永久歸屬騰訊。
雖然該條款在網路被踢爆后,大廠立刻修改了協定,但大廠依然保留了對生成內容的使用權。
想要避開大廠基操,在開源大背景下,當地語系化部署是最根本的解決方案。
你受夠了官方APP伺服器經常無回應?
想要保護個人隱私,不想自己的數據被大公司拿去分析?
不想生成的內容擁有權還有其它組織的一份?
希望生成的內容不被過濾?
不希望其他機構知道你的XP和戀愛情況?還有正致光譜?
受不了AI吐詞吐到一半,突然全部清空?
不想讓大廠知道你有好幾個AI女僕?
就算以上一個都沒中。
反正本地部署是免費的,就當裝了個軟體,利用一下閑置的PC硬體資源有何不可?
什麼?佔用硬碟?
Steam里下載的遊戲也不見你經常打開啊。
前幾年我印象很深的一篇文章標題叫:
我建議磚家找點正事做,沒事少建議。
我自己部署的AI,脫沒脫韁我自己說了算,脫不脫韁的我也不在乎。
況且有沒有可能,這韁就是我親自脫的?有韁繩的還不屑用呢。
這裡以DeepSeek-R1為例,目前有1.5b / 7b / 8b / 14b / 32b / 70b / 671b幾種,對應不同的算力。
頂配家用電腦(RTX4090 24GB顯存+32GB記憶體)可以嘗試70b(親測吐字不快)。
中高端配置可以安裝32b(RTX5080 16GB顯存+32GB記憶體親測絲滑)。
更低一些配置可以測試8b和14b。
如果配置不符合要求,硬上高版本,會出現半天吐不出一個字的情況,記憶體佔滿體驗奇差,還不如降低版本。
等吐詞的過程就像這哥們兒欲和C羅合影,發現手機卡住了,急得冒火。
DeepSeek-R1主要吃顯卡顯存大小,顯存不夠會借記憶體容量。
現在很多二手顯卡被回收走,魔改成大顯存版本來跑。
譬如回收RTX4090改成48GB顯存版本來直接跑70b模型,導致這卡的回收價格來到了19000元一張,還不挑品牌,沒壞就行。
還有回收RTX2080Ti 11GB顯卡,改成22GB顯存。配合超微7048GR/7049GP這類伺服器,加上如雙路E5-2680和大記憶體4張魔改卡一起插,可以直接跑70b。
2.1 進入Ollama官網
題外話:Ollama框架下可以安裝多種大模型,DeepSeek-R1只是他支援的其中一種
2.2 下載Ollma框架
下載用戶端,Windows操作系統下,僅支援Windows10及以後的版本
▼ 目前Ollama框架的檔案大小為0.98GB,如果你打不開GitHub,我也提供了下載了位址,打開迅雷的新建任務,粘貼進去即可。
點此即可
3.1 打開安裝包進行安裝
版本越高,容量越大,注意硬碟剩餘空間
3.2安裝好後,按下鍵盤的Win鍵+R,跳出運行介面
在介面中輸入CMD,按回車鍵
3.3 看到這個介面,輸入ollma,按回車鍵
▼ 出現以下介面
4.1 回到ollma官網
通過ollma官網搜索,或者在“Models”下找到DeepSeek-R1
4.2選擇適合自己的版本
我是RTX5080+32GB,可以絲滑跑32b。
版本越高,對主機性能的要求就越高,檔體積也越大。
4.3 獲得下載位址
在官網選擇適合的版本后,點擊右側的複製
這裡以32b為例
4.4 下載DeepSeek-R1
將複製的內容粘貼到CMD運行里,(或直接輸入ollama run deepseek-r1:32b),按回車
隨即開始下載32b,整個檔案大小為19GB
▼ 安裝成功會提示Success。
如果你的顯存+記憶體不足,Success的下一排會告訴你還缺少多少顯存/記憶體容量。
以上安裝的DeepSeek-R1只支援本地思考。
如果你想知道本地部署的大模型是否支持聯網搜索,你就問他本地明天的天氣預報即可,不聯網的話它是回答不出來的。
這時候就需要加入網路搜索功能。
這裡我選擇的是火狐瀏覽器+Page Assist外掛程式。
5.1 安裝火狐瀏覽器
5.2 打開外掛程式商店
在火狐瀏覽器的右上角點擊擴展,往下看到管理擴展
5.3 安裝Page Assist外掛程式
在外掛程式搜索裡找到Page Assist外掛程式,他自帶Web UI,介面更加清爽。
▼ Chrome瀏覽器上也有這款外掛程式。
不過因為眾所眾知的原因,很多用戶下載不了Chrome更打不開外掛程式商店,需要一些特殊的科學技巧。
▼ 因此火狐是可替換的選擇,而且火狐的口碑還不錯。
▼ 進入Page Assist頁面,點擊添加到FireFox
▼ 回到右上角,並添加外掛程式,並固定到工具列(方便打開)
依舊是在火狐/Chrome瀏覽器
6.1 工具列右上角點開Page Assist ,進入介面。
6.2 點擊介面右上角齒輪,進入設置介面,並找到Language,下拉切換到簡體中文。
外掛程式介面切換到中文后設置語音辨識為普通話
6.3 設置Page Assist
Page Assist可以作為多款大模型的Web UI並為它們提供網路搜索功能。
根據自己的喜好進行一般設置,也可以什麼都不開。
6.4 設置網路搜索
管理網路搜索選項裡,你可以選擇AI搜索的來源。
有Google、百度、搜狗等,不同的資訊來源會影響到生成結果。
往下還需要設置搜尋結果數,如果你選擇搜索網站它的廣告非常多,那麼你就要增加搜尋結果數來減少廣告的干擾(你一定懂)。
設置好后記得點保存。
▼ RAG設置里選擇DeepSeek-R1:
至此設置完成。
▼Page Assist會檢測你的本地框架(ollama)是否開啟。
▼ 聯網搜索開關在聊天輸入框左下角。
在聯網關閉狀態下,詢問明天的天氣,它答不上來。
而本地庫里(我還外地詹姆斯呢)的內容已經過時(只到2024年),所以對於多數個人AI而言,無法聯網的AI是殘缺的。
但直接調用官網的API,會有個人信息洩露的風險。
以各種APP為例,99%需要註冊賬號和實名。
就算不需要註冊帳號,也會有設備碼,設備碼又和一堆東西綁定,沒準你的XP和政治光譜一覽無餘。
▼ 打開聯網按鈕后就可以正常分析天氣。
至此,你可以按照你自己的想法來培養你自己的大模型/AI助手。
至於你是用來續寫小說、還是用作賽博牛馬,還是設計成個人化AI助手(類似於鋼鐵俠的賈維斯,有一定的情感表達),完全取決於你自己的意願。
就實我的際體驗來說,本地部署32b+ 聯網搜索的效果已經很棒。
超簡易教程,完結撒花。除去下載的過程,10分鐘足夠。
按慣例放上連結:
小編注:本文作者@破曉前最亮的光 是什麼值得買生活家,他的個人自媒體資訊為:
微信:RayTTK
扶持推廣個人品牌是生活家新增福利,更多詳細內容請瞭解生活家頁面(https://zhiyou.smzdm.com/author/)。歡迎大家踴躍申請生活家,生活家中表現優異的使用者還將有機會成為『首席生活家』,歡迎有著特別生活經驗的值友們踴躍加入生活家大家庭!