💝💝💝歡迎來到我的博客，很高興能夠在這里和您見面！希望您在這里可以感受到一份輕松愉快的氛圍，不僅可以獲得有趣的內(nèi)容和知識，也可以暢所欲言、分享您的想法和見解。

• 推薦:kwan 的首頁,持續(xù)學(xué)習(xí),不斷總結(jié),共同進(jìn)步,活到老學(xué)到老
• 導(dǎo)航
  • 檀越劍指大廠系列:全面總結(jié) java 核心技術(shù),jvm,并發(fā)編程 redis,kafka,Spring,微服務(wù)等
  • 常用開發(fā)工具系列:常用的開發(fā)工具,IDEA,Mac,Alfred,Git,typora 等
  • 數(shù)據(jù)庫系列:詳細(xì)總結(jié)了常用數(shù)據(jù)庫 mysql 技術(shù)點(diǎn),以及工作中遇到的 mysql 問題等
  • 新空間代碼工作室:提供各種軟件服務(wù),承接各種畢業(yè)設(shè)計(jì),畢業(yè)論文等
  • 懶人運(yùn)維系列:總結(jié)好用的命令,解放雙手不香嗎?能用一個命令完成絕不用兩個操作
  • 數(shù)據(jù)結(jié)構(gòu)與算法系列:總結(jié)數(shù)據(jù)結(jié)構(gòu)和算法,不同類型針對性訓(xùn)練,提升編程思維,劍指大廠

非常期待和您一起在這個小小的網(wǎng)絡(luò)世界里共同探索、學(xué)習(xí)和成長。💝💝💝 ?? 歡迎訂閱本專欄 ??

前言

本篇文章主要介紹如何在本地安裝 Llama3.1，以及在本地部署 LobeChat 可視化 UI 界面，并且結(jié)合 Cpolar 內(nèi)網(wǎng)穿透，實(shí)現(xiàn)公網(wǎng)遠(yuǎn)程使用 Llama3.1。

就在前一陣，Meta 宣布推出迄今為止最強(qiáng)大的開源模型——Llama3.1 405B，Llama 3.1 是 Meta 最新推出的開源大語言模型，支持八種語言。它能夠提供通用知識、數(shù)學(xué)計(jì)算、多語言翻譯和工具使用能力，開放下載并允許開發(fā)者定制和微調(diào)。

通過 LobeChat 可視化 UI 界面來使用 Llama，實(shí)現(xiàn)在 web 界面就可以直接來使用，那么接下來如何進(jìn)行操作。

1. 本地部署 Llama3.1

本地電腦硬件要求：

?Windows：3060 以上顯卡+8G 以上顯存+16G 內(nèi)存，硬盤空間至少 20G
Mac：M1 或 M2 芯片 16G 內(nèi)存，20G 以上硬盤空間

本篇文章測試環(huán)境：Windows10 專業(yè)版

首先需要安裝 Ollama 客戶端，來進(jìn)行本地部署 Llama3.1 大模型
下載地址：https://ollama.com/download
在下載頁面點(diǎn)擊 Windows，然后點(diǎn)擊下載按鈕。

下載完成后，雙擊下載的安裝程序。

點(diǎn)擊 Install 進(jìn)行安裝。

安裝完成后，雙擊 ollama 客戶端自動打開 Windows Power Shell，如果沒有自動彈出，也可以手動打開 cmd，這里打開 cmd 為例：

我們在終端中輸入ollama，它會顯示出當(dāng)前這款 ollama 程序，它的使用及安裝命令

接下來繼續(xù)在終端中安裝 Llama3.1-8b（至少需要 8G 顯存）

ollama run llama3.1:8b

上方顯示已安裝成功，接下來就可以進(jìn)行使用了，比如這里可以在終端中輸入問題

我們已經(jīng)成功的在本地部署了 Llama3.1，但是只能在終端中來使用，如果能使用 web 界面進(jìn)行交互，使用體驗(yàn)會更好，也可以保留之前的聊天記錄，方便查找和使用，下面帶大家安裝 LobeChat 可視化 UI 界面！

2. 本地安裝 LobeChat 可視化 UI 界面

Lobe Chat 作為一款開源、現(xiàn)代化設(shè)計(jì)的聊天應(yīng)用，具有許多令人青睞的特點(diǎn)和功能，接下來教大家如何在本地安裝 LobeChat。

**官網(wǎng)地址：https://lobehub.com/zh

**GitHub 地址：https://link.zhihu.com/?target=https%3A//github.com/lobehub/lobe-chat

本地安裝流程：

首先從 github 上克隆 lobechat（如果沒有安裝 git 的話，進(jìn)入 git 官網(wǎng)進(jìn)行下載 windows 版本 https://git-scm.com/downloads）

打開命令行，從 github 下載項(xiàng)目到本地，執(zhí)行下面的命令

git clone https://github.com/lobehub/lobe-chat.git

創(chuàng)建新目錄

cd lobe-chat

在項(xiàng)目的根目錄下，執(zhí)行下面的命令，下載依賴。

pnpm install

（注意：沒有安裝 Node.js 的話，點(diǎn)擊官網(wǎng)下載鏈接https://nodejs.org/en/download，這里演示版本是v20.12.2）

（注意：如果未安裝 pnpm,需要使用下方代碼一鍵安裝 pnpm）

npm install -g pnpm

在項(xiàng)目的根目錄下，運(yùn)行 LobeChat，可以看到運(yùn)行成功，出現(xiàn) http://localhost:3010

pnpm dev

3. 在 LobeChat 中添加 Llama3.1

可以看到我們已經(jīng)在本地部署了 LobeChat，測試一下是否部署成功打開新的瀏覽器輸入：http://localhost:3010

可以看到進(jìn)入到了 LobeChat 的主界面

• 點(diǎn)擊左上角頭像，找到設(shè)置，選擇語言模型，找到 Ollama，開啟它，并做連通性檢查 。

• 檢查通過，獲取模型列表

• 回到聊天窗口，選擇 llama3.1:8b 模型

接下來就可以進(jìn)行聊天了。

目前我們在本機(jī)部署了 LobeHub，并且還添加了 Llama3.1 大模型，如果想團(tuán)隊(duì)協(xié)作多人使用，或者在異地其他設(shè)備使用的話就需要結(jié)合 Cpolar 內(nèi)網(wǎng)穿透實(shí)現(xiàn)公網(wǎng)訪問，免去了復(fù)雜得本地部署過程，只需要一個公網(wǎng)地址直接就可以進(jìn)入到 LobeChat 中。

接下來教大家如何安裝 Cpolar 并且將 LobeChat 實(shí)現(xiàn)公網(wǎng)訪問。

4. 安裝 Cpolar 內(nèi)網(wǎng)穿透

下面是安裝 cpolar 步驟：

Cpolar 官網(wǎng)地址: https://www.cpolar.com

點(diǎn)擊進(jìn)入 cpolar 官網(wǎng)，點(diǎn)擊免費(fèi)使用注冊一個賬號，并下載最新版本的 Cpolar

登錄成功后，點(diǎn)擊下載 Cpolar 到本地并安裝（一路默認(rèn)安裝即可）本教程選擇下載 Windows 版本。

Cpolar 安裝成功后，在瀏覽器上訪問 http://localhost:9200，使用 cpolar 賬號登錄,登錄后即可看到 Cpolar web 配置界面,結(jié)下來在 web 管理界面配置即可。

接下來配置一下 LobeChat 的公網(wǎng)地址，

登錄后，點(diǎn)擊左側(cè)儀表盤的隧道管理——創(chuàng)建隧道，

創(chuàng)建一個 LobeChat 的公網(wǎng) http 地址隧道

• 隧道名稱：可自定義命名，注意不要與已有的隧道名稱重復(fù)
• 協(xié)議：選擇 http
• 本地地址：3010 (本地訪問的地址)
• 域名類型：免費(fèi)選擇隨機(jī)域名
• 地區(qū)：選擇 China Top

隧道創(chuàng)建成功后，點(diǎn)擊左側(cè)的狀態(tài)——在線隧道列表,查看所生成的公網(wǎng)訪問地址，有兩種訪問方式,一種是 http 和 https

使用上面的 Cpolar https 公網(wǎng)地址,在手機(jī)或任意設(shè)備的瀏覽器進(jìn)行登錄訪問,即可成功看到 LobeChat 界面,這樣一個公網(wǎng)地址且可以遠(yuǎn)程訪問就創(chuàng)建好了,使用了 Cpolar 的公網(wǎng)域名,無需自己購買云服務(wù)器,即可到公網(wǎng)訪問 LobeChat 了！

5. 實(shí)現(xiàn)公網(wǎng)訪問 LobeChat

我們用剛才 cpolar 生成的公網(wǎng)地址，打開一個新的瀏覽器復(fù)制粘貼，可以看到進(jìn)入到了 LobeChat 項(xiàng)目管理界面，然后選擇 Llama3.1 大模型就可以進(jìn)行在公網(wǎng)來使用了。

小結(jié)

如果我們需要長期進(jìn)行團(tuán)隊(duì)協(xié)作的話，由于剛才創(chuàng)建的是隨機(jī)的地址，24 小時會發(fā)生變化。另外它的網(wǎng)址是由隨機(jī)字符生成，不容易記憶。如果想把域名變成固定的二級子域名，并且不想每次都重新創(chuàng)建隧道來訪問 LobeChat，我們可以選擇創(chuàng)建一個固定的 http 地址來解決這個問題。

6. 固定 LobeChat 公網(wǎng)地址

我們接下來為其配置固定的 HTTP 端口地址，該地址不會變化，方便分享給別人長期查看你的博客，而無需每天重復(fù)修改服務(wù)器地址。

配置固定 http 端口地址需要將 cpolar 升級到專業(yè)版套餐或以上。

登錄 cpolar 官網(wǎng)，點(diǎn)擊左側(cè)的預(yù)留，選擇保留二級子域名，設(shè)置一個二級子域名名稱，點(diǎn)擊保留,保留成功后復(fù)制保留的二級子域名名稱。

保留成功后復(fù)制保留成功的二級子域名的名稱

返回登錄 Cpolar web UI 管理界面，點(diǎn)擊左側(cè)儀表盤的隧道管理——隧道列表，找到所要配置的隧道，點(diǎn)擊右側(cè)的編輯

修改隧道信息，將保留成功的二級子域名配置到隧道中

• 域名類型：選擇二級子域名
• Sub Domain：填寫保留成功的二級子域名

點(diǎn)擊更新(注意,點(diǎn)擊一次更新即可,不需要重復(fù)提交)

更新完成后,打開在線隧道列表,此時可以看到公網(wǎng)地址已經(jīng)發(fā)生變化,地址名稱也變成了固定的二級子域名名稱的域名

最后，我們使用固定的公網(wǎng) https 地址在任何瀏覽器打開訪問，可以看到訪問 LobeChat 成功了這樣一個固定且永久不變的公網(wǎng)地址就設(shè)置好了，然后選擇一下 Llama3.1 大模型就可以。

接下來就可以隨時隨地進(jìn)行異地公網(wǎng)來使用 Llama3.1 大模型了，把固定的公網(wǎng)地址分享給身邊的人，方便團(tuán)隊(duì)協(xié)作，同時也大大提高了工作效率！自己用的話，無需云服務(wù)器，還可以實(shí)現(xiàn)異地其他設(shè)備登錄！以上就是如何在本地安裝 Llama3.1 以及在本地部署 LobeChat 可視化界面的全部過程。

覺得有用的話點(diǎn)個贊 👍🏻 唄。
??????本人水平有限，如有紕漏，歡迎各位大佬評論批評指正！😄😄😄

💘💘💘如果覺得這篇文對你有幫助的話，也請給個點(diǎn)贊、收藏下吧，非常感謝!👍 👍 👍

🔥🔥🔥Stay Hungry Stay Foolish 道阻且長,行則將至,讓我們一起加油吧！🌙🌙🌙