本文簡介

就在今天，Meta 發(fā)布了 Llama 3.1，這次帶來的中杯、大杯和超大杯3個版本。

從紙面數(shù)據(jù)來看，Llama 3.1 超大杯已經能跟 GPT-4 Omni、Claude 3.5 Sonnet 分庭抗禮了。

而中杯和大杯更是將同量級的對手摁在地上摩擦。

要知道，Llama 的對手可是閉源模型啊工友們！

小扎同志說，開源AI會成為行業(yè)的標準，就像Linux一樣！

不管怎么說，既然你開源了，那我就在本地部署起來吧。

本文使用 Ollama 在本地運行大語言模型，它不止能運行 Llama 3.1 ，還支持阿里的 qwen2 等開源模型。

同時借助 OpenWebUI 的幫助，讓你可以在圖形化界面里跟 Llama 3.1 聊天互動。

安裝 Ollama

Ollama 是一個專門為在本地環(huán)境中運行和管理大型語言模型（LLM）而設計的開源工具。

打開 Ollama官網(wǎng) 下載 Ollama。

根據(jù)你的系統(tǒng)去下載對應的安裝包即可。下載完就運行它，傻瓜式安裝，一直點“下一步”就行了。安裝完你就能看到一個客戶端的圖標。

下載并運行 Llama 3.1

回到 Ollama官網(wǎng)，進入 Models 頁面，這里會列出很多熱門的模型。你也可以在搜索框里搜索自己想要的模型。

這里我們選擇 llama3.1 。

藍框可以選擇不同量級的 Llama 3.1 模型，紅框是選中的這個模型的下載和運行命令。

405b的模型231個G，我電腦實在玩不起，硬盤的剩余空間都沒這么大😭

我就拿8b的模型演示一下吧～

在終端輸入這條命令就會開始下載 Llama 3.1 8b的這個模型，如果已經下載過了它會直接運行，不需要重復下載。

ollama run llama3.1

下載并運行成功后，你就可以在終端跟 Llama 3.1 這個模型對話了。

當然啦，如果你覺得 Llama 的中文不太強，可以試試阿里的 qwen2 ，在 Ollama官網(wǎng) 搜 qwen2 選擇指定版本，復制下載命令到終端執(zhí)行即可。

搭建 Web 界面

在終端和大語言模型聊天實在太原始了，有套好看的 Web 界面會更容易在老板面前裝杯。

本文要介紹的是 OpenWebUI，使用 docker 運行它會比較方便。

看到 docker 不要慌，很簡單的。

打開 docker官網(wǎng) ，根據(jù)你的系統(tǒng)下載對應版本的 docker 客戶端。

接著繼續(xù)傻瓜式安裝即可。

安裝完 docker 后，需要打開 docker 客戶端。

接著我們打開 OpenWebUI 的文檔，文檔列出幾種運行方式，如果在本地運行，復制紅框的命令在終端運行即可。如果你電腦有N卡，可以用綠框那條命令。

執(zhí)行完上面的命令后，在瀏覽器訪問 http://localhost:3000/ 就能看到下面這個界面。

首次注冊的用戶是管理員賬戶，郵箱和密碼都可以隨便填，這些都是保存在你本地的數(shù)據(jù)。只要你記得自己注冊的是什么郵箱和密碼就行了。

登錄后就能看到上面這個界面，在聊天窗上方選擇 llama3.1 模型就可以開始愉快的聊天了。

---

以上就是本文的全部內容啦。下一篇打算介紹一下“如何在本地部署一個基于 Llama 3.1 的 Coze 平臺” 😁

如何學習AI大模型？

我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里，指導過不少同行后輩。幫助很多人得到了學習和成長。

我意識到有很多經驗和知識值得分享給大家，也可以通過我們的能力和經驗解答大家在人工智能學習中的很多困惑，所以在工作繁忙的情況下還是堅持各種整理和分享。但苦于知識傳播途徑有限，很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學習提升，故此將并將重要的AI大模型資料包括AI大模型入門學習思維導圖、精品AI大模型學習書籍手冊、視頻教程、實戰(zhàn)學習等錄播視頻免費分享出來。

第一階段： 從大模型系統(tǒng)設計入手，講解大模型的主要方法；

第二階段： 在通過大模型提示詞工程從Prompts角度入手更好發(fā)揮模型的作用；

第三階段： 大模型平臺應用開發(fā)借助阿里云PAI平臺構建電商領域虛擬試衣系統(tǒng)；

第四階段： 大模型知識庫應用開發(fā)以LangChain框架為例，構建物流行業(yè)咨詢智能問答系統(tǒng)；

第五階段： 大模型微調開發(fā)借助以大健康、新零售、新媒體領域構建適合當前領域大模型；

第六階段： 以SD多模態(tài)大模型為主，搭建了文生圖小程序案例；

第七階段： 以大模型平臺應用與開發(fā)為主，通過星火大模型，文心大模型等成熟大模型構建大模型行業(yè)應用。

👉學會后的收獲：👈
? 基于大模型全棧工程實現(xiàn)（前端、后端、產品經理、設計、數(shù)據(jù)分析等），通過這門課可獲得不同能力；

? 能夠利用大模型解決相關實際項目需求： 大數(shù)據(jù)時代，越來越多的企業(yè)和機構需要處理海量數(shù)據(jù)，利用大模型技術可以更好地處理這些數(shù)據(jù)，提高數(shù)據(jù)分析和決策的準確性。因此，掌握大模型應用開發(fā)技能，可以讓程序員更好地應對實際項目需求；

? 基于大模型和企業(yè)數(shù)據(jù)AI應用開發(fā)，實現(xiàn)大模型理論、掌握GPU算力、硬件、LangChain開發(fā)框架和項目實戰(zhàn)技能， 學會Fine-tuning垂直訓練大模型（數(shù)據(jù)準備、數(shù)據(jù)蒸餾、大模型部署）一站式掌握；

? 能夠完成時下熱門大模型垂直領域模型訓練能力，提高程序員的編碼能力： 大模型應用開發(fā)需要掌握機器學習算法、深度學習框架等技術，這些技術的掌握可以提高程序員的編碼能力和分析能力，讓程序員更加熟練地編寫高質量的代碼。

1.AI大模型學習路線圖
2.100套AI大模型商業(yè)化落地方案
3.100集大模型視頻教程
4.200本大模型PDF書籍
5.LLM面試題合集
6.AI產品經理資源合集

👉獲取方式：
😝有需要的小伙伴，可以保存圖片到wx掃描二v碼免費領取【保證100%免費】🆓