什么是Ollama？它與大模型有什么聯(lián)系？

簡(jiǎn)單說(shuō)，Ollama就像是你電腦上的一個(gè) “大模型小助手”。

以前，很多強(qiáng)大的大語(yǔ)言模型，比如能回答各種問(wèn)題、寫(xiě)文章、翻譯等的那些模型，要么只能在網(wǎng)上的服務(wù)器上用，數(shù)據(jù)發(fā)過(guò)去存在隱私風(fēng)險(xiǎn)；要么就是運(yùn)行起來(lái)特別復(fù)雜，對(duì)電腦要求很高，普通人很難自己在電腦上用。

而 Ollama 出現(xiàn)后，它能讓你在自己的電腦上比較輕松地運(yùn)行很多不同的大語(yǔ)言模型。就好比你有一個(gè)模型倉(cāng)庫(kù)，里面放著像 LLaMA、Mistral 這些大模型，只要你電腦性能允許，通過(guò) Ollama 這個(gè)工具，你就能把這些模型 “召喚” 出來(lái)，讓它們?cè)谀愕碾娔X上干活，比如幫你寫(xiě)文案、陪你聊天等。

所以，Ollama 和大模型的關(guān)系就是，Ollama 是一個(gè)能讓大模型在本地電腦更方便運(yùn)行的工具平臺(tái)，它給大模型提供了在本地運(yùn)行的 “土壤”，讓人們可以更自由、更安全地使用大模型，而不用完全依賴網(wǎng)絡(luò)上的服務(wù)。

安裝ollama

聊起來(lái)

實(shí)測(cè)deepseek 1.5b有點(diǎn)智障了 還是7B起。

構(gòu)建對(duì)答UI窗口

可安裝open-webui或Chatbox。

open-webui鏈接：
https://github.com/open-webui/open-webui

如果Ollama在您的計(jì)算機(jī)上，請(qǐng)使用以下命令：
命令：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果Ollama在另一個(gè)服務(wù)器上，請(qǐng)使用以下命令：

要連接到其他服務(wù)器上的Ollama，請(qǐng)將OLLAMA_BASE_URL更改為服務(wù)器的URL：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要運(yùn)行支持Nvidia GPU的Open WebUI，請(qǐng)使用以下命令：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

如果只使用OpenAI API，請(qǐng)使用以下命令：

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安裝好后效果：

**安裝ChatBox，**鏈接：
ChaBox