類似于 【AI基礎(chǔ)】第三步：純天然保姆喂飯級-安裝并運行chatglm2-6b，有一些細節(jié)不一樣。

此系列文章列表：

【AI基礎(chǔ)】概覽

【AI基礎(chǔ)】第一步：安裝python開發(fā)環(huán)境-windows篇_下載安裝ai環(huán)境python

【AI基礎(chǔ)】第一步：安裝python開發(fā)環(huán)境-conda篇_minicode怎么換虛擬環(huán)境

【AI基礎(chǔ)】第二步：安裝AI運行環(huán)境

【AI基礎(chǔ)】第三步：純天然保姆喂飯級-安裝并運行chatglm2-6b

【AI基礎(chǔ)】第四步：保姆喂飯級-langchain+chatglm2-6b

【AI基礎(chǔ)】第五步：純天然保姆喂飯級-安裝并運行chatglm3-6b

【AI基礎(chǔ)】第六步：純天然保姆喂飯級-安裝并運行qwen2-7b

一、安裝miniconda

參考?【AI基礎(chǔ)】第一步：安裝python開發(fā)環(huán)境-conda篇_minicode怎么換虛擬環(huán)境-CSDN博客

二、安裝CUDA、cuDNN和pyTorch

參考?【AI基礎(chǔ)】第二步：安裝AI運行環(huán)境-CSDN博客

> pip install protobuf transformers==4.40.0 cpm_kernels torch>=2.3.0 sentencepiece accelerate

三、安裝RUST

參考?【AI基礎(chǔ)】第三步：純天然保姆喂飯級-安裝并運行chatglm2-6b 三、安裝RUST

四、運行chatglm3

4.1 創(chuàng)建環(huán)境

> conda create --name chatglm3
> conda activate chatglm3
> git clone https://github.com/THUDM/ChatGLM3
> cd chatglm3

4.2 調(diào)整

在chatglm3的依賴文件中，有vllm模塊，此模塊存在于linux系統(tǒng)中，在windows中安裝時需要注釋掉。

?

4.3 安裝

> pip install -r requirements.txt --verbose -i https://pypi.tuna.tsinghua.edu.cn/simple/

• --verbose，會顯示實時進度，避免下載大文件時耗時過長，造成卡死的假象。
• -i https://pypi.tuna.tsinghua.edu.cn/simple/，使用清華源，避免從官方下載造成速度慢。

??安裝完成。

4.4 下載大模型文件

4.4.1 HuggingFace下載

下載地址：https://huggingface.co/THUDM/chatglm3-6b

4.4.2 國內(nèi)下載

綜合鏡像站：

• 魔搭modelscope：chatglm3-6b 模型庫-魔搭社區(qū)
• AI快站：AI快站 - HuggingFace模型免費加速下載 - chatglm3-6b?
• 異型島：互聯(lián)高科 - chatglm3-6b
• HuggingFace鏡像站：THUDM/chatglm3-6b · HF Mirror??

4.4.3 下載完成

下載到本地的默認下載地址，文件結(jié)構(gòu)如圖（圖中文件，一個都不能少）：

4.5 運行代碼

4.5.1 官方示例

在 4.3 中下載的源碼中我們可以看到多個以 _demo 為結(jié)尾的文件夾，這些都是官方示例。

4.5.2 運行網(wǎng)頁端

修改大模型路徑：

運行網(wǎng)頁端命令：?

> streamlit run basic_demo\web_demo_streamlit.py

運行成功。