LlamaFactory 前言

LLaMA Factory 是一個(gè)用于微調(diào)大型語(yǔ)言模型的強(qiáng)大工具，特別是針對(duì) LLaMA 系列模型。

可以適應(yīng)不同的模型架構(gòu)和大小。

支持多種微調(diào)技術(shù)，如全參數(shù)微調(diào)、LoRA（ Low-Rank Adaptation ）、QLoRA（ Quantized LoRA ）等。

還給我們提供了簡(jiǎn)單實(shí)用的命令行接口。

支持多 cpu 訓(xùn)練，多任務(wù)微調(diào)，還有各種內(nèi)存優(yōu)化技術(shù)，如梯度檢查點(diǎn)、梯度累積等。

支持混合精度訓(xùn)練，提高訓(xùn)練效率。

本文不再贅述 LlamaFactory 的安裝過(guò)程

LlamaFactory參數(shù)基本設(shè)置

打開(kāi)我們 LlamaFactory 的 web 運(yùn)行界面，進(jìn)入根目錄執(zhí)行下列命令：

llamafactory-cli webui

看到下列界面

在瀏覽器打開(kāi)我們開(kāi)啟的 webui 界面 http://127.0.0.1:7860：

我們依次來(lái)解釋每個(gè)參數(shù)的選擇：

這里是語(yǔ)言選擇

選擇 zh 即可。

模型選擇

選擇適合自己的模型，這里都會(huì)從 Hugging Face 里面下載，

這一步是自定義路徑

一般就用選擇好的默認(rèn)路徑即可。

微調(diào)方法：

這里有三種，full全參數(shù)微調(diào)， Freeze（凍結(jié)部分參數(shù)） LoRA&