前言

我向來不喜歡搞一些沒有用的概念，所以直接整理可能用到的東西。

sd簡單的說就是一個更據(jù)描述生成不同風格的圖片的東西，與之對應的還有mj，但是我絕對不會使用他，為什么，因為收費，可以不賺錢，但是絕對不能往里搭，無非浪費一些時間而已

軟件下載

• 秋葉aaaki 唯一賬號：https://space.bilibili.com/12566101

概述

Stable Diffusion模型并不是單一的文生圖模型，而是多個模型組成的運作系統(tǒng)，其中的技術(shù)可以拆解為3個結(jié)構(gòu)來看：

• ClipText 文本編碼器 ：用于解析提示詞的Clip模型
  • 編碼器Clip ，它是由OpenAI公司開發(fā)的模型，包括文本編碼和圖像編碼2個部分，分別用于提取文本和圖像的特征，通過搜集大量網(wǎng)絡(luò)上的圖像和文字信息再對Clip模型進行訓練，可以實現(xiàn)文本和圖像的對應關(guān)系。
  • 在SD模型運作過程中，它可以提取提示詞文本部分的特征傳遞給圖像生成器，讓模型理解我們輸入的提示詞內(nèi)容，從而達到文本控制圖像生成的目的。
• Diffusion擴散模型 ： 用于生成圖像的U-Net 和Sche duler
  • 就是更據(jù)算法什么東西的生成圖像
• VAE模型 ： 用于壓縮和恢復的圖像解碼器
  • 相當于濾鏡

SD安裝

1、安裝軟件

2、啟動

3、配置

4、運行

5、測試

要么直接彈窗，要么就復制控制臺中的鏈接http://127.0.0.1:7860
打開頁面后直接點擊生成，看看有沒有圖片生成

導入SD模型【決定畫風】

常用模型

• Checkpoint（大模型）【常用】
  • 相當于風格濾鏡，例如 油畫，漫畫，寫實風等。
  • 需要注意的是，一些Checkpoint需要與特定的低碼率編碼器（Lora）配置使用，以獲得更好的效果
• VAE模型
  • 對模型的濾鏡進行微調(diào)，不同的VAE右一些細節(jié)上的差異，但是不會影響輸出的效果
  • 可以理解成對模型進行增強，有些模型文件已經(jīng)有了VAE效果，所以不要盲目掛載，選擇自動模式就行
• embedding
  • 相當于組件。舉個例子，如果我們想要生成一個開心的皮卡丘，通常需要輸入很多描述詞，如黃毛、老鼠、長耳朵、紅等等。但是，如果引入皮卡丘的embedding，我們只需要輸入兩個詞：皮卡丘和開心。皮卡丘的embedding打包了所有皮卡丘的特征描述，這樣我們就不用每次輸入很多單詞來控制生成的畫面了。
  • 在日常使用中，embedding技術(shù)通常用于控制人物的動作和特征，或者生成特定的畫風。相比于其他模型（如LORA），embedding的大小只有幾十KB，而不是幾百兆或幾GB，除了還原度對比lora差一些但在存儲和使用上更加方便
• LoRA模型【常用】
  • LORA與embedding在本質(zhì)上類似，因為攜帶著大量的訓練數(shù)據(jù)，所以LORA對人物和細節(jié)特征的復刻更加細膩。
  • 每個LORA模型對輸出圖像的權(quán)重設(shè)置是非常重要的。權(quán)重設(shè)置越大，對畫面的影響因素就越淺。通常情況下，權(quán)重應該控制在0.7-1之間。如果權(quán)重過高，會大幅度影響出圖的質(zhì)量。
  • 為了獲得最佳效果，我們可以根據(jù)不同的LORA模型選擇適當?shù)奶崾驹~和排除詞，并在設(shè)置權(quán)重時進行調(diào)整。同時，我們還可以參考其他作者的經(jīng)驗和技巧，以便更好地利用LORA生成圖像

下載安裝模型

• https://civitai.com/各類模型下載也俗稱c站（不穩(wěn)定，用魔法）
• https://lexica.art/找一些風格提示詞不錯
• https://www.liblib.art/

SD卸載

直接把整個文件夾刪除，刪除前記得把模型復制出來，以后還能用

SD文生圖

Stable Diffusion基礎(chǔ)的操作流程并不復雜

1. 選擇模型【決定畫風】
2. 選擇功能（文生圖）
3. 填寫提示詞【主要決定畫面內(nèi)容】
4. 設(shè)置參數(shù) 【設(shè)置圖像的預設(shè)屬性】
5. 點擊生成。
   通過操作流程就能看出，我們最終的出圖效果是由 模型、提示詞、參數(shù)設(shè)置 三者共同決定的，缺一不可。
   

提示詞

大家都知道，如今的AI工具大多是通過提示詞來控制模型算法，那究竟什么是提示詞？

對于人類而言，在經(jīng)過多年的學習和使用后，我們只需簡單的幾句話便能輕松的溝通和交流。但如今的人工智能還是基于大模型的數(shù)據(jù)庫進行學習，如果只是通過簡單的自然語言描述，沒有辦法做到準確理解。為了更好的控制AI，人們逐漸摸索出通過反饋來約束模型的方法，原理就是當模型在執(zhí)行任務的時候，人類提供正面或負面的反饋來指導模型的行為。而這種用于指導模型的信息，就被統(tǒng)稱為 Prompt提示詞。

Stable Diffusion的咒語上除了prompt（正向關(guān)鍵詞）外，還有Negative prompt反向關(guān)鍵詞。

• 正向提示詞用于描述想要生成的圖像內(nèi)容，
• 反向關(guān)鍵詞用于控制不想出現(xiàn)在圖像中的內(nèi)容

比如目前很多模型還無法理解的手部構(gòu)造，為了避免出現(xiàn)變形，我們可以提前在反向關(guān)鍵詞中輸入手部相關(guān)的提示詞，讓繪圖結(jié)果規(guī)避出現(xiàn)手的情況。

注意：不是zg人開發(fā)的，所以這里的提示詞去翻譯成英文，只需以詞組形式分段輸入即可，詞組間使用英文逗號進行分隔。大部分情況下字母大小寫和斷行也不會影響畫面內(nèi)容，我們可以直接將不同部分的提示詞進行斷行，由此來提升咒語的可讀性。

提示詞使用技巧

當然如果每次都是想到什么輸什么，畫面中可能還是會缺失很多信息，這里給大家分享一下我自己平時使用的提示詞公式，按順序分別為： 主體內(nèi)容、環(huán)境背景、構(gòu)圖鏡頭、圖像設(shè)定、參考風格。 后續(xù)在編寫咒語時可以按照一下類目對號入座，會更加規(guī)范和易讀。
需要注意的是，公式只是參考，并非每次編寫咒語我們都要包含所有內(nèi)容，正常的流程應該是先填寫主體內(nèi)容看看出圖效果，再根據(jù)自己的需求來做優(yōu)化調(diào)整。

提示詞的高級使用技巧

強調(diào)關(guān)鍵詞

先來看看 強調(diào)關(guān)鍵詞 ，這應該是使用最為頻繁的語法了。強調(diào)關(guān)鍵詞是依賴括號和數(shù)值來控制特定關(guān)鍵詞的權(quán)重，當權(quán)重數(shù)值越高，說明模型對該關(guān)鍵詞更加重視，在運行過程中模型就會著重繪制該部分的元素，在最終成像時圖片中就會體現(xiàn)更多對應信息。反之數(shù)值越低，則最終圖片中對應內(nèi)容會展示的更少。

控制關(guān)鍵詞的括號共有三種類型： 圓括號()、花括號{}和方括號[] ，分別表示將括號內(nèi)關(guān)鍵詞的權(quán)重調(diào)整到原有的1.1倍、1.05倍和0.9倍。其中花括號{}平時很少會使用， 一般都是用圓括號()和方括號[] 。

需要注意的是，這里括號是支持多層疊加的，每層括號都表示乘以固定倍數(shù)的權(quán)重

除了直接加括號外，還有一種更常用的控制權(quán)重方法，那就是直接填寫數(shù)值。

雖然強調(diào)關(guān)鍵詞語法支持的權(quán)重范圍在0.1～100之間，但是過高和過低的權(quán)重都會影響出圖效果，因此建議大家控制在 0.5～1.5 范圍即可。

這里還有個快捷操作的小技巧，就是選中對應關(guān)鍵詞后，按住 ctrl+?? / ?? ，可以快速增加和減少權(quán)重數(shù)值，默認每次修改0.1，可以在設(shè)置中修改默認數(shù)值。