Stable Diffusion -- 如何使用LoRA

更新 發佈閱讀 6 分鐘

感想

在文章最前頭,先說感想:

奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊

vocus|新世代的創作平台

 問題

當我們在用AI算圖的時候,無論是MidJourney,DALL-E,Stable Diffusion還是其他生成式AI算圖,最常遇到的兩個麻煩事是:

  1. 角色在同一個模組逐漸變形
  2. 角色跨模組直接變形
  3. 知名角色,模組不認識

第一個情形是,當你用提示詞好不容易算出一個你喜歡的角色時,想在同一個模型裡面使用不同姿勢、場景、表情、服裝與藝術家風格等調整角色時,AI算出來的圖不一定都跟原本你一開始算出來的角色一樣。這時候最常用的做法就是不停微調提示詞,然後大量產圖拼手氣。

第二個情形是,一模一樣的提示詞在模組A能產生你要的角色形象,但是在模組B不一定能產生非常相像的角色,例如下圖:

vocus|新世代的創作平台

這時候你只能靠不斷調整提示詞來拼運氣,但有時候不管怎麼調整都沒用。

第三個情況在動漫模組非常常見,某個在動漫模組非常知名的角色,跑到寫實模組裡面就對應不到任何相像的角色,例如巴洛克大叔在他的文章中提到的問題

使用LoRA

為了解決這些問題,生成式AI有許多不同特性的解法,今天要介紹的LoRA就是一個才剛在Stable Diffusion上實作沒多久,但是因為效果非常顯著,所以很快就流行起來的手段。

LoRA在Automatic1111上的使用方法很簡單,無論是自己烘焙的LoRA或者從huggingface,Civitai等網站抓下來的LoRA,例如這個薩爾達公主的LoRA,抓下來之後放入/models/Lora/ 檔案夾之後,重新啟動Automatic1111之後就能用了!

至於確實的用法,請參考這篇巴洛克大叔的文章,有非常詳盡的步驟介紹。

這邊提一下最簡單的用法:

  1. 在Show/Hide Extra Network按鈕上按一下打開Extra Network區域
  2. 在新出現的區域上選擇Lora標籤,挑選自己要的LoRA
  3. LoRA會以 <lora:檔案名:權重>的型式出現在正面提示詞裡面(也只能用在正面提示詞)
  4. 把啟動提示詞填在正面提示詞裡面,每個LoRA的正面提示詞都不一樣,在下載的頁面中會提到,例如薩爾達公主的LoRA下載頁面,作者提到他的提示詞是princess zelda

使用LoRA的時候要注意的是,LoRA算是一種對整個模型都會產生影響的外掛,所以給他的權重過高,會造成整個畫面嚴重變形,而且不同的LoRA對不同模型的干擾程度都不一樣,需要自行測試。

以我自己烘焙出來的LoRA為例,在不同模型不同權重下的結果:

(extremely detailed CG unity 8k wallpaper), 
digital painting of Vallaria with black dress,
headband, hair ribbons, solo, fantasy,
best quality, masterpiece, hdr, ultra highres,
trending on artstation
<lora:Vallaria30Epochs:0.0>
vocus|新世代的創作平台

權重為0的時候其實毫無營響。當權重到達0.5以上,就會開始產生破圖。某些模組甚至在0.3的時候就連畫風與背景風格都會改變。所以在實際使用時,都會先從0.1開始慢慢往上加,測試這個模組能夠容忍不變形的極限。

順帶一提,LoRA其實可以共同使用,所以使用人物的LoRA同時使用風格類的LoRA理論上是可行的:

vocus|新世代的創作平台

上面的圖就是同時使用人物LoRA與wlop大大的畫風LoRA的成果。

但是,Automatic1111會在把LoRA提示詞在LoRA混合進模型之後拿掉,所以一些特殊的Automatic1111語法是無法使用的,例如混合提示詞:

[Vallaria:old man:0.2]

下一篇,讓我們來看看如何準備自己的訓練圖,然後烘焙自己的LoRA!

參考連結


LoRA目錄:

留言
avatar-img
子不語怪・力・亂・神
38.0K會員
455內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2023/06/26
這篇討論的是LoRA訓練裡面,可能是最重要的一步,就是選圖的標準,以及提示詞的選取策略。 最近在詳細研究到底要如何練出優質穩定的LoRA,參考了幾個Youtuber,以及Reddit上的影片跟文字分享,把一些訣竅整理條列在下面。
Thumbnail
2023/06/26
這篇討論的是LoRA訓練裡面,可能是最重要的一步,就是選圖的標準,以及提示詞的選取策略。 最近在詳細研究到底要如何練出優質穩定的LoRA,參考了幾個Youtuber,以及Reddit上的影片跟文字分享,把一些訣竅整理條列在下面。
Thumbnail
2023/05/24
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
2023/05/24
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
2023/05/02
接續上一篇,我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
Thumbnail
2023/05/02
接續上一篇,我們開始用準備好的訓練素材圖跟規範圖來烘焙我們的高品質LoRA。
Thumbnail
看更多
你可能也想看
Thumbnail
從三月開始到現在,學習AI算圖差不多半年。這半年來,遇過最困難的挑戰,就是如何建構多人構圖。
Thumbnail
從三月開始到現在,學習AI算圖差不多半年。這半年來,遇過最困難的挑戰,就是如何建構多人構圖。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
這篇要來討論,我們是否能靠著一張圖,就能鍛鍊出LoRA。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這一篇是Lora系列文的最後一篇,講一下如何使用Lora,如果你已經懂的使用Lora那可以跳過這一篇。
Thumbnail
這一篇是Lora系列文的最後一篇,講一下如何使用Lora,如果你已經懂的使用Lora那可以跳過這一篇。
Thumbnail
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
Thumbnail
因為最近在玩這篇ACG LoRA的寫實風運用 - Stable Diffusion 心得中的內容,所以繼約兒後也嘗試了2B的LoRA。
Thumbnail
畫好玩的,只是有個大致的特徵,細節其實很多吐槽點,飾品也沒跟遊戲裡完全一樣。 這篇不算教學所以發在繪本專題內,只是日常小玩意,所以其實也沒什麼好教的,直接去下載現成的zelda lora使用即可生出類似成品。如果對角色特別有愛的再去DIY煉成Lora。 CG質感還是保留一點感覺好一點。
Thumbnail
畫好玩的,只是有個大致的特徵,細節其實很多吐槽點,飾品也沒跟遊戲裡完全一樣。 這篇不算教學所以發在繪本專題內,只是日常小玩意,所以其實也沒什麼好教的,直接去下載現成的zelda lora使用即可生出類似成品。如果對角色特別有愛的再去DIY煉成Lora。 CG質感還是保留一點感覺好一點。
Thumbnail
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
Thumbnail
奮戰整整三天,終於可以讓妳在任何模組上出現,這感覺真好。😊 來說說為何使用LoRA,還有它的一些特性。
Thumbnail
整整一個月前,我開始接觸AI繪圖,它帶給我的震撼,開啟了我一個月的追尋之旅。
Thumbnail
整整一個月前,我開始接觸AI繪圖,它帶給我的震撼,開啟了我一個月的追尋之旅。
Thumbnail
這次的測試純粹是我個人好奇同一組繪圖prompt分別使用在真人風格與動漫風格的model下,會有什麼差別? 真人風格的model使用Basil mix,動漫風格的model使用anything-v4.5。Lora來源為C站的瑪奇瑪Lora。
Thumbnail
這次的測試純粹是我個人好奇同一組繪圖prompt分別使用在真人風格與動漫風格的model下,會有什麼差別? 真人風格的model使用Basil mix,動漫風格的model使用anything-v4.5。Lora來源為C站的瑪奇瑪Lora。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News