Stable Diffusion進階 -- 製作角色設定圖

更新 發佈閱讀 7 分鐘
vocus|新世代的創作平台

前言

今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。

在一兩個月之前,要製作角色設定圖這種多面向且高度一致的人物圖,除了用Textual Inversion或者LoRA之外,還有用ControlNet的方法,經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。

這個方法主要是運用了簡單的ControlNet openpose功能,以及Inpaint來製作。不需要用到Textual Inversion或者LoRA。

第一步,配合骨架圖出圖

首先,在txt2img裏面,使用這樣的正面提示詞:

(character sheet of the same exact Vallaria wearing black beret with golden rim and intricate [white|golden] robe and black cloak),
(((white background))), (((simple studio background))), reference sheet,
((fantasy)), ((kind smiling)), real face, real skin, realistic face, realistic skin, detailed eyes, detailed facial features, detailed clothes features, detailed face and breast, beautiful eyes, detailed eyes, perfect body, perfect breasts, perfect face,
(best quality, masterpiece), (realistic), photorealistic, RAW photo
<lora:VallariaV2:0.35>

第一段是交代人物的基本構造,在這例我使用自製的人物LoRA配合特定衣飾,然後用character sheet of the same exact當開頭,讓AI知道我們要繪製的是角色設定稿。

第二段交代AI使用簡單的白背景與工作室背景,免得AI畫出太多背景,干擾設定稿的質感。

第三四段添加許多修飾詞來提高整體氛圍與質感,例如我用高權重指定奇幻風,並且人物要微笑。

之後是最重要的一步,請打開ControlNet,使用Openpose,並使用繪畫人物設定稿專用的骨架圖。網路上有很多骨架圖,我使用的是這幾張

vocus|新世代的創作平台
vocus|新世代的創作平台
vocus|新世代的創作平台

通常第一張的尺寸我會設定為1024X512 (二比一),這樣算圖才快,能夠一次產個十幾張不同的圖讓我挑選最滿意的圖進行下一步:

vocus|新世代的創作平台

我以這張圖來進行下一步:

vocus|新世代的創作平台

第二步,放大並修臉

這張圖,右邊半身像的表情與服裝正是我要的,但是左邊的角色旋轉圖問題很大,第一是臉整個都崩了,看了晚上都要做惡夢了。第二個是最左邊的角色圖,帽子長了角。

臉崩的問題主要是因為我們使用的模組,通常是專精於產生漂亮半身像與頭像,例如我使用的RealDosMix,對於全身圖、動作圖等圖不熟,AI很容易算到臉崩或肢體崩,此時我們就需要針對這些部位修圖。

首先,將第一步的圖用send to img2img這個按鈕送進img2img,然後將他擴展最少50%。以我的例子,就是擴展到1536X768,這樣AI才能在之後的步驟修臉。而Reszie mode選擇Just resize

Just resize(latent upscale)這個選項放大出來的圖會糊掉,但是也會產生一種朦朧美,看個人需求。

另外,別忘了把txt2img的ControlNet設定也重複在這邊設定一次,否則擴圖之後人物姿勢可能會跑掉。

vocus|新世代的創作平台

圖片成功放大之後,請按Send to inpaint,將圖送進部分重繪。

在這邊,要將人物崩掉的臉與出錯的服飾圈選起來:

vocus|新世代的創作平台

接著將inpaint的參數設定好:

  • Mask content選擇original,告訴AI其實我要的結果跟原圖差不多,這樣出來的臉才會跟整體畫風契合。
  • Inpaint area選擇Only masked。如果選成Whole picture,最後臉還是會崩掉。
  • Denoising strength選擇低於0.5,太高人物的頭可能會歪掉。
vocus|新世代的創作平台

至於為什麼Inpaint area要選擇Only masked,這是因為這樣等於告訴AI,被選取的區域是要注重的地方,AI會將你選取的區域放大,針對放大區域重繪之後,再縮小並合併回原圖。這時你善於繪製頭像與半身像的模組就能發揮特長了。

當圖輸出之後,如果有跟原畫不協調的部分,可以將成果圖再輸入回img2img,然後用低Denoising strength再輸出一次,就能得到更一致的結果:

vocus|新世代的創作平台

最後

現在已經有了很多方法可以大量隨機生成角色,配上上面第一步設定,就能大量做出人物設計圖,讓PM與美工在角色生成與溝通這環節省下大量時間,限制角色的因素,只剩下顯卡效能與電費還有設定提示詞的創意了。

下面就是一個生成大量隨機角色的方法(從13:20處開始):

享受AI算圖的快樂吧!


進階技巧目錄:

留言
avatar-img
子不語怪・力・亂・神
38.1K會員
455內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
Thumbnail
偶而會碰到一種例子,就是在算圖時發現了一個很不錯的全身人物圖,當我將它放大之後,又想要抓個臉部特寫,卻發現人物的臉已經糊掉了。這時我們有個終極方法可以將它清晰化。
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
討論如何補救全身肖像下,AI算到崩潰的小臉。
Thumbnail
討論如何補救全身肖像下,AI算到崩潰的小臉。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News