Stable Diffusion進階 -- 漸進式光影(二)

更新 發佈閱讀 5 分鐘
vocus|新世代的創作平台

前言

這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。

以下圖為例,我使用了兩個不同的角色LoRA做出了兩個人物,而我想將圖片的光源改成左上角,且加深對比並改變相對應的光影,除了使用諸如Studio lighting或Film lighting等提示詞之外,使用ControlNet加上Loopback也是可行的方法:

vocus|新世代的創作平台

這張圖與之前文章討論的情形不同的地方在於,我使用了兩個LoRA來繪圖,所以要借助Latent Couple加上Composable Lora來指定不同區域繪製不同LoRA角色,若不這樣做,那人物會在十幾回合的循環輸入中慢慢變形,最後變成完全不同的人物。

另外一點是,我發現若是每次都從全黑的遮罩底圖開始輸入,人物與原始圖片會出現差異,在很多場合上這是個問題,因此這次我要使用不一樣的遮罩搭配中低程度的Denoising strength,像在小火慢烤煮食物一樣,讓圖片的輪廓與色彩勁量保持不變,同時讓光影緩緩變化。

方法

首先,開啟任何有支援圖層與透明度的繪圖軟體,例如GIMP或Photopea,將原始圖片匯入,在其上加入全黑圖層,在圖層上用白色或其他高明度的顏色點出光源的位置,再調整圖層透明度,讓整張圖變成類似透過黑色玻璃的效果:

vocus|新世代的創作平台

將這張套上遮罩的圖片輸入img2img,然後開啟Composable Lora以及Latent Couple,將兩個角色圈選起來,輸入他們各自的提示詞:

vocus|新世代的創作平台
vocus|新世代的創作平台
vocus|新世代的創作平台

產生的提示詞會像這樣:

(extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, fantasy, indoor, (twilight:1.5), wooden floor with carpet, wooden ceiling, red brick wall, fireplace
AND (extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Sho16, 1boy, blonde hair, low ponytail, wearing white tunic, fantasy, right arm up <lora:Sho25:0.4>
AND (extremely detailed CG unity 8k wallpaper), best quality, masterpiece , hdr, ultra highres, Hana, surprised, wide-eyed, wearing white kimono, long loose hair, long sleeves, fantasy, right arm up <lora:Hana:0.4>

第一段提示詞是全圖背景,第二段提示詞是針對塗上藍色遮罩的男角色,第三段提示詞是針對塗上紅色遮罩的女角色。

接著是img2img的設定,為了不讓角色的衣服、表情與眼神發生太大變動,我測試不同的Denoising strength,發現低於0.3能大致保持所有的面部特徵:

vocus|新世代的創作平台

而ControlNet中,為了保持人物的表情與姿勢,除了使用提示詞之外,還要靠最能固定圖片形狀的canny加上人物表情的openpose_face來牽制線條的變形:

vocus|新世代的創作平台
vocus|新世代的創作平台

設定完成之後,接著設定Loopback。因為追求的是低變動,所以要將回合數設定到20回合以上,配上0.4這種稍高的Final denoising strength,就能緩慢地改變光影:

vocus|新世代的創作平台

成果

接著就開始跑圖吧!

vocus|新世代的創作平台

可以看到圖形從左上角的明亮光斑,到了最右邊已經順利融合進圖片,而人物身上的光影也在緩慢地改變。理論上可以將最終產生的圖片重新輸入img2img中再跑下一輪20張圖片,讓人物的光影改變更大,但這同時也會對人物產生更明顯的變化,所以要邊跑邊檢查,挑選最符合需求的圖片。


留言
avatar-img
子不語怪・力・亂・神
38.0K會員
455內容數
寫奇幻小說,畫圖,心得,各式各樣作品的故鄉。
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2024/04/11
今天要聊聊一個我最近AI作圖時常用的手法,就是使用真實世界的照片拼接縫合進AI生產的圖片後,補完AI作圖常出現的缺陷(歪曲的武器、錯誤的肢體姿勢、手指錯誤)。 使用這個方法,可以讓AI更貼近我所需要的完成圖,且少了很多用繪圖軟體修修補補的時間。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/15
最近這幾天都在玩Stable Diffusion近期最火紅的外掛 -- AnimatedDiff。最近加上了prompt travel這個功能,加上新的v2模型讓整體畫面變得很穩定,所以一玩下去驚為天人,決定好好研究這個東西怎麼運作。
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
2023/10/05
本篇要來解說一個最近新增的ControlNet前置處理器dw_openpose_full,如何使用它來快速修正爛掉的雙手手指。 這些方法的基礎都是使用實際的參考物,例如人偶網站的手,或者手指姿勢網站的手姿勢圖片來覆蓋掉原本的手,
Thumbnail
看更多
你可能也想看
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這篇文章要討論一種跟 Stable Diffusion進階 -- 漸進式光影 類似,但是用了多重人物LoRA的時候,同時又要求穩定性的調整光影手法。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
今天要來講的,是如何使用Stable Diffusion來製作角色設定圖。 經過了好幾次的嘗試之後,我找出了一個最穩定出圖,且步驟最少的方法。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
這篇文章想要聊一下,在使用ControlNet的reference_only時,因為原始參考圖實在太過於模糊,造成生產出來的圖片品質不佳的情況下要怎麼使用一些技巧提高參考圖的精細度。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
本篇文章要討論一個在出擬真或真人類型的圖片時,常常遇到的問題,就是光源太亮。 在許多熱門模型上,由於使用太多大白天模特兒的圖片,或者攝影棚高光圖片來訓練,所以在弄出人物時,儘管場所設定在夜間,也會出現不自然的超高光,或者整個照片的光源陰影不遵照提示詞來佈局的問題。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
前言 今天來分享如何把一張彩色圖片轉換成一張漫畫風格的黑白線稿的方法。 例如我想把一張水彩稿,或者一張照片轉換成黑白漫畫稿,不只是簡單地把一張圖換成灰階,而是連線條與陰影都要是漫畫風格。
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
這篇來探索一下目前在Automatic1111底下如何控制畫面的光影。光影在AI算圖中其實難度不小,尤其是想要產生特定位置或特定效果的光影,往往要用到很多綜合手段才能做到。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
  Stable Diffusion進入Image2Image的放大階段後,很少有算出來的成果是完全滿意的......
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
Thumbnail
當我們算圖時,有一種特殊情況是,我們對於整張圖的結果都很滿意,但是想要調整人物的表情。我們可以這樣做......
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News