ComfyUI研究 - IPAdapter Plus v2

更新 發佈閱讀 4 分鐘

前言

2024/03/23 IPAdapter Plus 的節點作者cubiq對節點進行了一次更新,我在當天是在X上看到這個消息,分享訊息的人是要警告使用者不要急著更新,因為cubiq進行的是一次破壞性的更新,意謂著舊有的工作流都將無法使用。

大概過了一個星期,我還是忍不住進行了更新,因為我有兩套ComfyUI,如果弄壞了一套,還有另一套可以維持舊版本的運作。

下面連結是ComfyUI_IPAdapter_Plus的github網址,現在只能下載新版本。

https://github.com/cubiq/ComfyUI_IPAdapter_plus

先說結果,我最終將兩套ComfyUI都更新為最新版的節點組,因為新版節點容易報錯的原因只是模型的命名路徑問題,雖然舊有的工作流需要換成新的節點才可以恢復運作,但是新舊節點的使用方法差異不大,所以在替換上沒有太大難度。


更新內容

cubiq這次更新的最主要內容是簡化並自動化載入模型流程,並提高效能。

根據節點頁面的說明,現在只要在工作流中載入一次IPAdapter模型即可供給工作流中所有節點使用,且載入模型改採選單方式,只要選擇想要的模式,節點就會自動判讀選用的大模型版本(SD1.5或SDXL)載入對應的IPAdapter模型。

而更新完常見的報錯原因是缺少模型,如果想要完整使用IPAdapter的功能,只要在節點網頁下載"所有"模型並按照網頁說明命名放到正確的資料夾中即可。

目前我在擁有所有模型後,跟著作者的教學影片一步步搭建工作流,皆能順利運行。

相信應該大多數使用者都可以安心使用最新的節點。

另外更新前也要更新ComfyUI,透過Manager可以一鍵更新,沒有任何難度。


工作流


基本使用

vocus|新世代的創作平台

和舊版IPAdapter一樣,節點需要的是輸入基底模型、輸入IPAdapter模型、輸入影像,輸出則是只是model一個節點,可以簡單的理解這個流程就是將輸入的影像資訊加入到基底模型裡,但權重太高的話,生成的圖像與會受到輸入圖像的影響太大,容易生成過度相似的圖像。

下圖將IPAdapter新版節點獨立拉出來看。

vocus|新世代的創作平台

IPAdapter Unified Loader這個節點會自動判讀基底模型版本為SD1.5或是SDXL,並自動載入對應的IPA模型跟clip_vision模型,

在節點說明頁面中,有說明使用這個節點應下載的模型及命名。

vocus|新世代的創作平台

其中clip_vision模型如果有下載舊版的只要重新命名就可以使用。

  • SD1.5版本 > CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors
  • SDXL版本 > CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors


串接使用

與舊版相同,新版的一樣可以串接使用,串接的方式沒有太大限制。

下圖是串接兩個IPAdapter Advanced輸入兩張圖片混合生成的結果。

vocus|新世代的創作平台

下圖串接了不同強度的IPAdapter模型,也可以順利執行。

vocus|新世代的創作平台


輸入兩個影像

下圖是輸入兩個參考影像的工作流,產生的效果和串接不同IPAdapter類似。

vocus|新世代的創作平台

只要調整combine_embeds的模式,就可以混合出不同效果。

模式有concat、add、subtract、average、norm average五種。

使用subtract模式會出現image1-image2的效果。


輸入多個影像

下圖是輸入三個參考影像的工作流,只要使用Batch Images就可以輸入更多影像。

vocus|新世代的創作平台

但是輸入影像過多就會看不太出來混合了那些元素。


輸入資料夾

搭配Load Image Batch From Dir (Inspire)節點,可以省去使用一堆Batch Images的麻煩。

vocus|新世代的創作平台



輸入負面影像

新版的節點允許輸入影像做為負面圖片提示詞,如下圖。

vocus|新世代的創作平台

透過加入負面圖片提示詞可以省去輸入負向文字提示詞的時間,上圖示範的是輸入高畫質圖片做為負面圖片提示詞讓生成的圖片更接近平面插畫的感覺。

如果輸入的是一張低畫質、模糊不清的圖片,則可提高生成圖片的品質。


輸入噪點圖像

作者很貼心的提供了IPAdapter Noise節點,可以將圖像加入噪點與扭曲模糊,作為負面圖片提示詞使用,可以很好的增加生成圖像品質。

vocus|新世代的創作平台


小結

IPAdapter新版本節點在使用上比較舊節點方便很多,少了很多手動選用模型的步驟,而且在下載完新的模型只要丟進對應的資料夾就可以直接使用,不用關閉ComfyUI再重新開啟。

IPAdapter還可以搭配Controlnet、AnimateDiff等其他功能使用,另外還有Faceid供換臉需求使用。

為了不讓本篇篇幅過長,先介紹到這邊為止。

留言
avatar-img
Frank Plaza
13.8K會員
89內容數
AI的時代已經來臨
Frank Plaza的其他內容
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/06
這篇要搭建一個同時生成寫實照片跟動漫風格圖片的工作流,還可以幫線稿上色。
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/02
測試一下InstantID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
2024/04/01
測試一下 IPAdapter FaceID
Thumbnail
看更多
你可能也想看
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
Thumbnail
這是為了搭建自己想要的工作流而開始的研究工作。
Thumbnail
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
IPAdapter節點重大更新,要不要更新呢?
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
這篇要使用IPAdapter搭配遮罩來進行特殊的構圖方式。
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
背景:從冷門配角到市場主線,算力與電力被重新定價   小P從2008進入股市,每一個時期的投資亮點都不同,記得2009蘋果手機剛上市,當時蘋果只要在媒體上提到哪一間供應鏈,隔天股價就有驚人的表現,當時光學鏡頭非常熱門,因為手機第一次搭上鏡頭可以拍照,也造就傳統相機廠的殞落,如今手機已經全面普及,題
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
ComfyUI教學第二階段之[使用ControlNet],除了介紹controlnet的使用方法,文末還有comfy在2023年12月的更新公告簡單導讀,帶你高速瀏覽一次更新內容。 這個階段一共會有三部影片、三篇文章。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這是一場修復文化與重建精神的儀式,觀眾不需要完全看懂《遊林驚夢:巧遇Hagay》,但你能感受心與土地團聚的渴望,也不急著在此處釐清或定義什麼,但你的在場感受,就是一條線索,關於如何找著自己的路徑、自己的聲音。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
這篇的主要目的是搭建出基本可用的Controlnet工作流。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
這篇文章討論了在安裝ComfyUI+krita時可能遇到的問題和解決方法。文章提供了詳細的步驟和提示,幫助讀者解決安裝過程中可能遇到的錯誤。如果你遇到了ComfyUI+krita安裝問題,這篇文章可以提供很好的參考和解決方案。
Thumbnail
這篇文章討論了在安裝ComfyUI+krita時可能遇到的問題和解決方法。文章提供了詳細的步驟和提示,幫助讀者解決安裝過程中可能遇到的錯誤。如果你遇到了ComfyUI+krita安裝問題,這篇文章可以提供很好的參考和解決方案。
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News