설치와 컴퓨터 사양은 다루지 않는다. 처음이라면 ComfyUI 사용법 입문 — 사양·VRAM부터 설치·첫 이미지까지를 먼저 보고 오면 된다. 데스크톱 앱과 포터블 중 무엇을 깔지는 데스크톱 vs 포터블 비교에 따로 정리해 두었다.
기본 다섯 노드와 세 갈래가 붙는 자리
ComfyUI의 가장 단순한 이미지 생성은 다섯 노드로 끝난다. Load Checkpoint가 모델(MODEL)·텍스트 인코더(CLIP)·VAE 세 가지를 내보내고, CLIP Text Encode 두 개가 긍정·부정 프롬프트를 조건(CONDITIONING)으로 바꾸고, KSampler가 잠재 이미지를 그리고, VAE Decode가 픽셀 그림으로 바꾸고, Save Image가 저장한다. 공식 예제 문서는 «ComfyUI에서는 txt2img와 img2img가 같은 노드»라고 설명한다. 빈 잠재 이미지를 최대 denoise로 넣으면 txt2img, 그림을 넣고 denoise를 낮추면 img2img다.
심화 워크플로우를 짤 때 가장 먼저 잡아야 할 것은 «무엇을 바꾸는 노드인가»다. ControlNet·LoRA·업스케일은 각각 다른 선 위에 붙는다. 이 구분만 머리에 있으면 노드가 스무 개를 넘어도 길을 잃지 않는다.
| 갈래 | 붙는 선 | 들어가는 곳 → 나가는 곳 | 바꾸는 것 |
|---|---|---|---|
| LoRA | MODEL · CLIP | Load Checkpoint → (Load LoRA) → KSampler · CLIP Text Encode | 모델 가중치 자체(화풍·인물·사물) |
| ControlNet | CONDITIONING | CLIP Text Encode → (Apply ControlNet) → KSampler | 구도·자세·윤곽을 따르게 하는 조건 |
| 업스케일 | IMAGE 또는 LATENT | 1차 KSampler 뒤 → 키우기 → 2차 KSampler | 해상도와 세부 묘사 |
LoRA — MODEL과 CLIP 길에 끼우기
공식 예제 문서는 LoRA를 «메인 MODEL과 CLIP 위에 덧대는 패치»라고 설명한다. 그래서 노드도 그 두 선 위에 선다. Load LoRA(내부 이름 LoraLoader)는 MODEL과 CLIP을 받아 둘 다 내보내고, 입력 칸 strength_model·strength_clip으로 각각 얼마나 덧댈지 정한다. 기본값은 둘 다 1.0이다. 파일은 models/loras 폴더에 둔다.
선 잇기에서 가장 흔한 실수
LoRA 노드의 MODEL 출력은 KSampler로 가는데, CLIP 출력을 CLIP Text Encode에 다시 이어 주지 않는 경우가 많다. 이렇게 되면 프롬프트는 LoRA가 덧대지지 않은 원래 CLIP으로 인코딩된다. 트리거 낱말이 있는 LoRA라면 효과가 약하게 나오는 원인이 된다. 체크는 간단하다. Load Checkpoint의 MODEL·CLIP 선이 둘 다 LoRA 노드를 거쳐 나가는지 본다. CLIP을 건드리지 않는 LoRA라면 MODEL만 받는 LoraLoaderModelOnly 노드를 쓰면 선이 하나 준다.
여러 개 겹치기
공식 문서의 Multiple LoRAs 튜토리얼은 Load LoRA 노드를 사슬처럼 잇는 방식을 보여 준다. 첫 번째 LoRA 노드의 MODEL·CLIP 출력을 두 번째 노드의 입력으로 넘기고, 마지막 노드의 출력을 KSampler와 텍스트 인코더로 보낸다. 노드마다 강도를 따로 줄 수 있으니, 둘을 섞을 때는 한쪽을 1.0으로 두고 다른 쪽만 조금씩 내려 보는 식으로 한 칸씩 바꾸는 편이 결과를 읽기 쉽다. 강도 두 칸이 각각 무엇을 바꾸는지, 0과 음수는 어떻게 되는지는 ComfyUI에서 LoRA 적용하기 — 강도 두 칸과 여러 개 겹치기에 소스 코드 기준으로 자세히 적어 두었다.
LoRA는 학습에 쓴 기반 모델 계열(SD 1.5 · SDXL · Flux 등)과 맞는 체크포인트에서만 제대로 붙는다. 계열이 다르면 ComfyUI 명령 창에 lora key not loaded 경고가 줄줄이 찍히고 그림에는 변화가 거의 없다. 경고가 보이면 강도를 올리기 전에 계열부터 확인한다.
ControlNet — 조건(conditioning) 길에 끼우기
ControlNet은 모델을 바꾸지 않는다. 프롬프트가 만든 조건에 «이 밑그림을 따라라»를 덧붙인다. 그래서 위치가 LoRA와 다르다. CLIP Text Encode 두 개의 출력(긍정·부정 조건)을 Apply ControlNet 노드에 넣고, 이 노드가 내보낸 긍정·부정 조건을 KSampler에 연결한다. 모델 파일은 Load ControlNet Model로 불러오고(폴더 models/controlnet), 밑그림은 Load Image로 넣는다.
ComfyUI 소스의 적용 노드 입력은 강도(strength · 기본 1.0 · 0~10), 시작 퍼센트(start_percent · 기본 0.0), 종료 퍼센트(end_percent · 기본 1.0)다. 시작·종료 퍼센트는 생성 단계 가운데 어느 구간에서만 밑그림을 따르게 할지 정한다. 예를 들어 종료를 0.8 언저리로 두면 마지막 단계에서는 밑그림에서 풀려나 세부를 자유롭게 그린다. 공식 문서도 이 두 칸을 0.2·0.8로 둔 예시를 들어 설명한다.
밑그림은 따로 만들어야 한다
공식 예제는 적용 노드가 일반 사진을 깊이 지도나 윤곽선 그림으로 «바꿔 주지 않는다»고 적는다. Canny(윤곽)는 기본 노드에 있지만, OpenPose 같은 자세 추출은 별도 전처리 노드 묶음을 설치해야 한다. 사진을 그대로 넣고 «안 따라온다»고 느낀다면 대개 이 단계가 빠진 것이다. 모델 고르기, 전처리, 세 칸 조절은 ComfyUI ControlNet 입문 — 포즈·윤곽을 따라 그리게 하기에서 단계별로 볼 수 있다.
여러 ControlNet 겹치기
공식 «Mixing ControlNets» 튜토리얼은 Apply ControlNet 노드를 사슬로 이어 여러 밑그림을 겹치는 법을 보여 준다. 예제는 왼쪽 인물에는 포즈 ControlNet, 오른쪽 고양이에는 낙서(scribble) ControlNet을 걸었다. 문서의 조언은 두 가지다. 서로 다른 영역을 맡은 ControlNet은 강도를 비슷하게(예: 둘 다 1.0) 두라는 것, 그리고 프롬프트에 두 영역의 내용을 모두 적으라는 것. 한쪽 강도만 높으면 그쪽이 다른 영역까지 눌러 버린다.
업스케일 — 1차 생성 뒤 2단계로
공식 예제 문서는 흔히 «Hires fix»라 부르는 방식을 한 문장으로 정의한다. «낮은 해상도로 만든 뒤, 키우고, img2img로 다시 보내는 것»이다. ComfyUI에서는 이것을 노드로 직접 잇는다. 1차 KSampler가 만든 결과를 키운 다음, 두 번째 KSampler에 낮은 denoise로 다시 넣는다. 키우는 방법은 두 갈래다.
- 잠재 공간에서 키우기 — 1차 KSampler의 LATENT 출력을 Upscale Latent(또는 Upscale Latent By)로 키워 2차 KSampler에 바로 넣는다. 노드가 가장 적다.
- 업스케일 모델로 키우기 — VAE Decode로 픽셀 그림을 만든 뒤 Load Upscale Model + Upscale Image (using Model)로 키우고, VAE Encode로 다시 잠재 이미지로 바꿔 2차 KSampler에 넣는다. 공식 예제도 ESRGAN은 픽셀 공간에서 일하므로 «픽셀로 바꿨다가 다시 잠재로» 보내야 한다고 적는다. 모델 파일은
models/upscale_models에 둔다.
업스케일 모델 노드는 큰 그림을 한 번에 처리하지 않고 조각으로 나눠 처리한다. ComfyUI 소스 기준으로 조각 512, 겹침 32이고, 메모리가 모자라면 조각을 줄여 다시 시도한다. 그래서 그래픽카드 메모리가 넉넉하지 않아도 키우기 자체는 대개 끝난다. 다만 2차 KSampler는 키운 크기 그대로 그리므로, 메모리 부담은 이쪽에서 생긴다.
2차 KSampler에는 무엇을 연결하나
2차 KSampler의 MODEL은 1차와 같은 선(LoRA를 거친 MODEL)을 쓰면 된다. 그러면 LoRA는 두 단계 모두에 적용된다. 조건도 1차와 같은 긍정·부정 조건을 쓰는데, ControlNet이 걸린 조건을 그대로 넘기면 밑그림 크기가 커진 그림에 맞춰 다시 적용된다. 공식 Pose ControlNet 예제처럼 1차에서는 ControlNet으로 자세를 잡고, 2차에서는 낮은 denoise로 다듬기만 하는 두 단계 구성도 흔하다. denoise를 어느 정도로 둘지는 «얼마나 바꿔도 되나»의 문제라, ComfyUI img2img와 denoise에 정리한 기준을 같이 보면 좋다. 두 갈래의 차이와 결과가 이상할 때 볼 순서는 ComfyUI 업스케일 — 두 가지 방법에 있다.
세 갈래를 합칠 때 막히는 곳
각각은 잘 되는데 합치면 이상해지는 경우는 대개 아래 다섯 가지 가운데 하나다. 위에서부터 차례로 보면 빠르다.
- 계열이 섞였다 — 체크포인트·LoRA·ControlNet 모델이 모두 같은 계열(예: 전부 SD 1.5용, 전부 SDXL용)이어야 한다. 하나만 달라도 오류가 나거나, 오류 없이 효과만 사라진다.
- CLIP 선이 LoRA를 건너뛰었다 — 앞 절의 실수다. 텍스트 인코더에 들어가는 CLIP이 마지막 LoRA 노드에서 나오는지 본다.
- ControlNet 조건이 KSampler에 안 들어갔다 — Apply ControlNet을 만들어 두고 KSampler에는 여전히 CLIP Text Encode의 조건을 직접 이어 둔 경우다. 오류가 없으니 눈치채기 어렵다. KSampler의 positive·negative 입력이 어느 노드에서 오는지 선을 따라가 본다.
- 밑그림 비율이 다르다 — ComfyUI 소스는 밑그림을 생성 크기에 맞출 때 비율이 다르면 가운데를 기준으로 잘라 맞춘다. 세로 사진 밑그림으로 가로 그림을 만들면 위아래가 잘려 나간 자세를 따르게 된다. 밑그림과 생성 크기의 비율을 먼저 맞춘다.
- 2차에서 denoise가 너무 높다 — 업스케일 뒤 2차 denoise를 높이면 1차에서 잡은 구도와 자세가 무너진다. 다듬기가 목적이면 낮게 두고, 부족하면 조금씩 올린다.
빨간 테두리 노드나 «Prompt outputs failed validation» 같은 오류가 뜨면 오류 문구부터 읽는다. 자주 나오는 문구와 원인은 ComfyUI 오류 Prompt outputs failed validation 해결과 자주 나는 오류 30에 모아 두었다.
정리해 두기 — 서브그래프와 PNG 저장
서브그래프로 접기
세 갈래를 다 붙이면 노드가 금방 스무 개를 넘는다. 공식 문서가 소개하는 서브그래프(Subgraph)는 여러 노드를 골라 하나의 재사용 노드로 접는 기능이다. 노드를 선택하고 도구 막대의 서브그래프 아이콘을 누르면, 고른 노드들의 입력·출력을 바탕으로 서브그래프가 자동으로 만들어진다. 서브그래프 안에 또 서브그래프를 넣을 수 있고, 되돌릴 때는 오른쪽 클릭 «Unpack subgraph»를 쓴다. 문서 기준으로 서브그래프는 프런트엔드 1.24.3 이상, 안쪽 위젯을 바깥 패널로 꺼내는 «Edit Subgraph Widgets»는 ComfyUI v0.3.66 이상, 노드 목록에 올리는 기능은 프런트엔드 1.27.7 이상이 필요하다. 예를 들어 «업스케일 2단계» 묶음을 서브그래프로 접어 두면 다른 워크플로우에서도 그대로 꺼내 쓸 수 있다.
PNG 한 장에 워크플로우 저장
ComfyUI가 저장한 PNG에는 그 그림을 만든 워크플로우가 함께 들어간다. 다 만든 워크플로우는 따로 JSON으로 내보내 두고, 결과 그림도 원본 그대로 보관하면 나중에 그림을 캔버스에 끌어다 놓는 것만으로 노드 배치가 되살아난다. 어떤 경우에 정보가 빠지는지(편집기에서 다시 저장한 그림, 메신저로 보낸 그림 등)는 ComfyUI 워크플로 불러오기 — PNG 한 장에 노드가 되살아나는 이유에 정리했다.
같은 워크플로우를 여러 번 돌릴 때
완성한 워크플로우를 값만 바꿔 여러 번 돌려야 한다면 화면에서 반복하기보다 API로 보내는 편이 낫다. API용 JSON으로 내보내 파이썬에서 대기열에 넣는 방법은 ComfyUI API로 파이썬에서 여러 장 돌리기, 화면에서 배치 크기와 대기열을 쓰는 방법은 ComfyUI 여러 장 뽑기에 있다.
자주 묻는 것
LoRA와 ControlNet은 어느 쪽을 먼저 연결하나요?
서로 다른 선에 붙기 때문에 «먼저»가 없습니다. LoRA는 Load Checkpoint와 KSampler·CLIP Text Encode 사이의 MODEL·CLIP 선에, ControlNet은 CLIP Text Encode와 KSampler 사이의 조건 선에 들어갑니다. 둘 다 최종적으로 같은 KSampler로 모이면 됩니다.
업스케일할 때 2차 KSampler에도 LoRA가 적용되나요?
2차 KSampler의 MODEL 입력을 LoRA 노드의 MODEL 출력에서 가져오면 적용됩니다. Load Checkpoint의 MODEL을 직접 이으면 2차에서는 LoRA가 빠집니다.
ControlNet을 걸었는데 밑그림을 전혀 안 따라옵니다.
세 가지를 차례로 봅니다. KSampler의 positive·negative가 Apply ControlNet 출력에서 오는지, 밑그림이 사진 그대로가 아니라 윤곽·자세 같은 전처리 결과인지, ControlNet 모델이 체크포인트와 같은 계열인지입니다.
서브그래프 기능이 메뉴에 안 보입니다.
공식 문서 기준으로 서브그래프는 ComfyUI 프런트엔드 1.24.3 이상에서 쓸 수 있습니다. 설정이나 정보 화면에서 프런트엔드 판을 확인하고, 낮다면 업데이트한 뒤 다시 봅니다.
정리
ComfyUI 워크플로우 심화의 핵심은 노드를 많이 아는 것이 아니라 «어느 선에 붙는가»를 구분하는 것이다. LoRA는 MODEL·CLIP 선, ControlNet은 조건 선, 업스케일은 1차 생성 뒤의 두 번째 단계다. 합쳐서 이상하면 계열, CLIP 선, 조건 선, 밑그림 비율, 2차 denoise 순서로 본다. 완성한 워크플로우는 서브그래프로 접고 PNG와 JSON으로 남겨 두면, 다음 작업은 그 묶음을 꺼내 값만 바꾸는 데서 시작할 수 있다.
참고 자료
- ComfyUI Examples. 2 Pass Txt2Img (Hires fix) — Hires fix 정의, txt2img·img2img가 같은 노드라는 설명, 잠재 업스케일과 ESRGAN(픽셀 공간) 두 예(2026-10-29 확인). comfyanonymous.github.io
- ComfyUI Examples. Lora Examples — 메인 MODEL과 CLIP 위에 덧대는 패치, models/loras 폴더, 사슬 연결. comfyanonymous.github.io
- ComfyUI 공식 문서. Multiple LoRAs 튜토리얼 — Load LoRA 두 개를 잇는 순서와 노드별 강도. docs.comfy.org
- ComfyUI 공식 문서. ControlNet in ComfyUI — models/controlnet 폴더, 적용 노드 입력·출력, start_percent 0.2·end_percent 0.8 예시. docs.comfy.org
- ComfyUI 공식 문서. Mixing ControlNets — Apply ControlNet 사슬 연결, 포즈+낙서 예제, 영역별 강도를 비슷하게·프롬프트에 두 영역 모두(2026-10-29 확인). docs.comfy.org
- ComfyUI Examples. ControlNet and T2I-Adapter — 적용 노드가 사진을 밑그림으로 바꿔 주지 않는다는 설명. comfyanonymous.github.io
- ComfyUI 공식 문서. Upscale 튜토리얼 — Load Upscale Model · Upscale Image (using Model), models/upscale_models 폴더. docs.comfy.org
- ComfyUI 소스 코드 nodes.py · comfy_extras/nodes_upscale_model.py · comfy/utils.py — LoraLoader 강도 기본값, ControlNetApplyAdvanced 강도·시작·종료 기본값, 업스케일 조각 512·겹침 32, 밑그림 center 자르기. github.com
- ComfyUI 공식 문서. Subgraph — 만들기·중첩·Unpack, 프런트엔드 1.24.3 이상, Edit Subgraph Widgets v0.3.66 이상, 노드 목록 게시 1.27.7 이상(2026-10-29 확인). docs.comfy.org