ComfyUI 입문 실전 가이드 — 로컬 AI 이미지 생성의 다음 단계

왜 ComfyUI인가 — WebUI와 무엇이 다른가

로컬 이미지 생성 도구는 크게 두 갈래다. 프롬프트 입력창과 버튼으로 구성된 WebUI 계열(AUTOMATIC1111, Forge 등)과, 노드를 선으로 이어 파이프라인을 직접 조립하는 ComfyUI. 입문 장벽은 WebUI가 낮지만, 2026년 현재 생태계의 무게중심은 완전히 ComfyUI로 넘어왔다.

이유는 단순하다. 새 모델이 나오면 ComfyUI가 가장 먼저, 때로는 유일하게 지원하기 때문이다. 이미지뿐 아니라 영상·3D·오디오 모델까지 같은 노드 방식으로 돌아가고, 잘 만든 워크플로는 JSON 파일 하나로 공유된다. 남이 만든 워크플로 파일을 끌어다 놓기만 하면 그 사람의 전체 파이프라인이 내 화면에 그대로 재현된다 — 이 "레시피 공유" 문화가 ComfyUI를 표준으로 만들었다.

시작 전 체크 — 내 PC로 되는가

ComfyUI 자체는 가벼운 프로그램이다. 무거운 건 그 위에서 돌리는 모델이다. 기준을 잡자면 이렇다.

맥 사용자는 Apple Silicon(M1 이후)이면 별도 GPU 없이 Metal 가속으로 돌아간다. 속도는 NVIDIA 대비 느리지만 입문용으로는 충분하다. GPU가 아예 없거나 VRAM이 부족해도 포기할 필요는 없다 — 뒤에서 설명할 클라우드 실행 옵션이 있다.

설치 — 2026년 기준 가장 쉬운 3가지 경로

과거에는 git clone과 Python 가상환경 설정이 필수라 여기서 절반이 이탈했다. 지금은 공식 데스크톱 앱(Comfy Desktop)이 그 과정을 전부 대신한다. 상황별로 세 가지 경로만 알면 된다.

경로 1 — Comfy Desktop (대부분의 사람에게 정답)

comfy.org에서 설치 파일을 받아 실행하면 끝이다. 설치 과정에서 Python과 PyTorch(CUDA 포함)를 알아서 세팅해 주므로, 개발 환경 지식이 전혀 없어도 된다. 다운로드부터 첫 이미지까지 넉넉히 30~45분을 잡으면 된다(대부분 모델 다운로드 시간이다). 설치 중 GPU를 자동 감지해 맞는 버전을 깔아주고, 업데이트도 앱 안에서 한 번에 처리된다.

• 1단계: comfy.org/download 에서 Windows(또는 macOS) 설치 파일 다운로드
• 2단계: 실행 → GPU 자동 감지 확인 → 설치 위치 지정 (모델이 커지므로 여유 있는 드라이브 권장)
• 3단계: 첫 실행 시 템플릿 갤러리가 뜨면 성공. 여기서 기본 텍스트→이미지 템플릿을 선택

경로 2 — 포터블 버전 (Windows, USB처럼 쓰고 싶다면)

설치 없이 압축만 풀어 쓰는 포터블 빌드도 공식 제공된다. 회사 PC처럼 설치 권한이 없는 환경이나, 여러 버전을 병행 테스트할 때 유용하다. 압축 해제 후 run_nvidia_gpu.bat를 실행하면 브라우저에서 열린다.

경로 3 — Comfy Cloud (GPU가 없다면)

GPU가 없는 노트북 사용자라면 클라우드 실행이 현실적이다. 데스크톱 앱에서 Comfy Cloud 인스턴스에 바로 연결할 수 있고, 무료 티어는 신용카드 등록 없이 월 400크레딧을 준다. 감을 잡는 용도로는 충분하고, 본격적으로 쓸 때 로컬 GPU 투자 여부를 판단하면 된다.

10분 만에 첫 이미지 뽑기

설치가 끝났으면 이론 공부보다 먼저 이미지 한 장을 뽑아보는 게 좋다. 성공 경험이 있어야 노드 공부가 재미있어진다.

• 1. 템플릿 열기: 메뉴에서 워크플로 → 템플릿 찾아보기 → "Image Generation" 기본 템플릿 선택. 처음부터 빈 캔버스에서 시작하지 말 것.
• 2. 모델 확인: 템플릿이 요구하는 체크포인트가 없으면 다운로드 안내가 뜬다. 안내를 따라 받으면 자동으로 올바른 폴더에 들어간다.
• 3. 프롬프트 수정: 초록색 계열의 CLIP Text Encode 노드 두 개 중 위쪽(Positive)에 원하는 장면을, 아래쪽(Negative)에 빼고 싶은 요소를 영어로 적는다.
• 4. 실행: 하단의 실행(Queue) 버튼 클릭. 노드들이 차례로 초록 테두리로 빛나며 진행되고, 마지막 Save Image 노드에 결과가 뜬다.

여기까지 됐다면 ComfyUI의 절반은 배운 것이다. 결과물은 output 폴더에 저장되는데, 중요한 포인트가 하나 있다 — ComfyUI가 생성한 PNG에는 워크플로 전체가 메타데이터로 박혀 있다. 즉, 예전에 만든 이미지를 캔버스에 끌어다 놓으면 그때의 파이프라인이 그대로 복원된다. 잘 나온 세팅을 따로 기록할 필요가 없다는 뜻이다.

기본 워크플로 해부 — 노드 6개만 알면 된다

노드가 수천 종이라는 말에 겁먹을 필요 없다. 기본 텍스트→이미지 워크플로는 딱 6종류의 노드로 구성되고, 이 6개가 모든 응용의 뼈대다.

흐름을 문장으로 읽으면 이렇다. "모델을 싣고(Load Checkpoint) → 주문을 번역해서(CLIP Text Encode) → 빈 캔버스에(Empty Latent) → 그림을 그린 뒤(KSampler) → 사람 눈에 보이게 변환해(VAE Decode) → 저장한다(Save Image)." 선의 색이 곧 데이터 타입이라, 같은 색 포트끼리만 연결된다는 것만 기억하면 잘못 이을 수가 없다.

KSampler에서 실제로 만지게 되는 값

• seed: 난수 시드. 고정하면 같은 구도가 재현되고, randomize면 매번 다른 그림이 나온다. 마음에 든 그림의 시드를 고정하고 프롬프트만 미세 조정하는 게 기본 전술.
• steps: 디노이즈 반복 횟수. 20~30이면 충분하고, 높인다고 무조건 좋아지지 않는다.
• cfg: 프롬프트를 얼마나 충실히 따를지. 5~8 사이가 무난하고, 너무 높이면 그림이 타버린 듯 과포화된다.
• sampler/scheduler: 일단 기본값(euler 계열)으로 시작. 차이를 몸으로 느낀 뒤에 바꿔도 늦지 않다.

모델 구하는 법 — 체크포인트와 LoRA

ComfyUI는 그릇이고, 그림 실력은 모델에서 나온다. 입문자가 알아야 할 모델은 두 종류다.

체크포인트 (Checkpoint) — 본체

수 GB짜리 기반 모델이다. SD 1.5(가볍고 생태계 넓음), SDXL(1024px 기본, 품질 우수), 그리고 최신 고품질 모델들(FLUX 계열 등)이 대표적이다. 커뮤니티가 특정 화풍으로 튜닝한 파생 체크포인트는 Civitai에서, 공식 원본 모델은 Hugging Face에서 받는 게 일반적이다. 받은 파일은 models/checkpoints 폴더에 넣으면 Load Checkpoint 노드에서 바로 잡힌다.

LoRA — 본체에 끼우는 화풍 카트리지

수십~수백 MB의 소형 추가 모델로, 특정 화풍·캐릭터·의상 같은 좁은 개념을 체크포인트에 "얹는" 역할을 한다. 워크플로에는 Load Checkpoint와 KSampler 사이에 Load LoRA 노드를 끼워 넣기만 하면 된다 — 노드 방식의 장점이 처음으로 체감되는 순간이다. strength 값(보통 0.6~1.0)으로 적용 강도를 조절한다.

ComfyUI Manager — 사실상 필수 확장

커뮤니티 워크플로를 쓰다 보면 반드시 "내겐 없는 커스텀 노드"를 만난다. 이때 노드를 하나하나 git으로 설치하는 건 옛날 방식이고, 지금은 ComfyUI Manager가 표준이다(데스크톱 앱에는 기본 포함돼 있다).

• Install Missing Custom Nodes: 불러온 워크플로에서 빨간 노드(누락)를 자동 감지해 목록으로 보여주고 원클릭 설치. Manager의 존재 이유다.
• 커스텀 노드 검색·설치·업데이트: 수천 종의 노드 팩을 앱 안에서 검색해 설치하고 일괄 업데이트.
• 모델 다운로드: 자주 쓰는 모델을 Manager 안에서 바로 받아 올바른 폴더에 배치.

입문 단계에서 Manager 외에 추가로 설치할 만한 것은 많지 않다. 굳이 꼽자면 이미지 확대용 업스케일 노드 팩 정도인데, 이것도 필요해지는 시점에 Manager로 검색해 설치하면 된다. "미리 깔아두는" 습관보다 "필요할 때 찾는" 습관이 환경을 깨끗하게 유지한다.

트러블슈팅 — VRAM 부족과 빨간 노드

입문자가 만나는 문제의 90%는 세 가지로 수렴한다.

1. "CUDA out of memory" — VRAM 부족

• 가장 먼저: 이미지 크기를 줄인다. SD1.5는 512×512, SDXL은 1024×1024가 기준 해상도다. 처음부터 2048px를 그리려는 게 대부분의 원인. 큰 그림은 "기준 해상도로 생성 → 업스케일" 2단계가 정석이다.
• 배치 사이즈(한 번에 생성하는 장수)를 1로.
• 실행 옵션에 --lowvram(6GB 이하급)을 붙이면 속도를 희생하고 메모리를 아낀다.
• 그래도 안 되면 더 작은 모델(SD1.5 계열)로 내려가거나 클라우드 실행으로 전환.

2. 빨간 노드 — 커스텀 노드 누락

워크플로를 불러왔는데 일부 노드가 빨갛게 뜨면 그 노드 팩이 미설치라는 뜻이다. Manager → Install Missing Custom Nodes → 재시작. 이 3단계면 거의 해결된다. 재시작 후에도 빨갛다면 해당 노드 팩이 내 ComfyUI 버전과 안 맞는 경우이니, 워크플로 배포 페이지의 요구 버전을 확인한다.

3. 모델이 목록에 안 보임

파일을 넣은 폴더가 틀렸을 확률이 높다. 체크포인트는 models/checkpoints, LoRA는 models/loras, VAE는 models/vae. 폴더에 넣은 뒤에는 브라우저 새로고침(또는 노드 우클릭 → Refresh)을 해야 목록에 잡힌다.

한 장 요약과 다음 단계

마지막 한마디

ComfyUI의 학습 곡선은 첫 일주일이 전부다. 노드 6개짜리 기본 워크플로를 직접 지어본 순간부터는, 인터넷의 어떤 화려한 워크플로를 만나도 "아, 뼈대는 같고 중간에 뭘 끼운 거구나"가 보이기 시작한다. 그때부터 이 도구는 공부 대상이 아니라 내 아이디어를 조립하는 레고가 된다.

기초가 손에 붙었다면 다음 단계는 심화편이다 — ControlNet 조건부 생성, LoRA 체이닝, 업스케일 파이프라인, FLUX·Qwen 등 2026년 모델 선택과 FP8/GGUF 양자화까지는 ComfyUI 워크플로우 심화 가이드에서 이어진다.

PNG 한 장에 레시피가 통째로 담기는 도구는 흔치 않다. 오늘 만든 첫 이미지를 잘 보관해 두자 — 몇 달 뒤의 내가 그 파일을 끌어다 놓는 것만으로 오늘의 작업환경을 통째로 복원하게 될 테니.