Stable Diffusion 로컬 설치, 왜 해야 할까
클라우드 vs 로컬, 근본적인 차이
Midjourney나 DALL-E 같은 클라우드 서비스는 편리하지만, 매달 구독료가 나가고 생성 횟수에 제한이 있다. 반면 Stable Diffusion 로컬 설치는 초기 세팅만 끝나면 무제한 생성이 가능하다. 전기세 빼고는 공짜라는 뜻이다. 나는 월 30달러짜리 구독을 끊고 로컬로 전환한 뒤, 오히려 더 다양한 실험을 하게 됐다.
2026년 현재 로컬 환경의 장점
2026년 기준으로 Stable Diffusion은 SDXL, SD 3.5(Large/Medium), 그리고 Flux.1 모델까지 로컬에서 돌릴 수 있다. 특히 ComfyUI의 발전 덕분에 복잡한 워크플로우도 노드 기반으로 쉽게 구성할 수 있고, LoRA나 ControlNet 같은 확장 기능도 자유롭게 적용할 수 있다. ComfyUI는 새 모델을 가장 먼저 지원하는 편이라, 2026년 현재 SD 3.5와 Flux 워크플로우의 중심 도구로 자리 잡았다. 무엇보다 내 데이터가 외부 서버로 전송되지 않는다는 점이 프라이버시 측면에서 큰 장점이다.
필요한 최소 PC 사양
- GPU: NVIDIA VRAM 12GB(RTX 3060 12GB·4070급) 이상 권장. 2026년 기준 SD 3.5·Flux까지 무난히 다루려면 VRAM 12GB가 현실적인 하한선이다. 8GB(RTX 4060 등)도 SDXL이나 양자화한 Flux로 충분히 시작할 수 있고, 6GB도 Forge의 자동 메모리 관리로 SDXL을 돌릴 수 있다. 새로 장만한다면 16GB(RTX 5060 Ti 16GB·5070 Ti)가 2026년 실질 표준이다 — Flux 계열과 최신 대형 모델까지 여유 있게 커버한다.
- RAM: 16GB 이상 (32GB 권장)
- 저장공간: SSD 최소 50GB 여유 (모델 파일이 2~12GB씩 한다)
- OS: Windows 10/11 또는 Ubuntu 22.04+
- Python: 수동 설치 시 3.10.x 권장 (3.11/3.12는 호환성 문제 간혹 발생). ComfyUI 데스크톱 앱이나 Forge 원클릭 설치를 쓰면 Python 환경은 자동으로 잡힌다.
스테이블 디퓨전 설치 방법: WebUI vs ComfyUI 완전 비교
Automatic1111 WebUI 설치 (자료는 방대하나 유지보수 정체)
오랫동안 가장 대중적이던 프론트엔드다. 설치 과정이 비교적 단순하고 커뮤니티 자료가 방대해서, 문제가 생겨도 검색하면 거의 답이 나온다. 다만 2026년 기준 Automatic1111 본체는 2024년 중반 이후 의미 있는 업데이트가 거의 없어 사실상 정체 상태이고, SD 3.5나 최신 Flux 지원이 늦다. 그래서 새로 시작한다면 ComfyUI나 Forge Neo(아래)를 권한다. 아래 절차는 기존 자료/확장과의 호환이 꼭 필요한 경우를 위한 참고용이다.
A1111의 빠른 대안으로는 Forge Neo가 있다. A1111과 거의 같은 폼 기반 UI를 유지하면서도 활발히 유지보수되고, A1111 대비 30~75% 빠르며 VRAM도 덜 쓰고 Flux를 지원한다. A1111 인터페이스가 익숙하다면 Forge Neo로 갈아타는 편이 낫다.
Python 3.10 설치
설치 시 "Add to PATH" 반드시 체크. 3.12를 설치했다가 torch 호환 에러가 나서 30분을 날린 적이 있다. 꼭 3.10 버전을 쓰자.
Git 설치 후 저장소 클론
Git을 설치하고, 원하는 폴더에서 아래 명령어를 실행한다.
webui-user.bat 실행
첫 실행 시 자동으로 필요한 패키지를 설치한다. 10~20분 소요. 완료되면 브라우저에서 http://127.0.0.1:7860에 접속하면 된다.
ComfyUI 설치 (2026년 가장 추천)
노드 기반 인터페이스로, 워크플로우를 시각적으로 구성할 수 있다. 처음엔 복잡해 보이지만 익숙해지면 훨씬 유연하고, 특히 Flux 모델이나 SD 3.5, 복잡한 파이프라인을 구성할 때 ComfyUI가 압도적이다. 2026년 현재 가장 활발히 개발되며 새 모델을 가장 먼저 지원한다. 예전엔 포터블 압축본을 풀어 쓰는 방식이 일반적이었지만, 지금은 공식 데스크톱 앱(원클릭 설치)이 나와서 Python·PyTorch 등 환경을 자동으로 잡아준다.
공식 데스크톱 앱 설치
공식 사이트 comfy.org/download에서 설치 파일을 받아 일반 프로그램처럼 설치한다. Python 환경과 의존성을 알아서 구성하고 자동 업데이트도 된다. Windows(NVIDIA GPU)와 macOS(Apple Silicon)를 지원한다. 명령줄이 익숙하면 GitHub의 포터블 버전을 그대로 써도 된다.
실행 및 모델 배치
설치 후 앱을 실행한다(포터블 버전은 run_nvidia_gpu.bat 실행). 모델 파일은 models/checkpoints/ 폴더에 넣으면 된다. 브라우저로 접속하는 포터블 버전은 http://127.0.0.1:8188 주소를 쓴다.
A1111 / Forge Neo / ComfyUI 비교 (2026)
| 항목 | Automatic1111 | Forge Neo | ComfyUI |
|---|---|---|---|
| 난이도 | 쉬움 (클릭 기반) | 쉬움 (A1111과 유사) | 보통 (노드 연결 방식) |
| 유연성 | 보통 | 보통 | 매우 높음 |
| VRAM 효율 / 속도 | 보통 | 좋음 (A1111 대비 30~75% 빠름) | 매우 좋음 (최적화 우수) |
| SD 3.5 · Flux 지원 | 늦음 (SD 3.5 미지원) | Flux 지원, SD 3.5는 개발 중 | 가장 먼저·네이티브 지원 |
| 확장 프로그램 | 매우 풍부 | A1111 자산 상당수 호환 | 커스텀 노드 풍부 |
| 커뮤니티 자료 | 매우 방대 | 성장 중 | 매우 방대 |
| 유지보수 상태 | 사실상 정체 (2024 중반 이후) | 활발 (커뮤니티 포크) | 매우 활발 |
| 업데이트 속도 | 거의 멈춤 | 빠름 | 매우 빠름 |
2026년 기준으로는, 폼 기반 UI가 편하면 Forge Neo로 시작해 기본기를 익히고, 워크플로우 제어가 필요해지면 ComfyUI로 넘어가는 루트를 권한다. 처음부터 ComfyUI로 시작해도 좋지만 익숙해지는 데 2~3주는 잡아야 한다. 새로 시작하면서 A1111을 새로 까는 것은 권하지 않는다.
모델 선택과 세팅 최적화
2026년 추천 모델
모델 선택이 결과물의 80%를 결정한다고 해도 과언이 아니다. 2026년 기준으로는 SDXL(빠른 반복), SD 3.5 Large(고품질 포토리얼리즘), Flux.1 dev(최고 수준 프롬프트 이해) 세 계열이 실사용 워크플로우의 대부분을 커버한다. 여기에 2025년 말 등장한 Flux.2와 Z-Image Turbo가 2026년 들어 빠르게 세력을 넓히는 중이다.
- Flux.1 dev: 프롬프트 이해력이 뛰어나고 텍스트 렌더링까지 잘 된다(28스텝). 빠른 변형으로 4스텝짜리 Flux.1 schnell도 있다. FP16 원본은 소비자 GPU엔 부담이라, GGUF Q4(약 7GB)나 FP8(16GB에서 품질 대비 가장 무난) 양자화본으로 돌리는 게 일반적이다.
- Flux.2 dev / klein: Flux.1의 후속으로 자연어 이해와 사실감이 한 단계 더 올라갔다. 본체가 커서 소비자 GPU에선 양자화본이 기본이고, 경량 klein 변형은 Apache 2.0 라이선스라 상업 이용 부담이 없다. ComfyUI가 가장 먼저 지원 중.
- Z-Image Turbo: 2025년 말 공개된 경량 모델. 몇 스텝 만에 뽑히는 생성 속도가 강점인데 품질은 훨씬 큰 모델들과 견줄 만하고, 영어·중국어 텍스트 렌더링이 특히 좋다. 낮은 VRAM에서 최고의 가성비 옵션으로 빠르게 자리 잡았다.
- SD 3.5 Large / Medium: 고해상도 포토리얼리즘에 강하다. Large는 FP8로 12GB에 들어가고, Medium은 12~16GB에서 여유 있게 돌아간다. 현재는 ComfyUI 중심으로 지원되며 A1111은 미지원, Forge는 개발 중이다.
- SDXL + RealVisXL: 여전히 빠른 반복 작업의 기본기. VRAM 8GB로도 돌릴 수 있어 접근성이 좋다.
- Pony Diffusion V6 XL: 일러스트/애니메이션 스타일에 특화. 캐릭터 생성 퀄리티가 상당하다.
모델은 Civitai나 Hugging Face에서 다운로드할 수 있다. 다운받은 파일은 WebUI 기준 models/Stable-diffusion/, ComfyUI 기준 models/checkpoints/에 넣으면 된다.
VRAM 부족할 때 대처법
VRAM이 8GB 이하인 분들을 위한 팁이다.
- WebUI:
webui-user.bat에서COMMANDLINE_ARGS에--medvram또는--lowvram추가 - ComfyUI: 실행 시
--lowvram플래그 사용 - 생성 해상도를 512x512 (SD 1.5) 또는 1024x1024 (SDXL)로 제한한 뒤 upscale
- FP16 대신 FP8 양자화 모델 사용 (Flux 모델에 특히 효과적)
나는 RTX 3060 12GB로 Flux FP8 모델을 돌리는데, 1024x1024 이미지 한 장에 약 25초 정도 걸린다. 충분히 쓸만한 속도다.
LoRA와 ControlNet 활용
기본 모델만으로도 좋지만, LoRA를 추가하면 특정 스타일이나 캐릭터를 정밀하게 제어할 수 있다. ControlNet은 포즈, 윤곽선, 깊이맵 등을 입력해서 구도를 잡아주는 도구인데, 이 두 가지를 조합하면 상업용 수준의 결과물도 가능하다.
실전 사용 팁 5가지
프롬프트 작성의 핵심
품질 태그를 앞에 배치하라. "masterpiece, best quality, highly detailed"을 프롬프트 맨 앞에 넣으면 전반적인 퀄리티가 확 올라간다. 네거티브 프롬프트에는 "worst quality, low quality, blurry"를 기본으로 넣어두자.
가중치 문법을 활용하라. 강조하고 싶은 요소에 (키워드:1.3) 형식으로 가중치를 줄 수 있다. 1.0이 기본이고, 1.5 이상은 과하게 적용될 수 있으니 1.1~1.4 사이를 추천한다.
Seed 값을 고정하고 변수를 하나씩 바꿔보라. 프롬프트, 샘플러, CFG 스케일을 동시에 바꾸면 뭐가 효과가 있었는지 알 수 없다. 과학적으로 접근하는 게 시간을 아끼는 방법이다.
성능과 품질을 모두 잡는 설정
샘플러는 DPM++ 2M Karras로 시작하라. 속도와 품질의 균형이 가장 좋다. Steps는 20~30이면 충분하고, 그 이상은 시간 대비 차이가 미미하다.
Hires Fix 또는 외부 업스케일러를 활용하라. 기본 해상도로 생성한 뒤 2배 업스케일하면, 처음부터 고해상도로 생성하는 것보다 빠르고 결과도 좋다. 업스케일러는 4x-UltraSharp나 ESRGAN 계열을 추천한다.
설치 FAQ — 자주 묻는 질문
그래픽카드 없이 CPU만으로 설치할 수 있나?
설치 자체는 가능하지만 이미지 한 장 생성에 10분 이상 걸려 실사용은 어렵다. 내장그래픽 노트북이라면 로컬 설치 대신 무료 웹 서비스나 클라우드 GPU를 쓰는 편이 낫다.
AMD 라데온이나 맥(Mac)에서도 되나?
된다. ComfyUI 데스크톱 앱이 macOS(Apple Silicon)를 공식 지원하고, AMD는 리눅스 ROCm 환경이 가장 안정적이다. 다만 확장·자료 생태계가 NVIDIA 중심이라, 같은 값이면 NVIDIA 쪽이 시행착오가 훨씬 적다.
설치에 필요한 용량과 시간은?
프로그램 본체와 의존성 설치에 10~20분 정도. 용량은 본체 약 10GB에 모델 파일이 개당 2~12GB씩이다. SSD에 최소 50GB 여유를 확보하고 시작하는 것이 안전하다.
2026년에 새로 그래픽카드를 산다면?
VRAM 16GB(RTX 5060 Ti 16GB, RTX 5070 Ti)가 실질 표준이다. 12GB(RTX 3060 12GB 등)로도 SD 3.5와 양자화 Flux까지 충분히 돌아가고, 예산이 되면 24GB 이상이 상위 모델까지 여유 있다. 위의 사양 섹션에 세부 기준을 정리해 뒀다.
무료로 설치해서 만든 이미지, 상업적으로 써도 되나?
프로그램·모델·결과물 층위마다 라이선스가 다르다. SDXL은 자유로운 편이고, SD 3.5는 연매출 100만 달러 기준의 커뮤니티 라이선스, Flux.1 dev는 상업 이용에 별도 라이선스가 필요하다. 케이스별 판단 기준은 라이선스·상업적 이용 총정리에서 자세히 다뤘다.
스테이블 디퓨전 설치, 처음이라면 무엇부터 해야 하나?
순서는 세 단계다. ①VRAM 확인 — 12GB면 SD 3.5와 Flux까지 무난하고, 8GB도 SDXL이나 양자화한 Flux로 시작할 수 있다. ②설치 방식 선택 — Automatic1111은 2024년 중반 이후 개발이 멈춰 있으니, 새로 시작한다면 원클릭 데스크톱 설치를 지원하는 ComfyUI나 유지보수되는 포크인 Forge Neo를 권한다. ③모델 내려받기. 원클릭 설치를 쓰면 Python 환경이 자동으로 잡혀서 버전 충돌 자체를 겪지 않는다. 각 단계의 세부 기준은 사양 섹션과 설치 방법 비교에 정리해 뒀다.
설치가 안 되거나 오류가 날 때 무엇부터 확인하나?
세 가지를 순서대로 본다. ①Python 버전 — 수동 설치라면 3.10.x가 권장이고, 3.11·3.12에서는 호환성 문제가 간혹 생긴다. ②저장공간 — 본체 약 10GB에 모델이 개당 2~12GB라 SSD에 최소 50GB 여유가 필요하다. ③VRAM — 부족하면 실행 도중 메모리 관련 오류로 멈춘다(대처법 참고). 셋을 확인해도 안 되면 수동 설치를 접고 ComfyUI 데스크톱 앱이나 Forge 원클릭 설치로 바꾸는 편이 빠르다. 환경 구성이 자동이라 원인 대부분이 사라진다.
이런 분에게 추천한다
추천 대상
- 디자이너/일러스트레이터: 레퍼런스 이미지 빠르게 생성하고 싶은 분. 클라이언트 시안 작업 속도가 확 빨라진다.
- 인디 게임 개발자: 컨셉 아트, 텍스처, UI 요소 등을 직접 만들고 싶은 분.
- 콘텐츠 크리에이터: 블로그 썸네일, 유튜브 배경, SNS 이미지를 자체 제작하고 싶은 분.
- AI 기술에 관심 있는 개발자: 이미지 생성 AI의 작동 원리를 직접 실험하며 이해하고 싶은 분.
- 프라이버시 중시하는 분: 민감한 이미지를 외부 서버에 보내지 않고 로컬에서 처리하고 싶은 분.
비추천 대상
- GPU가 없거나 내장 그래픽만 있는 노트북 사용자 (CPU 모드는 한 장에 10분 이상 걸린다)
- 설치나 환경 세팅에 시간을 전혀 쓰고 싶지 않은 분 (이 경우 Midjourney가 낫다)
- 가끔 한두 장만 필요한 분 (무료 웹 서비스로 충분하다)
마무리
Stable Diffusion을 로컬에 설치하는 건, 처음엔 조금 번거롭지만 한번 세팅하면 무한한 자유를 얻게 된다. 구독료 부담 없이 원하는 만큼 AI 이미지를 생성할 수 있고, 모델과 설정을 자유롭게 바꿔가며 실험할 수 있다. 2026년 현재는 ComfyUI + Flux(또는 SD 3.5) 조합이 트렌드이고, 폼 기반 UI가 편한 입문자라면 Forge Neo부터 시작하는 것을 추천한다. ComfyUI로 갈아탈 준비가 됐다면 다음 글 ComfyUI 입문 실전 가이드에서 설치부터 노드 해부, VRAM 트러블슈팅까지 이어서 다룬다. 그리고 "무료로 받아 쓰는 게 상업적으로 문제없나?"가 궁금하다면 Stable Diffusion 라이선스·상업적 이용 총정리에서 프로그램·모델·결과물 세 층으로 나눠 정리했다.
