ollama run llama3.3:8b는 틀린 태그였다. 모델 목록 기준 llama3.3은 70B 한 크기(43GB)뿐이라 8b 태그가 없다. 예제를 실제 있는 태그로 바꾸고, 확인하지 못한 속도 체감·에이전트 도구 수치는 뺐다.Ollama란 무엇인가?
로컬 LLM의 뜻
로컬 LLM은 클라우드 서버가 아니라 내 컴퓨터에서 직접 돌리는 언어 모델이다. 입력한 글이 밖으로 나가지 않고, 모델을 받아 둔 뒤에는 인터넷 없이도 쓸 수 있다. 사내 문서, 고객 정보가 섞인 자료처럼 외부 서비스로 보내기 곤란한 내용을 다룰 때 특히 쓸모가 있다. 대신 성능은 내 그래픽카드와 메모리가 정한다.
Ollama가 하는 일
예전에는 로컬에서 모델을 돌리려면 파이썬 환경, 모델 변환, 라이브러리 맞추기를 직접 해야 했다. Ollama는 모델을 이름으로 받아(pull) 바로 실행(run)하게 해 주고, 실행 중에는 localhost:11434에서 API를 열어 다른 프로그램이 부를 수 있게 한다. 쓸 수 있는 모델은 공식 모델 목록(ollama.com/library)에 태그별로 올라와 있다. 모델과 태그는 자주 바뀌므로, 글에 적힌 태그보다 목록에서 지금 있는 태그를 확인하는 습관이 중요하다.
Ollama 설치 방법
2026년 10월 29일 공식 내려받기 쪽에 적힌 방법은 다음과 같다.
curl -fsSL https://ollama.com/install.sh | sh
irm https://ollama.com/install.ps1 | iex
명령 대신 설치 파일(macOS Ollama.dmg, Windows OllamaSetup.exe)을 직접 받아 설치해도 된다. 인터넷에서 받은 스크립트를 셸에 바로 넘기는 방식이 꺼려지면, 스크립트를 먼저 내려받아 내용을 읽어 본 뒤 실행하거나 설치 파일 쪽을 쓴다. 설치가 끝나면 아래처럼 작은 모델 하나로 동작부터 확인한다.
# 처음 실행하면 모델을 자동으로 받은 뒤 대화 시작 ollama run gemma3:1b # 이미지 입력까지 되는 작은 모델(4b 이상) ollama run gemma3:4b
NVIDIA·AMD 그래픽카드나 Apple Silicon이 있으면 Ollama가 가속을 쓸 것이라고 넘겨짚기보다, 실행 뒤 ollama ps로 모델이 GPU에 올라갔는지(처리 장치 칸)를 직접 확인하는 편이 확실하다.
모델 고르기 — 크기와 메모리
모델을 고를 때 가장 먼저 볼 것은 파일 크기다. 파일이 그래픽카드 메모리(또는 Apple Silicon의 통합 메모리)에 다 들어가야 빠르게 돈다. 2026년 10월 29일 Ollama 모델 목록에서 확인한 대표 모델은 다음과 같다.
| 모델 | 있는 태그(크기) | 메모 |
|---|---|---|
gemma3 | 270m · 1b · 4b · 12b · 27b | 1b 이하는 글자만·문맥 32K · 4b 이상은 이미지 입력·문맥 128K · latest = 4b |
qwen3 | 0.6b · 1.7b · 4b · 8b(5.2GB) · 14b(9.3GB) · 30b · 32b · 235b | 크기 선택 폭이 넓음 |
deepseek-r1 | 1.5b · 7b · 8b(5.2GB) · 14b(9.0GB) · 32b(20GB) · 70b(43GB) · 671b(404GB) | 671b만 원본, 나머지는 Qwen·Llama 기반 증류(distill) 모델 |
gpt-oss | 20b(14GB) · 120b(65GB) | 20b는 16GB 메모리에서도 돈다고 안내 · 추론 강도 low·medium·high |
llama3.3 | 70b(43GB)뿐 | 8b 같은 작은 태그 없음 |
대략의 출발점은 «파일 크기가 그래픽카드 메모리보다 넉넉히 작을 것»이다. 위 표 크기로 보면 메모리 8GB 카드에는 5.2GB인 8b급, 12GB 카드에는 9GB대인 14b급까지가 무리 없는 선이고, 그보다 큰 모델은 일부가 일반 메모리로 넘어가 눈에 띄게 느려진다. 모델 파일 말고도 대화가 길어질수록 문맥을 담는 메모리가 더 들기 때문에, 파일 크기보다 여유를 두고 고른다.
용도별로 나눠 쓰기
- 가벼운 요약·번역·분류 —
gemma3:4b,qwen3:4b처럼 작은 모델로 충분한 경우가 많다. 빨라서 여러 번 돌리기 좋다. - 추론이 필요한 질문 —
deepseek-r1이나gpt-oss처럼 생각 과정을 거치는 모델. 답이 느린 대신 단계가 많은 문제에 유리하다. - 이미지 보고 답하기 —
gemma34b 이상처럼 이미지 입력을 지원하는 모델.
큰 모델이 늘 좋은 것은 아니다. 같은 일을 작은 모델로 해 보고, 결과가 모자랄 때 한 단계씩 올리는 편이 시간과 메모리를 아낀다.
기본 명령과 Modelfile
자주 쓰는 명령
ollama pull qwen3:8b # 모델 미리 받기 ollama run qwen3:8b # 대화 시작 ollama list # 받은 모델 목록 ollama ps # 실행 중인 모델·메모리·처리 장치 ollama show qwen3:8b # 매개변수·템플릿·라이선스 ollama rm qwen3:8b # 모델 지우기
Modelfile로 나만의 설정 만들기
Modelfile은 Dockerfile과 비슷한 형식으로 기반 모델, 매개변수, 시스템 지시를 묶는 파일이다. 공식 문서가 적는 지시어는 FROM, PARAMETER, TEMPLATE, SYSTEM, LICENSE, MESSAGE 등이다. 알아 둘 기본값 두 가지가 있다. 문맥 창 크기 num_ctx의 기본값은 2048이라 긴 문서를 넣으면 앞부분이 잘릴 수 있고, temperature 기본값은 0.8이다.
FROM qwen3:8b PARAMETER temperature 0.3 PARAMETER num_ctx 8192 SYSTEM "너는 한국어 번역가다. 입력 문장을 자연스러운 한국어로만 옮기고, 덧붙이는 설명은 하지 않는다."
ollama create ko-translator -f ./Modelfile ollama run ko-translator
번역·분류처럼 답이 일정해야 하는 일은 temperature를 낮추고, 긴 문서를 다룰 때는 num_ctx를 올린다. num_ctx를 올리면 메모리를 더 쓰므로 앞 절의 메모리 여유와 함께 맞춘다.
API 연결 — OpenAI 호환
Ollama 문서 기준으로 로컬 서버는 http://localhost:11434/v1/에서 OpenAI 호환 API를 연다. 지원하는 경로는 /v1/chat/completions, /v1/completions, /v1/models, /v1/embeddings, 상태를 저장하지 않는 /v1/responses 등이다. 클라이언트 라이브러리가 API 키 값을 요구하므로 아무 값이나 넣으면 되고, 문서도 «Ollama는 이 값을 무시한다»고 적는다. 기존에 OpenAI SDK로 짠 코드가 있다면 주소와 모델 이름만 바꾸면 대부분 그대로 돈다. SDK 설치와 기본 호출이 처음이라면 OpenAI API Python 챗봇 가이드를 먼저 보면 아래 코드가 바로 읽힌다.
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1/",
api_key="ollama", # 값은 필요하지만 Ollama는 무시
)
resp = client.chat.completions.create(
model="qwen3:8b",
messages=[{"role": "user", "content": "로컬 LLM의 장점을 세 가지로 요약해 줘"}],
)
print(resp.choices[0].message.content)curl http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{ "role": "user", "content": "안녕?" }],
"stream": false
}'같은 방식으로 문서 검색(RAG)이나 에이전트 도구의 «모델» 자리에 Ollama를 붙일 수 있다. 로컬 모델을 에이전트에 붙일 때의 선택지는 로컬 AI 에이전트 OpenClaw vs Hermes Agent, 여러 에이전트를 조립하는 프레임워크는 CrewAI·AutoGen 비교에서 이어 볼 수 있다. 녹음을 글로 바꾸는 일도 로컬로 돌리고 싶다면 Whisper API 활용법의 «로컬 Whisper» 절을 함께 보면 된다.
클라우드 AI와 무엇이 다른가
| 비교 항목 | 클라우드 AI | 로컬 LLM(Ollama) |
|---|---|---|
| 데이터 | 서비스 서버로 전송(서비스 정책을 따름) | 내 컴퓨터 안에서 처리 |
| 인터넷 | 필요 | 모델을 받은 뒤에는 없어도 됨 |
| 비용 | 구독료 또는 사용량 요금 | 모델 사용료 없음(장비·전기 비용) |
| 답의 수준 | 가장 큰 최신 모델을 쓸 수 있음 | 내 장비에 들어가는 크기까지 |
| 설정 자유도 | 서비스가 허용하는 범위 | 모델·매개변수·Modelfile을 직접 |
현실적인 쓰임은 «둘 중 하나»가 아니라 나눠 쓰기다. 밖으로 보내면 안 되는 자료, 같은 작업을 수없이 반복하는 일괄 처리는 로컬에서, 가장 높은 품질이 필요한 어려운 질문은 클라우드에서 처리하는 식이다. 소비자용 그래픽카드에 들어가는 크기의 모델은 최신 대형 모델보다 복잡한 추론이나 아주 긴 문맥에서 약할 수 있으니, 내 작업 견본으로 직접 비교해 보고 정한다.
자주 묻는 것
Ollama에서 llama3.3 8b를 받을 수 있나요?
2026년 10월 29일 Ollama 모델 목록 기준 llama3.3은 70b 한 크기(43GB)만 있습니다. 8GB 안팎 그래픽카드라면 qwen3:8b, deepseek-r1:8b, gemma3:4b처럼 작은 태그가 있는 모델을 고르는 편이 맞습니다.
Ollama를 OpenAI SDK로 부를 수 있나요?
네. 로컬 서버의 OpenAI 호환 주소 http://localhost:11434/v1/ 를 base_url로 넣고, API 키에는 아무 값이나 넣으면 됩니다. 공식 문서는 클라이언트가 키 값을 요구하지만 Ollama는 그 값을 무시한다고 설명합니다.
긴 문서를 넣었더니 앞부분을 잊어버립니다.
Modelfile 문서 기준 num_ctx(문맥 창) 기본값이 2048입니다. Modelfile에서 PARAMETER num_ctx 값을 올리면 더 긴 입력을 다룰 수 있지만, 그만큼 메모리를 더 씁니다.
gpt-oss 20b는 어느 정도 메모리가 필요한가요?
Ollama 모델 쪽 설명은 gpt-oss 20b(파일 14GB)가 MXFP4 양자화 덕분에 16GB 메모리 환경에서도 돈다고 안내합니다. 120b(65GB)는 80GB급 GPU 한 장에 들어간다고 적혀 있습니다.
정리
Ollama로 로컬 LLM을 시작하는 순서는 단순하다. 공식 방법으로 설치하고, 작은 모델로 동작을 확인한 뒤, 내 메모리에 맞는 크기의 모델을 모델 목록에서 고른다. 자주 쓰는 설정은 Modelfile로 묶고(num_ctx 기본 2048에 주의), 다른 프로그램에서는 OpenAI 호환 주소로 부른다. 모델 태그는 자주 바뀌니 글에 적힌 이름보다 목록의 현재 태그를 믿고, 결과는 내 작업 견본으로 직접 비교해 고른다.
참고 자료
- Ollama. Download — macOS·Linux install.sh, Windows install.ps1, 설치 파일(2026-10-29 확인). ollama.com
- Ollama Library — llama3.3(70b 43GB뿐)·qwen3·gemma3·deepseek-r1·gpt-oss 태그와 크기(2026-10-29 확인). ollama.com
- Ollama Docs. OpenAI compatibility — http://localhost:11434/v1/, API 키 값은 무시, 지원 경로(2026-10-29 확인). docs.ollama.com
- Ollama Docs. Modelfile — 지시어, ollama create, num_ctx 기본 2048·temperature 기본 0.8(2026-10-29 확인). docs.ollama.com
- ollama/ollama GitHub Releases — v0.40.13(2026-10-28)(2026-10-29 확인). github.com