DEVOPS

Linux 서버 보안 설정 체크리스트 — SSH·방화벽·자동 업데이트

junetapa2026. 10. 29 업데이트12 min read

인터넷에 연결된 Linux 서버는 열리는 순간부터 SSH 로그인 시도와 포트 스캔을 받는다. 다행히 막는 방법은 오래전부터 정리돼 있다. 키로만 로그인하게 하고, 필요한 포트만 열고, 보안 업데이트가 저절로 들어가게 하고, 권한을 좁히는 것이다. 이 글은 Ubuntu 서버를 기준으로 그 순서를 체크리스트로 묶고, 설정할 때 흔히 빠지는 함정(드롭인 파일 순서, 업데이트 뒤 재시작)을 공식 매뉴얼로 확인해 정리했다.

2026년 10월 29일 다시 확인. 지금 최신 LTS는 Ubuntu 26.04 LTS(2026년 4월)이고, 24.04 LTS는 표준 보안 지원이 2029년 5월까지다. 예전 판에 있던 출처 없는 봇넷 사례·수치는 뺐고, «99-hardening.conf» 드롭인 예시는 sshd의 «처음 읽은 값이 이긴다» 규칙 때문에 의도대로 안 먹을 수 있어 고쳤다. 설정 값의 기본값과 동작은 OpenSSH 매뉴얼(sshd_config)과 Ubuntu Server 문서 기준이다.

SSH 보안 강화 — 첫 번째 방어선

SSH는 Linux 서버에 원격으로 들어가는 기본 통로이고, 그만큼 공격이 가장 먼저 오는 곳이다. 먼저 기본값부터 알아 두자. OpenSSH 매뉴얼 기준으로 PasswordAuthentication의 기본값은 yes(비밀번호 로그인 허용), PermitRootLogin의 기본값은 prohibit-password(root는 키로만), MaxAuthTries는 6회, LoginGraceTime은 120초다. 아무것도 안 바꾸면 일반 계정은 비밀번호로 들어올 수 있는 상태라는 뜻이다.

드롭인 파일로 설정하되, 순서를 조심한다

Ubuntu의 기본 /etc/ssh/sshd_config는 보통 첫머리에서 Include /etc/ssh/sshd_config.d/*.conf로 드롭인 디렉터리를 불러온다(서버의 파일 첫머리에서 이 줄이 있는지 먼저 확인한다). 본 파일을 고치지 않고 드롭인 파일에 설정을 모으면 패키지 업데이트와 충돌이 적다. 여기서 함정이 하나 있다. 매뉴얼은 «따로 적힌 경우가 아니면 각 항목은 처음 읽은 값을 쓴다»고 하고, Include의 와일드카드는 사전 순서로 펼쳐진다. 그래서 드롭인 이름을 99-…로 지으면 앞 번호의 다른 파일(클라우드 이미지가 만들어 두는 파일 등)에 같은 항목이 있을 때 그 값이 먼저 읽혀 내 설정이 무시된다. 이름을 앞 번호로 짓고, 적용 뒤에는 sudo sshd -T로 실제 적용 값을 확인한다.

/etc/ssh/sshd_config.d/00-hardening.conf
PermitRootLogin no
PasswordAuthentication no
KbdInteractiveAuthentication no
PubkeyAuthentication yes
MaxAuthTries 3
LoginGraceTime 30
AllowUsers deploy
LogLevel VERBOSE
적용 전 확인
sudo sshd -t                      # 문법 검사(출력 없으면 통과)
sudo sshd -T | grep -Ei 'passwordauthentication|permitrootlogin|maxauthtries|allowusers'
sudo systemctl reload ssh         # 두 번째 터미널을 열어 둔 채로

PermitRootLogin no로 root 직접 로그인을 막고, 일반 계정으로 들어와 sudo를 쓴다. AllowUsers는 적힌 사용자만 로그인하게 하는 허용 목록이다(매뉴얼 기준 기본은 모든 사용자 허용). 설정을 다시 읽기 전에는 반드시 기존 접속을 하나 열어 둔 채 새 터미널로 로그인이 되는지 확인한다. 실수로 자기 접속을 막는 일이 가장 흔한 사고다. 기본 포트 22를 바꾸면 자동 스캔 기록이 줄어드는 효과는 있지만, 키 인증을 대신하지는 못하는 보조 수단이다.

키 인증으로 전환 — Ed25519와 하드웨어 키

비밀번호는 아무리 길어도 추측·유출의 위험이 남는다. ssh-keygen -t ed25519 -C "deploy@server"로 키를 만들고, 공개키를 서버 계정의 ~/.ssh/authorized_keys에 넣은 뒤(권한 600), 키로 로그인이 되는 것을 확인하고 나서 PasswordAuthentication no를 적용한다. 순서를 거꾸로 하면 들어갈 길이 없어진다.

한 단계 더 가려면 USB 보안 키 같은 하드웨어 장치에 묶인 ed25519-sk 키(ssh-keygen -t ed25519-sk)를 쓴다. 개인키를 쓰려면 장치를 꽂고 눌러야 하므로, 내 컴퓨터의 키 파일이 새어 나가도 그것만으로는 로그인하지 못한다. 관리자 계정처럼 위험이 큰 접속부터 적용하면 좋다.

Fail2Ban으로 반복 실패 차단

Fail2Ban은 로그를 지켜보다가 정해진 시간 안에 정해진 횟수 이상 로그인에 실패한 IP를 방화벽에서 일정 시간 막는 도구다. 키 인증만 허용한 서버라도 로그가 시끄러워지는 것을 줄이고, 다른 서비스(웹 로그인 등)로 범위를 넓힐 수 있다. 설정은 기본 파일을 직접 고치지 않고 jail.local에 덮어쓰는 방식이 일반적이다.

키 인증과 루트 로그인 차단, 포트 변경 등 에스에스에이치 보안 설정을 정리한 도해
SSH가 첫 번째 방어선이다 — 여기가 뚫리면 나머지가 의미 없다.

방화벽 — 필요한 문만 연다

Ubuntu Server 문서는 ufw를 «Ubuntu의 기본 방화벽 설정 도구»라고 소개하고, 기본으로 꺼져 있다고 적는다. 즉 설치만 하고 켜지 않았다면 방화벽이 없는 것과 같다. 원칙은 들어오는 연결을 모두 막고 필요한 것만 여는 것이다.

ufw 기본 설정
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp        # SSH 포트를 바꿨다면 그 번호
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status verbose

SSH 포트를 바꿨다면 ufw enable 전에 새 포트를 먼저 열어야 접속이 끊기지 않는다. 같은 문서는 ufw의 현재 뒷단이 iptables-restore이고 규칙이 /etc/ufw/*.rules에 저장된다고 설명한다. 복잡한 규칙이 아니라면 ufw 명령만으로 충분하다.

도구성격주로 쓰는 곳
ufw간단한 명령으로 규칙 관리Ubuntu·Debian 서버
firewalld영역(zone) 단위 관리RHEL·Fedora 계열
iptables·nftables 직접규칙을 직접 작성, 자유도 높음복잡한 네트워크·고급 사용자

나가는 연결도 본다

대부분 들어오는 쪽만 막지만, 서버가 침해됐을 때는 나가는 연결이 외부로 데이터를 보내거나 다른 서버를 공격하는 통로가 된다. 웹 서버처럼 역할이 단순하다면 나가는 연결도 필요한 곳(패키지 저장소, API 등)만 허용하는 방식을 검토한다. 클라우드라면 서버 안 방화벽과 별개로 클라우드의 보안 그룹 규칙도 같은 원칙으로 맞춘다.

사용자와 권한 — 최소 권한

sudo는 필요한 명령만

visudo로 sudoers를 고쳐 사용자마다 실행할 수 있는 명령을 좁힐 수 있다. 배포 계정에는 웹 서버 재시작만, 데이터베이스 담당에는 데이터베이스 재시작만 허용하는 식이다. 파일을 직접 편집하지 않고 visudo를 쓰는 이유는 저장 전에 문법을 검사해 주기 때문이다. 문법이 틀린 sudoers는 sudo 자체를 막는다.

쓰지 않는 서비스와 계정 정리

systemctl list-unit-files --state=enabled로 켜져 있는 서비스를 보고, 쓰지 않는 것은 끈다. ss -tulpn으로 실제로 열려 있는 포트와 그 프로세스를 함께 확인하면 방화벽 규칙과 맞는지도 볼 수 있다. 퇴사자·옛 프로젝트 계정처럼 쓰지 않는 계정은 잠그거나 지운다.

서비스 격리

Ubuntu는 AppArmor로 프로세스가 접근할 수 있는 파일과 기능을 프로파일로 제한한다. sudo aa-status로 어떤 프로파일이 강제(enforce) 모드인지 확인하고, 외부에 노출된 서비스는 가능하면 강제 모드로 둔다. 서비스 하나가 침해돼도 피해가 그 안에 머물게 하는 한 겹이다.

전용 사용자 생성과 최소 권한 부여, 정기 점검으로 이어지는 권한 관리 흐름을 나타낸 도해
한 사고가 전체로 번지지 않게 하는 것이 최소 권한의 목적이다.

자동 보안 업데이트와 재시작

unattended-upgrades

Ubuntu Server 문서 기준으로 보안 업데이트 자동 설치는 unattended-upgrades 패키지가 맡고, 이 패키지는 기본으로 설치돼 있다. 켜고 끄는 것과 주기는 /etc/apt/apt.conf.d/20auto-upgrades의 두 값(APT::Periodic::Update-Package-Lists, APT::Periodic::Unattended-Upgrade)이 정하고, 기본 "1"은 매일, "0"은 끔이다. 어떤 저장소를 올릴지, 무엇을 빼고 재부팅을 어떻게 할지는 /etc/apt/apt.conf.d/50unattended-upgrades에서 정한다.

업데이트 뒤 재시작까지 챙긴다

라이브러리를 고쳐도 그 라이브러리를 이미 불러 쓰고 있는 서비스가 다시 시작되기 전까지는 옛 코드가 메모리에 남는다. 문서는 unattended-upgrades가 업데이트 뒤 needrestart를 불러 바뀐 파일을 쓰는 서비스를 재시작하고, Ubuntu 24.04 LTS부터는 needrestart가 기본으로 자동 재시작한다고 설명한다. 특정 서비스를 빼고 싶다면 needrestart.conf를 직접 고치지 말고 /etc/needrestart/conf.d/에 파일을 더하라고 권한다.

커널처럼 재부팅이 필요한 업데이트도 있다. Unattended-Upgrade::Automatic-Reboot를 켜면 재부팅이 필요할 때 확인 없이 재부팅하고(기본값 false), Automatic-Reboot-Time으로 시각을, Automatic-Reboot-WithUsers로 로그인한 사용자가 있을 때의 동작을 정한다. 운영 서버라면 사용자가 적은 시각을 정해 두는 편이 낫다.

로그와 백업

/var/log/auth.log에서 로그인 성공·실패를 주기를 정해 확인하고, 파일 변경을 추적하는 AIDE 같은 도구를 붙이면 설정 파일이 몰래 바뀌는 것을 알아챌 수 있다. 백업은 서버 밖에 두고, 복원이 실제로 되는지 가끔 시험한다. 복원해 보지 않은 백업은 있는지 없는지 모르는 것과 같다.

보안 업데이트와 로그 확인, 백업 등 정기적으로 해야 할 관리 항목을 정리한 도해
설정은 한 번이지만 관리는 계속이다.

점검 도구와 추가 팁

Tip 1

Lynis로 전체 점검. sudo lynis audit system은 서버 설정을 훑어 경고와 제안을 목록으로 보여 준다. 설정을 바꾼 전후에 돌려 비교하면 놓친 곳을 찾기 쉽다.

Tip 2

클린 상태 스냅샷. 클라우드라면 보안 설정을 마친 직후 스냅샷을 남겨 둔다. 문제가 생겼을 때 출발점으로 돌아갈 수 있다.

Tip 3

SSH에 2단계 인증 더하기. OTP용 PAM 모듈을 붙이면 키 인증 위에 일회용 번호를 더할 수 있다. 다만 설정을 잘못하면 자기 접속을 막을 수 있으니 콘솔 접속 수단을 확보한 뒤 적용한다.

Tip 4

설정을 코드로. 위 설정을 Ansible이나 Terraform 같은 도구로 코드로 남기면, 새 서버를 만들 때마다 같은 보안 수준을 빠짐없이 적용할 수 있다. 인프라를 코드로 다루는 흐름은 Terraform IaC 인프라 자동화 가이드, 배포 파이프라인에 보안 점검을 끼우는 방법은 Docker + GitHub Actions CI/CD 가이드에서 이어 볼 수 있다.

한눈에 보는 체크리스트

영역할 일확인 방법
SSH키 로그인 확인 → 비밀번호 로그인 끔 · root 로그인 끔 · AllowUserssudo sshd -T로 실제 값
SSH 드롭인앞 번호 파일 이름(처음 읽은 값이 이김)ls /etc/ssh/sshd_config.d/
방화벽ufw 켜기 · 들어오는 연결 기본 차단 · 필요한 포트만sudo ufw status verbose
권한sudo 명령 좁히기 · 안 쓰는 계정·서비스 정리ss -tulpn·systemctl list-unit-files
업데이트unattended-upgrades 켜짐 · needrestart 재시작 · 재부팅 시각20auto-upgrades·50unattended-upgrades
격리·감시AppArmor enforce · 로그 확인 · 서버 밖 백업과 복원 시험sudo aa-status

더 넓게는 AI를 이용한 위협 탐지·대응 흐름도 있다. 개념과 한계는 AI 기반 보안 위협 탐지와 대응에 따로 정리했다. 다만 위 기본 설정이 먼저다. 키 인증, 방화벽, 자동 업데이트, 최소 권한 네 가지가 갖춰져 있지 않으면 어떤 탐지 도구도 막을 수 있는 범위가 좁다.

자주 묻는 것

sshd_config.d에 설정을 넣었는데 적용이 안 됩니다.

OpenSSH는 각 항목에서 처음 읽은 값을 씁니다. 드롭인 파일은 이름 순서로 읽히므로, 앞 번호 파일에 같은 항목이 있으면 그 값이 이깁니다. 파일 이름을 앞 번호로 바꾸고 sudo sshd -T로 실제 적용 값을 확인합니다.

Ubuntu에서 ufw는 기본으로 켜져 있나요?

Ubuntu Server 문서 기준으로 ufw는 기본으로 꺼져 있습니다. 필요한 포트(특히 SSH)를 먼저 허용한 뒤 sudo ufw enable로 켭니다.

자동 보안 업데이트를 켜면 서비스 재시작도 되나요?

Ubuntu Server 문서에 따르면 unattended-upgrades는 업데이트 뒤 needrestart를 불러 서비스를 재시작하고, Ubuntu 24.04 LTS부터는 영향받은 서비스를 기본으로 자동 재시작합니다. 커널처럼 재부팅이 필요한 경우는 Automatic-Reboot 설정으로 따로 정합니다.

SSH 포트를 바꾸면 안전해지나요?

자동 스캔 기록이 줄어드는 효과는 있지만 보조 수단입니다. 키 인증으로 바꾸고 비밀번호 로그인을 끄는 것이 핵심이고, 포트를 바꿨다면 방화벽에서 새 포트를 먼저 열어야 접속이 끊기지 않습니다.

참고 자료

  1. OpenBSD/OpenSSH. sshd_config(5) — Ubuntu noble 매뉴얼: 처음 읽은 값 사용, PermitRootLogin 기본 prohibit-password, PasswordAuthentication 기본 yes, MaxAuthTries 6, LoginGraceTime 120, AllowUsers, Include 사전 순서(2026-10-29 확인). manpages.ubuntu.com
  2. Ubuntu Server docs. Automatic updates — unattended-upgrades 기본 설치, 20auto-upgrades·50unattended-upgrades, Automatic-Reboot 기본 false, needrestart 24.04부터 자동 재시작·conf.d(2026-10-29 확인). ubuntu.com
  3. Ubuntu Server docs. Firewalls — ufw 기본 도구·기본 꺼짐·명령·iptables-restore 뒷단(2026-10-29 확인). ubuntu.com
  4. Ubuntu. Release cycle — 26.04 LTS(2026-04)·24.04 LTS 표준 지원 2029-05(2026-10-29 확인). ubuntu.com
Linux 서버 보안 설정 체크리스트 대표 그림 — 왼쪽에 «Linux 서버 보안 · 설정 체크리스트» 제목이 있고, 오른쪽에 겹겹 방패로 둘러싼 서버 랙, 하드웨어 보안 키, 문 하나만 열린 벽, 새로고침 배지와 체크리스트를 든 작은 로봇이 있는 장면
Linux 서버 보안 설정 체크리스트 — SSH·방화벽·자동 업데이트.
Linux서버 보안SSH 보안sshd_configufwunattended-upgradesneedrestartFail2BanUbuntu
junetapa(박준철)
개발자가 아니라 쓰는 사람. IT 현장 27년의 기준으로 AI 도구를 고르고 기록한다.
TwitterFacebookURL 복사