왜 AI 탐지인가 — 경보는 늘고 사람은 그대로
보안 관제의 병목은 대개 «탐지가 안 돼서»가 아니라 «경보가 너무 많아서»다. 엔드포인트·네트워크·클라우드·계정 로그가 늘어날수록 규칙 기반 경보도 늘고, 사람이 하나씩 열어 보는 방식으로는 진짜 위협이 오탐 사이에 묻힌다. AI 기반 탐지가 맡는 일은 크게 둘이다. 정상 행동과 다른 것을 찾아내는 일(탐지), 쏟아지는 경보를 분류하고 맥락을 붙여 사람이 볼 것만 남기는 일(트리아지)이다.
이 일들이 전체 보안 활동 중 어디에 놓이는지는 NIST 사이버보안 프레임워크(CSF) 2.0의 여섯 기능으로 보면 분명해진다. CSF 2.0(2024-02-26)은 거버넌스(Govern)·식별(Identify)·보호(Protect)·탐지(Detect)·대응(Respond)·복구(Recover)로 나눈다. AI가 가장 직접 돕는 곳은 탐지와 대응이고, 어떤 자산이 중요한지 정하는 식별·거버넌스는 여전히 사람의 몫이다. 2025년 4월 개정된 NIST SP 800-61 Rev. 3도 사고 대응을 CSF 2.0 위에서 위험 관리의 일부로 다루라고 권한다.
도구를 고르기 전에 «우리가 지켜야 할 자산 목록»과 «그 자산의 로그가 어디에 쌓이는지»부터 적는다. AI는 들어오지 않은 로그에서 위협을 찾지 못한다.
기본 개념 — SIEM·XDR·SOAR와 세 가지 탐지 방식
| 구성 요소 | 하는 일 | AI가 붙는 자리 |
|---|---|---|
| SIEM | 여러 출처의 로그를 모으고 상관 분석·검색·보관 | 이상 탐지, 자연어 검색, 경보 요약 |
| XDR | 엔드포인트·네트워크·클라우드·계정 신호를 묶어 한 사건으로 봄 | 흩어진 신호를 한 공격 흐름으로 잇기 |
| SOAR | 정해 둔 대응 절차(플레이북)를 자동 실행 | 다음 조사 단계 제안, 대응안 초안 |
규칙·행위·AI 트리아지
| 방식 | 잘 잡는 것 | 약한 곳 |
|---|---|---|
| 규칙(시그니처) | 알려진 악성 파일·도메인·명령 | 처음 보는 공격, 정상 도구를 악용한 공격 |
| 행위 기반(베이스라인) | 평소와 다른 로그인 시각·지역·전송량 | 정상 패턴이 바뀔 때 오탐, 학습 기간 필요 |
| AI 트리아지(대화형 모델 포함) | 여러 경보를 묶고 맥락을 붙여 요약 | 근거 없는 확신, 입력 조작(5절) |
셋은 대체 관계가 아니라 겹쳐 쓴다. 규칙이 확실한 것을 잡고, 행위 분석이 규칙 밖의 이상을 올리고, AI 트리아지가 그 결과를 묶어 사람에게 넘긴다. 공격 기법에 이름을 붙여 탐지 범위를 점검할 때는 MITRE ATT&CK의 전술·기법 분류를 기준표로 쓰면 «우리 탐지가 어느 기법을 못 보는가»를 빈칸으로 볼 수 있다.
# 행위 기반 이상 점수의 기본 골격 — 시그니처가 아니라 '평소 대비 편차'
from dataclasses import dataclass
@dataclass
class Baseline:
usual_hours: set[int] # 평소 로그인하는 시각(0~23)
usual_countries: set[str] # 평소 접속 국가
p95_egress_mb: float # 하루 외부 전송량의 95번째 백분위
def anomaly_score(ev, base: Baseline) -> tuple[float, list[str]]:
score, why = 0.0, []
if ev.login_hour not in base.usual_hours:
score += 0.3; why.append("평소와 다른 시각")
if ev.country not in base.usual_countries:
score += 0.4; why.append("처음 보는 국가")
if ev.egress_mb > base.p95_egress_mb * 3:
score += 0.5; why.append("전송량 급증")
return min(score, 1.0), why # 점수와 함께 '왜'를 남겨야 분석가가 판단한다점수만 남기면 분석가가 왜 올라왔는지 다시 조사해야 한다. 근거 목록을 함께 남기는 것이 트리아지 시간을 줄이는 가장 쉬운 방법이다. 가중치는 예시이며, 실제 값은 과거 사건 데이터로 맞춘다.
탐지 파이프라인 4단계
로그 통합과 정규화
엔드포인트, 네트워크, 클라우드 감사 로그, 계정(ID 공급자) 로그를 한 스키마로 모은다. 같은 사용자를 출처마다 다른 이름으로 부르면 AI도 사건을 잇지 못한다. 시각대(UTC)와 사용자·호스트 식별자 맞추기가 이 단계의 대부분이다.
행위 베이스라인
사용자·자산별 정상 패턴(로그인 시각, 접속 지역, 전송량, 접근하는 시스템)을 일정 기간 학습한다. 학습 기간에 이미 침해가 있었다면 그것이 «정상»으로 굳으므로, 알려진 사건 기간은 빼고 학습한다.
AI 트리아지
모든 경보를 사람에게 보내지 않고, AI가 중복을 묶고 자산 중요도·위협 정보로 맥락을 붙여 1차 분류한다. 억제한 경보도 지우지 않고 기록해 두어야 나중에 «왜 놓쳤나»를 되짚을 수 있다.
단계적 자동 대응
되돌릴 수 있고 피해가 작은 조치부터 자동화하고, 큰 조치는 사람 승인을 거친다(4절 표).
// AI 트리아지: 사람에게 올리기 전 1차 분류
async function triageAlert(alert) {
const enriched = await enrichContext(alert); // 자산 등급·사용자·위협 정보 붙이기
const verdict = await classifier.assess(enriched); // { label, risk, confidence, reasons }
await auditLog.write({ alert, verdict }); // 억제하든 올리든 판단 근거를 남김
if (verdict.label === 'benign' && verdict.confidence > 0.95 && enriched.assetTier !== 'critical') {
return suppress(alert); // 확신 높은 오탐 + 핵심 자산 아님 → 억제
}
if (verdict.risk === 'high' && isReversible(verdict.suggestedAction)) {
await runAction(verdict.suggestedAction); // 되돌릴 수 있는 조치만 자동
}
return escalateToAnalyst({ alert, verdict }); // 나머지는 사람에게
}핵심 자산의 경보는 확신도와 상관없이 억제하지 않고, 자동 조치는 «되돌릴 수 있는가»로 거른다. 임계값(0.95)은 예시이며, 과거 경보에 붙인 정답 라벨로 오탐·미탐을 재서 정한다(6절).
자동 대응은 어디까지 맡기나
자동 대응의 위험은 «잘못 막았을 때»다. 정상 사용자의 계정을 잠그거나 운영 서버를 네트워크에서 떼어 내면 그 자체가 장애가 된다. 그래서 조치를 되돌리기 쉬운 정도와 피해 범위로 나눈다.
| 단계 | 조치 예 | 누가 실행 |
|---|---|---|
| 자동 | 의심 세션 토큰 폐기(재로그인 요구), 의심 메일 격리함 이동, 위협 정보에 있는 IP 일시 차단 | 시스템이 실행 · 사후 기록 |
| 사람 승인 뒤 자동 | 계정 잠금, 엔드포인트 네트워크 격리, 방화벽 규칙 추가 | 분석가가 한 번 누르면 실행 |
| 사람만 | 운영 서버 차단, 데이터 삭제, 고객·기관 통지 | 담당자 판단 |
표의 위 칸으로 조치를 옮기는 기준은 «같은 종류의 조치를 사람이 승인했을 때 틀린 적이 있었는가»다. 승인 기록이 쌓여 오판이 없는 조치만 자동으로 올린다. 서버 자체의 기본 방어(키 인증, 방화벽, 자동 보안 업데이트)가 먼저 갖춰져 있어야 자동 대응이 막을 범위도 좁아진다. 기본 설정은 Linux 서버 보안 설정 체크리스트에 정리했다.
AI 시스템 자체를 지키기 — OWASP LLM Top 10
방어에 LLM과 AI 에이전트를 쓰면 그 자체가 새 공격 표면이 된다. OWASP GenAI 보안 프로젝트의 «LLM 애플리케이션 Top 10(2025)»은 다음 열 가지를 꼽는다.
| 번호 | 위험 | 보안 관제에서의 예 |
|---|---|---|
| LLM01 | 프롬프트 인젝션 | 조사 대상 로그·메일에 숨긴 지시문이 트리아지 에이전트를 조종 |
| LLM02 | 민감 정보 노출 | 요약에 개인정보·키 값이 그대로 실림 |
| LLM03 | 공급망 | 검증 안 된 모델·플러그인 사용 |
| LLM04 | 데이터·모델 오염 | 학습·참조 데이터에 조작된 «정상» 사례 |
| LLM05 | 부적절한 출력 처리 | 모델이 만든 명령을 검증 없이 실행 |
| LLM06 | 과도한 권한(Excessive Agency) | 트리아지 에이전트가 방화벽까지 바꿀 수 있음 |
| LLM07 | 시스템 프롬프트 유출 | 탐지 규칙·예외 목록이 새어 나감 |
| LLM08 | 벡터·임베딩 약점 | 검색 증강(RAG) 지식 저장소 오염·권한 우회 |
| LLM09 | 잘못된 정보 | 근거 없는 «악성 아님» 판정 |
| LLM10 | 무제한 소비 | 대량 입력으로 비용·처리 지연 폭증 |
프롬프트 인젝션 — 직접과 간접
OWASP는 사용자 입력이 모델 동작을 바꾸는 직접 인젝션과, 모델이 웹페이지·파일 같은 외부 내용을 읽다가 그 안에 숨은 지시를 따르는 간접 인젝션을 나눈다. 보안 관제는 원래 공격자가 만든 데이터(피싱 메일, 악성 스크립트, 조작된 로그)를 읽는 일이라 간접 인젝션에 특히 노출된다. OWASP가 제시하는 대응 일곱 가지는 다음과 같다.
- 모델이 할 일과 범위를 지시문으로 좁힌다.
- 기대하는 출력 형식을 정하고 검증한다(예: 정해진 JSON 필드만).
- 입력과 출력을 거른다.
- 권한을 통제하고 최소 권한만 준다.
- 위험이 큰 동작은 사람 승인을 받는다.
- 외부 내용을 분리하고 «외부에서 온 것»이라고 표시한다.
- 공격 시나리오로 시험한다.
과도한 권한 — 기능·권한·자율성
OWASP는 과도한 권한(LLM06)의 원인을 과한 기능, 과한 권한, 과한 자율성 세 가지로 본다. 트리아지 에이전트에게 «조회»만 필요한데 «차단»까지 할 수 있는 도구를 붙이면 인젝션 한 번이 실제 조치로 이어진다. 대응은 붙이는 도구 수와 각 도구의 기능을 줄이고, 도구가 에이전트 계정이 아니라 요청한 사용자 권한으로 돌게 하고, 큰 조치는 사람 승인을 받는 것이다. 사람이 끼어들 자리를 어떻게 정하는지는 브라우저 에이전트가 멈춰야 할 곳에서 같은 원리로 다뤘다.
운영 — 드리프트·지표·사고 대응
베이스라인은 낡는다
행위 기반 모델은 시간이 지나면 정상 패턴 자체가 바뀐다. 재택 비중이 바뀌면 접속 지역·시각 분포가 이동하고, 새 업무 도구가 들어오면 전송량 기준이 달라진다. 재학습 주기를 정해 두고, 조직 변화(이전, 새 서비스 오픈)가 있을 때는 주기와 별개로 다시 학습한다.
무엇으로 잘 되고 있는지 재나
| 지표 | 뜻 | 재는 법 |
|---|---|---|
| 정밀도 | 올린 경보 중 진짜 위협 비율 | 분석가 판정 라벨로 주마다 셈 |
| 재현율 | 진짜 위협 중 올린 비율 | 모의 공격·사후 발견 사건과 대조 |
| MTTD | 침해 시작부터 탐지까지 평균 시간 | 사건 기록의 시작·탐지 시각 |
| MTTR | 탐지부터 대응 완료까지 평균 시간 | 사건 기록의 탐지·종료 시각 |
| 억제 경보 재검토 적중 | 억제했던 경보 중 뒤늦게 위협으로 밝혀진 수 | 억제 기록 표본 검토 |
오탐만 줄이면 재현율이 떨어질 수 있다. 두 값을 함께 보고, 억제한 경보를 표본으로 다시 열어 보는 일을 운영 절차에 넣는다. 경보·지표를 대시보드로 보는 방법은 실시간 성능 모니터링과 자동 스케일링의 알림 설계와 같은 원리다.
사고 대응 기록
AI가 제안하거나 실행한 조치는 «무엇을 보고, 무엇을 근거로, 어떤 도구를 불러, 무엇을 바꿨는가»를 구조화해 남긴다. 사고가 끝난 뒤 되짚기와 규칙·모델 개선이 이 기록에서 나온다. 절차의 큰 틀은 NIST SP 800-61 Rev. 3을 참고한다.
정리 — 도입 순서
AI 기반 보안 위협 탐지는 «경보를 사람이 다 볼 수 없다»는 문제에서 출발한다. 그러나 AI를 방어에 쓰는 만큼 AI 자체가 공격 표면이 된다. 탐지 자동화와 AI 시스템 보안을 함께 설계하고, 작게 시작해 확인된 영역부터 넓힌다.
| 순서 | 할 일 | 확인 |
|---|---|---|
| 1 | 자산 목록과 로그 출처 정리 → 한 스키마로 통합 | 사용자·호스트 식별자가 출처마다 같은지 |
| 2 | 행위 베이스라인 학습 | 알려진 사건 기간을 빼고 학습했는지 |
| 3 | AI 트리아지 + 근거 기록 | 억제 경보도 기록되는지 |
| 4 | 되돌릴 수 있는 조치만 자동 | 승인 기록으로 자동 범위를 넓히는지 |
| 5 | 트리아지 에이전트에 OWASP LLM 대책 적용 | 외부 내용 분리 · 최소 도구 · 사람 승인 |
| 6 | 정밀도·재현율·MTTD·MTTR 정기 측정 | 재학습 주기가 정해져 있는지 |
자주 묻는 것
AI 보안 탐지를 도입하면 규칙 기반 탐지는 필요 없나요?
필요합니다. 규칙은 알려진 악성 파일·도메인을 확실하게 잡고, 행위 기반 분석은 규칙 밖의 이상을 올리며, AI 트리아지는 그 결과를 묶어 사람에게 넘깁니다. 셋을 겹쳐 쓰는 구성이 일반적입니다.
자동 대응은 어디까지 맡겨도 되나요?
의심 세션 토큰 폐기나 의심 메일 격리처럼 되돌리기 쉽고 피해가 작은 조치부터 자동화합니다. 계정 잠금·호스트 격리는 사람 승인 뒤 실행하고, 운영 서버 차단이나 외부 통지는 사람이 판단합니다. 승인 기록에서 오판이 없던 조치만 자동 범위로 옮깁니다.
보안 관제에 쓰는 AI 에이전트도 공격받을 수 있나요?
받을 수 있습니다. OWASP LLM Top 10 2025의 첫 항목이 프롬프트 인젝션이고, 관제는 공격자가 만든 메일·로그를 읽는 일이라 간접 인젝션에 특히 노출됩니다. 외부 내용 분리, 출력 형식 검증, 최소 권한, 위험한 동작의 사람 승인을 함께 적용합니다.
AI 탐지가 잘 되고 있는지는 무엇으로 재나요?
올린 경보 중 진짜 위협 비율인 정밀도, 진짜 위협 중 올린 비율인 재현율, 탐지까지 걸린 평균 시간(MTTD)과 대응 완료까지 걸린 평균 시간(MTTR)을 함께 봅니다. 억제한 경보를 표본으로 다시 열어 놓친 위협이 없는지도 확인합니다.
참고 자료
- NIST. The NIST Cybersecurity Framework (CSF) 2.0 — CSWP 29, 2024-02-26(2026-10-30 확인). csrc.nist.gov
- NIST. SP 800-61 Rev. 3 — Incident Response Recommendations and Considerations for Cybersecurity Risk Management: A CSF 2.0 Community Profile, 2025-04(Rev. 2 대체)(2026-10-30 확인). csrc.nist.gov
- OWASP GenAI Security Project. Top 10 for LLM Applications 2025 — LLM01~LLM10(2026-10-30 확인). genai.owasp.org
- OWASP. LLM01:2025 Prompt Injection — 직접·간접 정의, 대응 7가지(2026-10-30 확인). genai.owasp.org
- OWASP. LLM06:2025 Excessive Agency — 기능·권한·자율성 과다, 대응(2026-10-30 확인). genai.owasp.org
- MITRE ATT&CK — 공격 전술·기법 분류(2026-10-30 확인). attack.mitre.org