쉽게 이해하기

AI 추론은 이미 학습된 모델을 실제로 사용하는 단계다. 챗봇에 질문하면 시스템은 입력을 토큰으로 바꾸고, 모델을 실행한 뒤, 다음 토큰을 하나씩 만들어 응답을 보낸다. 이때 모델의 가중치를 다시 배우는 것이 아니라 이미 배운 패턴을 이용해 답을 계산한다.

비유와 예시

학습이 요리사를 훈련시키는 과정이라면 추론은 손님 주문을 받아 음식을 내는 서비스 시간이다. 이미지 분류 모델이 새 사진을 고양이로 분류하는 것, 추천 시스템이 다음 상품을 고르는 것, LLM이 문장을 생성하는 것이 모두 추론이다.

한눈에 비교

어디서 왜 중요한가

AI 제품의 반복 비용은 대부분 추론에서 발생한다. 사용자가 많아질수록 같은 모델을 계속 실행해야 하므로 GPU 메모리, batch scheduling, KV cache, quantization, autoscaling이 제품 경제성에 직접 영향을 준다. 좋은 모델도 추론이 느리거나 비싸면 서비스로 운영하기 어렵다.

자주 하는 오해

• 오해: 추론은 단순히 모델을 한 번 실행하는 일이다.
• 실제: 운영 환경에서는 batching, caching, streaming, routing, fallback, monitoring이 함께 필요하다.
• 오해: 더 큰 모델이면 항상 더 좋은 추론 선택이다.
• 실제: latency와 비용 제약이 있으면 작은 모델, 증류 모델, quantized 모델이 더 적합할 수 있다.

대화에서는 이렇게

• "모델 품질은 괜찮은데 p95 latency가 제품 기준을 넘습니다."
• "prefill은 빠른데 decode tokens/s가 병목입니다."
• "트래픽이 늘면 학습 비용보다 inference cost가 매 요청마다 반복됩니다."

함께 읽으면 좋은 용어

• 기초
  LLM — 토큰을 순차 생성하는 대표적인 추론 워크로드다.
• 기초
  GPU — 대규모 추론 처리량을 좌우하는 핵심 하드웨어다.
• 유사
  Batch Inference — 실시간 응답보다 대량 처리량을 우선하는 추론 방식이다.
• 심화
  KV Cache — LLM decode 단계의 메모리와 속도에 직접 영향을 준다.
• 심화
  Model Serving — 추론을 API, scheduler, monitoring으로 운영하는 계층이다.