쉽게 이해하기

소형 언어 모델(SLM)은 대형 언어 모델(LLM)보다 작고 가볍게 만든 언어 모델이다. 챗봇처럼 글을 이해하고 답할 수 있지만, 목표는 모든 지식을 다 담는 것이 아니라 특정 업무를 빠르고 저렴하게 처리하는 데 있다. 그래서 고객문의 분류, 문서 요약, 간단한 추출, 기기 내부 assistant 같은 작업에 잘 맞는다.

비유와 예시

SLM은 대형 트럭이 아니라 도시 배송용 밴에 가깝다. 대형 트럭은 많은 것을 실을 수 있지만 매번 쓰기에는 비싸고 무겁다. 반대로 밴은 모든 일을 하지는 못해도 정해진 경로에서는 빠르고 경제적이다. 예를 들어 사내 FAQ 답변, 영수증 필드 추출, 온디바이스 음성 명령 분류가 SLM 후보가 될 수 있다.

한눈에 비교

구분	LLM	SLM
목표	범용 능력과 넓은 지식	특정 업무의 비용·속도 최적화
장점	복잡한 추론, 다양한 작업	낮은 latency, 낮은 비용, 로컬 배포 가능성
약점	비싼 추론, 큰 인프라	좁은 범위, 지식량 부족, 어려운 작업 취약
운영 방식	cloud frontier model 호출	local/server small model + fallback

어디서 왜 중요한가

AI 제품이 커지면 매 요청마다 큰 모델을 호출하는 비용이 부담된다. SLM은 반복적이고 범위가 명확한 작업을 작은 모델로 처리해 latency와 cost/request를 낮출 수 있다. 또한 온디바이스나 private environment에서 데이터를 외부로 보내기 어려운 경우에도 선택지가 된다.

자주 하는 오해

• 오해: SLM은 LLM의 하위호환이라 쓸 이유가 없다.

• 실제: 좁은 업무에서는 작고 빠른 모델이 더 좋은 제품 선택일 수 있다.

• 오해: 작으면 항상 hallucination이 줄어든다.

• 실제: 모델 크기보다 데이터, task fit, evaluation, fallback 설계가 중요하다.

• 오해: SLM 하나로 모든 비용 문제가 해결된다.

• 실제: routing, monitoring, confidence threshold, LLM fallback이 함께 필요하다.

대화에서는 이렇게

• "이 분류 작업은 frontier 모델 대신 SLM으로 충분할 수 있습니다."

• "SLM이 실패하는 slice만 큰 모델로 fallback하면 비용을 줄일 수 있습니다."

• "온디바이스 요구가 있으면 정확도보다 latency와 privacy 제약을 먼저 봐야 합니다."

함께 읽으면 좋은 용어

• (기초) LLM — SLM과 비교되는 범용 대형 언어 모델이다.

• (기초) Model Distillation — 큰 모델의 행동을 작은 모델로 옮기는 방법이다.

• (유사) Fine-tuning — 특정 도메인에 SLM을 맞출 때 자주 쓰인다.

• (심화) Model Router — 요청별로 SLM과 LLM을 고르는 운영 패턴이다.

• (심화) Quantization — 작은 모델을 더 가볍게 배포하는 기법이다.