쉽게 이해하기

문제는 배포 이후다. 모델은 학습이 끝난 뒤에도 사용자 요청이 들어올 때마다 연산을 수행하고, 그때마다 비용이 발생한다. 몇 번은 사소해 보이지만, 제품 기능으로 붙어 24시간 호출되면 이 비용이 빠르게 누적되어 핵심 원가가 된다.

해결의 관점은 ‘한 번의 거대 비용’이 아니라 ‘매 호출의 단가’를 낮추는 것이다. 장바구니에서 불필요한 옵션을 빼듯, 불필요하게 긴 프롬프트와 출력 길이를 줄이고, 과하게 큰 모델 대신 목적에 맞는 작은 모델을 쓰며, 효율적인 호스팅 방식을 고르는 전략이 여기에 해당한다.

메커니즘을 조금 더 보면, LLM 추론은 프롬프트를 토큰으로 쪼개 임베딩하고, Transformer로 다음 토큰 확률을 계산하며 한 토큰씩 출력한다. FLOPs(부동소수점 연산 수)는 이때 필요한 산술 계산량을 어림잡는 단위이며, 공급자가 그대로 청구하는 가격표는 아니다. 실제 청구액은 보통 입력 토큰·출력 토큰·캐시 토큰 단가와 인프라 사용량으로 계산되지만, 토큰 수와 파라미터 수가 커질수록 계산량과 비용 압력이 함께 커진다. 학습 대비 단일 실행의 연산은 적지만, 프로덕션에서는 요청이 지속적으로 들어와 총액을 키운다.

비유와 예시

• 사내 검색 챗봇: 직원들이 수천 건의 문서 Q&A를 날마다 실행하면, 긴 문서 전문을 그대로 붙인 프롬프트 때문에 토큰 비용이 불필요하게 커진다. 요약 후 핵심만 넣으면 동일한 답을 더 낮은 비용으로 얻을 수 있다.
• 코드 리뷰 보조: PR마다 모델에게 변경 요약과 위험 지점을 생성하게 하면, 작은 모델로도 충분한 규칙성 작업은 추론 비용을 크게 줄인다. 반대로 과도한 모델 선택은 비용만 높이고 체감 품질 차이는 작을 수 있다.
• 이메일 일괄 요약: 하루 수만 건을 배치 처리할 때 출력 길이 한도를 정하지 않으면 비용이 폭증한다. 필요한 섹션만 추출하도록 프롬프트를 설계하면 토큰 사용량을 안정화할 수 있다.

한눈에 비교

	학습 비용	추론 비용
과금/발생 시점	사전 준비 단계의 일회성·대규모	배포 후 매 호출·지속적 누적
대략적 연산량(토큰당)	≈ 6 FLOPs/파라미터/토큰	≈ 1–2 FLOPs/파라미터/토큰
비용 변동 요인	데이터량·에폭·모델 크기	입력/출력 토큰, 모델 크기, 호스팅
예산 관리	프로젝트형, 일괄 집행	운영형, 트래픽과 함께 스케일

추론은 단건 연산량은 작아도 호출이 누적되어 총비용을 좌우하므로, 토큰과 모델 선택·호스팅을 통해 단가와 총액을 함께 관리해야 한다.

어디서 왜 중요한가

• 운영 관행의 변화: 토큰 단위 과금이 일반화되며 프롬프트·출력 길이의 상한과 로그 관리를 기본 옵션으로 두는 실무가 확산됐다.
• 모델 사이징 의사결정: 목적에 맞는 더 작은 모델이나 변형을 선택해도 품질을 유지하면서 추론 비용을 줄일 수 있다는 사례가 나오며, ‘무조건 큰 모델’ 선호가 약화됐다.
• 호스팅 선택의 중요성: 동일한 모델이라도 제공자·배포 방식에 따라 단가가 달라, 인프라와 가격 모델 비교가 제품 원가 관리의 핵심 과제가 됐다.
• 최적화 기법 도입: KV 캐시를 압축·활용하는 접근 등이 소개되며, 메모리 사용과 연산을 줄여 응답 지연과 비용을 함께 낮추려는 시도가 이어지고 있다.
• 환경 영향 관점 추가: 프롬프트당 전력 소모가 계량되며, 비용 절감 노력과 에너지 효율 개선이 함께 논의되고 있다.

자주 하는 오해

• ❌ 오해: 학습만 비싸고 운영 비용은 미미하다 → ✅ 실제: 단건은 작아도 대량 트래픽이 누적되어 제품 원가의 큰 비중을 차지한다.
• ❌ 오해: 큰 모델이 항상 품질·비용 대비 최선이다 → ✅ 실제: 목적 적합한 작은 모델로도 품질을 유지하며 토큰·연산 비용을 크게 줄일 수 있다.
• ❌ 오해: 추론은 학습보다 연산이 적으니 최적화 의미가 없다 → ✅ 실제: 토큰·호출이 계속 발생해 총액이 커지므로, 길이 제한·모델 선택·호스팅 결정이 필수다.

대화에서는 이렇게

• "이번 분기 추론 비용 스파이크는 컨텍스트 윈도 늘리면서 입력 토큰이 두 배로 뛴 영향이에요."
• "FAQ는 소형 모델로 라우팅하고, 창의적 요청만 대형으로 보내면 월 단가를 낮출 수 있어요."
• "KV 캐시 설정 바꾸고 요약 프롬프트로 리라이트했더니 토큰 사용량이 28% 줄었습니다."
• "벤더별 토큰 과금이 달라서, 동일 모델이라도 호스팅 옵션 비교가 필요합니다."
• "출력 길이 제한 안 걸면 SLA 지키려고 재시도하면서 비용이 더 늘어요. 상한을 명확히 합시다."

함께 읽으면 좋은 용어

• 기초
  토큰 — (Token) — 과금·연산의 최소 단위라 길이 관리가 비용 통제의 출발점.
• 기초
  컨텍스트 윈도 — (Context window) — 입력 길이 한도로, 넓힐수록 메모리·연산·비용이 함께 증가한다.
• 유사
  미세조정 — (Fine-tuning) — 큰 범용 모델 대신 과제 특화 모델로 바꿔 추론 단가를 낮출 때 비교 대상.
• 심화
  Mixture of Experts — (MoE) — 활성화 파라미터를 줄여 추론 연산·비용을 절감하려는 아키텍처.
• 심화
  KV 캐시 — 반복 계산을 줄여 긴 컨텍스트에서 속도와 비용을 함께 최적화하는 핵심 기법.