쉽게 이해하기

LLM은 사람처럼 모든 것을 오래 기억하지 못합니다. 모델이 답을 만들 때 당장 참고할 수 있는 공간이 한정되어 있는데, 이것이 바로 컨텍스트 윈도우입니다. 이 공간이 작으면 대화가 길어질수록 앞부분이 밀려 나가거나 중요한 단서가 묻힐 수 있습니다. 컨텍스트 윈도우는 회의 중 책상 위에 펼쳐 둔 자료라고 생각하면 이해가 쉽습니다. 책상(윈도우)이 넓으면 자료를 많이 펼칠 수 있지만, 불필요한 종이까지 올려두면 중요한 문서가 눈에 잘 안 들어옵니다. 모델도 마찬가지로, 관련 없는 토큰이 늘면 필요한 정보를 집어 들기 어려워집니다. 구체적으로 컨텍스트 윈도우에는 시스템 지시, 이전 턴의 사용자·모델 메시지, 도구 호출과 결과, 그리고 이번 턴에 생성할 출력 토큰까지 포함됩니다. 공식 문서에 따르면 이 공간은 훈련 데이터와는 다른 일시적 작업 메모리이며, 토큰이 많아질수록 정확도·회상이 떨어지는 현상(컨텍스트 로트)이 관찰됩니다. 따라서 긴 문서를 그대로 넣기보다, 관련 부분만 골라 압축·요약·검색해 넣는 설계가 핵심입니다.

비유와 예시

• 분할 계약 검토: 수백 쪽짜리 계약서를 통째로 넣기보다 관련 조항만 추려 컨텍스트에 배치합니다. 불필요한 조항을 줄이면 해석 오류가 줄고 답변이 안정적입니다.
• 다단계 데이터 분석 질의: 이전 차트 해석, 추정, 반례 토론이 이어지는 대화에서 핵심 결론만 압축해 남기고 사소한 턴은 비웁니다. 남은 토큰 예산을 새 질문과 답변에 활용합니다.
• 코드 수정 요청: 레포지토리 전체를 넣지 않고 변경된 파일, 의존 파일, 호출 지점만 추려 넣습니다. 선택된 컨텍스트가 더 짧아도 정답률과 일관성이 좋아집니다.

한눈에 비교

	최대 컨텍스트(MCW)	실효 컨텍스트(MECW)	RAG/검색 기반 선별
정의	명세상 허용 최대 토큰	품질이 유지되는 실사용 범위	질의별 관련 조각만 선택 주입
한계 원인	아키텍처/API 한도	길어질수록 회상 저하·노이즈	검색/랭킹 품질에 좌우
규모 수치의 의미	입력 크기 상한선	과대해석 시 품질 저하	작은 창으로도 고품질 가능
비용/지연	길수록 증가	길수록 효율 저하	짧고 목적맞춤으로 절감
설계 포인트	한도 체크	과도한 길이 지양	선택·요약·랭킹이 핵심

긴 창을 맹신하기보다, 작업별로 관련 조각을 선별해 짧고 밀도 높은 컨텍스트를 만드는 편이 품질·비용 모두 유리합니다. 또한 일부 API는 큰 context_window를 표기하지만 실제 입력 한도(max_prompt)가 더 작을 수 있어 사전 확인이 필요합니다.

어디서 왜 중요한가

• 장문 요약·법무/기술 문서 검토처럼 연속 구간을 통째로 고려해야 할 때, 컨텍스트 윈도우가 넓으면 재조립 실수를 줄이고 흐름을 유지하기 쉽습니다.
• 에이전트/도구 호출 워크플로우에서는 이전 턴의 thinking 블록을 다음 턴에서 자동 스트립해 토큰 예산을 회수할 수 있어 안정성이 높아집니다.
• 비용/지연 관점에서, 창을 과도하게 채우면 TTFT가 늘고 변동성이 커질 수 있으므로 관련성 선별과 컴팩션이 운영 품질을 좌우합니다.
• 명세상의 MCW와 별개로 MECW가 더 작을 수 있으므로, 길이 스윕 벤치와 포함 정책(요약·랭킹)을 함께 설계해야 예측 가능한 품질을 얻습니다.

자주 하는 오해

• ❌ 오해: 컨텍스트 윈도우가 크면 항상 정답률이 오른다 → ✅ 실제: 토큰이 늘면 컨텍스트 로트로 회상·정확도가 떨어질 수 있어 선별이 더 중요합니다.
• ❌ 오해: 컨텍스트 윈도우는 훈련 데이터 저장소다 → ✅ 실제: 훈련 데이터와 별개의 일시적 작업 메모리이며 매 요청마다 채워지고 비워집니다.
• ❌ 오해: 긴 문서를 통째로 넣는 게 최선이다 → ✅ 실제: 질의 관련 부분만 검색·요약해 넣을 때 품질·비용·지연이 모두 개선됩니다.

대화에서는 이렇게

• "이번 에이전트 루프에서 컨텍스트 윈도우 80%를 썼어요. 이전 턴 요약으로 40%까지 줄여봅시다."
• "도구 결과만 남기고 thinking 블록은 다음 턴에서 자동 스트립되니, 토큰 예산을 회수할 수 있어요."
• "사양상 MCW는 400k인데, API max_prompt가 128k라서 프롬프트 컴팩션이 필수예요."
• "길이 늘릴수록 비용이 커져요. 요약 레벨을 높이고 관련성 랭킹 기준을 더 엄격히 합시다."

함께 읽으면 좋은 용어

• 기초
  토큰 — 컨텍스트 윈도우는 토큰 개수 한도로 측정되므로 토크나이징 이해가 전제.
• 기초
  프롬프트 — 어떤 정보를 어떤 순서로 창에 넣을지 설계하는 입력 규격.
• 유사
  RAG — 검색 증강 생성. 긴 창 대신 관련 조각만 선택해 작은 창으로도 고품질을 내는 접근.
• 유사
  메모리 — 대화/세션 메모리. 영속 저장을 통해 필요할 때만 창으로 불러와 토큰을 절약.
• 심화
  컨텍스트 엔지니어링 — 컨텍스트 로트를 줄이는 요약·정렬·편집 전략의 실무 기법.
• 심화
  툴 사용 — 도구 호출 결과와 생각 토큰 관리가 창 점유율과 연쇄 추론 품질에 직접 영향.