쉽게 이해하기

새 작업을 재학습 없이 시켜야 할 때, 문맥 내 학습(ICL)은 지시문과 몇 개의 예시를 프롬프트에 넣어 모델이 그 패턴을 따르게 합니다. 학생이 풀이 예시 몇 개를 본 뒤 같은 유형 문제를 푸는 것과 비슷하며, 모델은 컨텍스트 윈도(임시 메모리)에 놓인 예시에 조건화되어 다음 토큰 확률을 바꾸고 입력→출력 매핑을 이어 씁니다.

비유와 예시

• 도메인 챗봇 의도 분류: “환불 일정 문의” 같은 새 의도를 예시로 보여 주면, 유사 문장을 해당 의도로 분류합니다.
• 반정형 로그에서 스키마 추출: 여러 로그와 목표 JSON 스키마 예시를 보여 주고, 새 로그도 같은 필드로 추출하게 합니다.
• 정책 분류 + 한줄 근거: 허용/불가 사례를 근거와 함께 제시해, 새 사례에서도 판단과 근거를 함께 출력하게 합니다.

한눈에 비교

	문맥 내 학습 (ICL)	미세조정 (Fine-tuning)	Chain-of-Thought (CoT)
적응 방식	프롬프트 예시/지시로 조건화, 가중치 고정	가중치 업데이트	중간 추론을 언어로 전개(주로 ICL과 함께)
초기 비용	재학습 없음	학습 인프라·데이터 필요	프롬프트 길이 증가
데이터 요구	소수의 고품질 예시	다량 라벨 데이터	예시 또는 지시 + 설명
민감도	예시 수·순서·라벨 품질	데이터/하이퍼파라미터	설명 품질·일관성
적합한 상황	빠른 프로토타입·형식 고정	장기 운영·안정성	복잡한 추론 단계 포함

짧게 시험할 땐 ICL, 장기·안정 운영에는 미세조정, 복잡한 추론은 CoT를 ICL과 함께 쓰는 선택이 자연스럽습니다.

어디서 왜 중요한가

• 프롬프트만으로 다양한 작업을 수행하는 파라미터-프리 적응이 가능해 탐색 속도를 높입니다.
• 예시 수·순서·라벨 뒤집힘 등 구성 요소가 성능에 영향을 주어, 체계적 프롬프트 실험이 필요합니다.
• 단계가 모호하지 않은 알고리즘식 지시는 산술·정량 추론에서 오류를 줄이는 보고가 있습니다.
• 관련성+보완성 기반의 예시 선발은 실무 과제에서 ICL 성능 향상을 보였습니다.

자주 하는 오해

• ❌ ICL이면 모델이 새로 학습된다 → ✅ 가중치는 고정, 컨텍스트 조건부 예측만 달라집니다.
• ❌ 예시는 많을수록 무조건 좋다 → ✅ 소수라도 정확·다양한 예시 구성이 더 중요합니다.
• ❌ 설명만 덧붙이면 성능이 오른다 → ✅ 계산 흔적이 명료해야 하며, 틀린 단계는 해가 됩니다.

대화에서는 이렇게

• “재학습 없이 few-shot으로 먼저 확인해요. 예시 순서도 실험해 보죠.”
• “각 예시에 짧은 계산 흔적을 넣고, 표현 템플릿은 고정합시다.”
• “MMR 스타일로 유사도·다양성을 균형 있게 뽑겠습니다.”
• “컨텍스트 초과를 막기 위해 설명은 압축, 장기 운영은 미세조정도 비교합시다.”

함께 읽으면 좋은 용어

• 기초
  프롬프트 엔지니어링 — 지시문·예시 구성법이 ICL의 재현성을 좌우합니다.
• 기초
  컨텍스트 윈도 — 예시가 들어가는 임시 메모리로, 길이 제약을 이해해야 합니다.
• 유사
  미세조정(Fine-tuning) — 파라미터를 바꿔 과업 특화.
• 심화
  Chain-of-Thought — 중간 추론을 언어로 전개해 복잡한 문제에서 도움.
• 심화
  Exemplar Selection(MMR) — 관련성·다양성을 함께 고려해 상보적 예시 세트를 구성.