재학습 없이 장문 컨텍스트 메모리 8.3배 축소, 64K에서도 품질 유지
장문 모델의 키–값 캐시를 압축해 정확도를 유지하면서 64K에서 초당 72.8토큰을 달성했다. 더불어 한 개 레이어만의 강화 학습이 전체 업데이트에 근접하고, 오픈소스 도구가 JSON 토큰을 최대 95% 줄인 소식도 나왔다.
한 줄 요약
추론 메모리, 사후 학습, 프롬프트 토큰 모두에서 ‘덜 쓰고 더 하는’ 방법이 부상했다: 장문 컨텍스트 메모리를 압축해 유지하고, 적은 파라미터만 학습해 동일한 이득을 얻고, 입력 토큰을 사전에 줄인다.
Research Papers
DepthWeave-KV: 토큰 맞춤형 레이어 공유로 장문 컨텍스트 메모리 축소
이 연구는 주의(attention)의 키-값(KV) 캐시를 압축해 장문 컨텍스트 모델의 메모리 사용을 줄이면서도 원본과 거의 같은 품질을 유지한다. LongBench, Needle-in-a-Haystack, L-Eval, 장문 질의응답·요약 과제 전반에서 ‘원본 캐시’에 근접한 성능을 보였고, KV 메모리를 8.3배 줄이며 64K 컨텍스트에서 초당 72.8 토큰을 기록했다고 보고한다. 기존 압축 캐시 대비 평균 점수와 검색 정확도도 높였다. 1
작동 방식은 인접한 트랜스포머 레이어의 키·값 상태를 공유 저차원(로우랭크) 채널 기반으로 묶고, 주의가 민감한 토큰에는 가벼운 토큰별 잔차만 유지하는 것이다. 토큰 조건부 깊이 라우터가 명령·검색 핵심 토큰에 더 높은 재구성 랭크를 배정하고, 주의 출력 탐침으로 보정 없이 온라인 오류를 추적해 생성 중 압축을 자동 조절한다. 기본 모델을 재학습할 필요가 없다. 1
CUDA(Compute Unified Device Architecture)로 융합된 구현은 기준 조회, 잔차 역양자화, 주의 투영을 한 번에 수행해 디코딩 중 메모리 트래픽을 줄인다. 메모리 대역폭이 병목인 GPU(그래픽 처리 장치) 환경에서, 검색 충실도를 해치지 않고 더 빡빡한 메모리 예산에 맞추는 길을 제시한다. 1
Is One Layer Enough?: 한 개 레이어만 학습해도 강화 학습 이득 근접
이 논문 ‘Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training’은 대형 언어 모델(LLM)의 강화 학습(RL) 사후 학습에서 성능 향상이 트랜스포머 어디에 쌓이는지 묻는다. 결과는 의외다: 전체 파라미터를 모두 업데이트하는 대신 트랜스포머 한 개 레이어만 학습해도 그 이득의 대부분을 회복했고, 일부 설정에서는 더 앞섰다. 저자들은 Qwen3·Qwen2.5 계열 7개 모델, 세 가지 RL 알고리즘(예: 그룹 상대 정책 최적화(GRPO))과 수학 추론·코드 생성·에이전트 의사결정 과제를 포괄해 검증했다. 2
각 레이어를 단독 학습했을 때 전체 RL 향상의 몇 퍼센트를 되찾는지 측정하는 ‘레이어 기여도’를 제안했고, 높은 기여 레이어는 일관되게 트랜스포머 중간부에 몰리고 입력·출력 가장자리는 낮았다. 데이터셋·작업·모델 계열·RL 알고리즘을 가로질러 레이어 순위 상관이 높게 유지되어, 적은 파라미터만 정밀하게 겨냥해 사후 학습 비용을 줄일 실마리를 시사한다. 2
Open Source & Repos
headroom: 모델 입력 전 토큰 수를 줄이는 레이어
headroom은 모델 호출 전에 입력을 줄이는 컨텍스트 압축 레이어다. 도구 출력, 로그, 파일, 검색 증강 생성(RAG) 조각을 압축해 대형 언어 모델(LLM)로 보내는 토큰 수를 줄이되, 답변은 동일하게 유지하는 것을 목표로 한다. JSON 데이터에서는 60~95%, 코딩 에이전트에서는 15~20% 토큰을 줄였다고 밝히며, 라이브러리·프록시·모델 컨텍스트 프로토콜(MCP) 서버로 제공되고 로컬 우선·되돌릴 수 있는(reversible) 설계를 표방한다. 3
2026-07-03 공개된 v0.30.0은 코딩·일반 워크로드용 ‘에이전트 절감’ 페르소나를 추가하고, grep/로그/JSON을 위한 ‘무손실 제외 압축’ 콘텐츠 라우터를 도입해 해당 페르소나에 기본 활성화했다. 프롬프트 이전 단계에서 구조화 데이터를 줄이면 도구 중심 에이전트 워크플로의 비용과 지연을 함께 낮추는 데 도움이 된다. 3
커뮤니티 반응
Hacker News (151↑) — 표현력·매니폴드 한계에 대한 호기심과 ‘한 레이어로 충분한가’에 대한 회의론이 공존한다. 4
"각 레이어의 '매니폴드 임계값(manifold threshold)'을 정량화한 연구가 있는지 저는 모릅니다만, 이 접근법을 실험해보면 분명 흥미로울 것 같습니다." — Hacker News 4
"모든 것은 f()로 표현될 수 있습니다. 최첨단(transformer) 모델도 단지 f(context)일 뿐입니다. 그렇다고 한 레이어로 충분하다는 뜻은 아닙니다. 필요한 표현력(expressivity)의 수준에 따라 달라집니다." — Hacker News 4
왜 중요한가
디코딩 중 KV 캐시를 압축하고, 높은 영향의 단일 레이어만 겨냥해 RL을 수행하며, 프롬프트 전에 입력을 압축하는 접근은 모두 같은 목표를 향한다. 한정된 메모리·대역폭 예산에서 정확도를 유지해 운영·학습 비용을 낮추는 일이다. 1
실무자는 세 가지 지표를 살펴볼 만하다: 장문 컨텍스트(예: 64K)에서의 초당 토큰, 압축 상황에서의 검색 정확도, 중간 레이어만 학습할 때 유지되는 RL 이득 — 그리고 headroom 같은 사전 압축기에서의 실제 토큰 절감 폭이다. 3
댓글 (0)