Argus 런타임, SWE-Bench Pro 78% 달성; 새 훈련 기법이 에이전트 보상 신호를 정교화
가중치를 고정한 채 상태를 축적·검증하며 실행하는 런타임은 잘못된 경로에서 회복하고, 자기 증류형 보상 정형화 기법은 교사 힌트를 토큰 단위의 신용으로 바꾼다. 두 접근은 더 큰 모델 없이도 장기 과제의 신뢰도를 높이는 길을 보여준다.
한 줄 요약
장기 과제를 다루는 에이전트가 두 갈래에서 진전했다: 고정 가중치 런타임이 실제 과제 성공률을 높였고, 훈련 기법은 희소한 결과를 단계별 신용으로 바꾸고 있다.
Research Papers
Argus: 지속 상태와 검증으로 장기 과제를 버티는 런타임
Argus는 프로젝트 상태를 지속적으로 보존하고, 사용자 의도를 운영 목표와 분리하며, 각 역할의 검토와 과제 고유의 검증이 있을 때만 기억, 절차, 검증기, 라우팅 결정을 상태에 반영하는 자기 진화형 런타임이다. 모델 가중치는 고정한 채로, SWE-Bench Pro에서 약 78%를 기록했으며 Direct Copilot의 59% 대비 1.41배 토큰을 사용했다. 1
Argus 내부에서는 Manager, Planner, Engineer, Reviewer 역할이 지속 상태 위에서 제한된 임무를 수행하고, 필요할 때만 운영자에게 에스컬레이션한다. 검증을 통과한 자기 진화 이후에는 성숙 단계의 SWE-Bench 웨이브가 시작 단계 대비 해결 입력 토큰을 21% 줄이고 작업당 활성 워크플로 시간을 15% 단축했으며, 검증기 복구 34건과 엄격한 검토 루프 구조화 복구 22건을 기록해 런타임이 재시작 없이 수정·회복함을 보여준다. 1
벤치마크를 넘어 실무 사례도 제시한다. 최적화된 RWKV6 커널이 상류 저장소에 병합되었고, 수학 캠페인은 반증된 경로와 증명 기반 경계 업데이트를 보존했으며, 6개의 논문 파이프라인이 254개 미션을 수행하며 16회의 단계 롤백을 수행했다. 요지는 더 큰 모델이 아니라 구조와 검증이 신뢰도 향상의 핵심이라는 점이다. 1
훈련 측면에서는 자기 증류형 보상 정형화(Agentic Reinforcement Learning with Self-Distilled Reward Shaping, ADRS)가 대형 언어 모델(LLM) 에이전트에서 교사 힌트를 토큰 단위 보상으로 바꾸는 방법을 제시한다. 각 단계 내 토큰 점수를 중심화·정규화하고, 실현 수익과 연관된 교사 가치 이점(Teacher Value Advantage)으로 게이팅하며, 게이트된 신호를 강화 학습(RL)의 보상→이점 경로에 직접 주입해, 다양한 RL 골격과 소량 데이터 환경에서도 장기 상호작용 과제의 성능을 꾸준히 끌어올렸다. 2
ABSeeker: 정답 역추적 크레딧으로 실패 속에서도 유효한 단계를 보상
ABSeeker는 최종 정답에서 문제 해결에 필요한 단서를 역추적한 뒤, 각 검색 단계를 그 단서에 비추어 점수화해 훈련한다. Qwen3.5-4B(약 40억 파라미터) 기반으로 8.5천 개 예시만으로 학습했으며, BrowseComp 37.3%, BrowseComp-ZH 39.1%를 기록했다. 컨텍스트 관리를 적용하면 각각 55.3%, 52.9%로 상승해 동일 규모(4B) 에이전트를 크게 앞서고 더 큰(약 30B) 모델과도 비슷한 성능을 보였다. 3
이 프레임워크(Answer-Backtracked Credit, ABC)는 정답-역추적 단서 복원과 단서-정박 단계 점수화라는 두 축으로 조밀한 단계별 감독을 제공한다. 지도 미세 조정(SFT)에서는 ABC-SFT로 각 턴의 손실을 재가중하고, 그룹 상대 정책 최적화(GRPO)에서는 ABC-GRPO로 단계별 점수를 보상으로 사용해, 실패한 궤적 안에서도 유효한 행동에 보상이 돌아가게 한다. 3
Open Source & Repos
vLLM: 대형 모델 추론·서빙을 빠르고 경제적으로
vLLM은 대형 언어 모델(LLM) 추론과 서빙을 쉽고 빠르며 저비용으로 만들어 주는 엔진이다. 높은 처리량과 메모리 효율을 내세우며, 시작을 돕는 README·블로그·커뮤니티 채널을 제공한다. 4
연구 조직이 아니더라도 AI 기능을 제품에 넣으려면 이런 서빙 레이어가 필수다. vLLM은 배치와 메모리 관리 같은 복잡함을 숨겨 주어, 작은 모델의 프로토타입부터 일정 트래픽을 받는 큰 모델까지 도입 시간을 줄인다. 4
왜 중요한가
오늘의 결과는 신뢰할 수 있는 에이전트를 위한 실무 공식을 압축한다. 모델은 고정하고, 기억과 검증을 갖춘 런타임으로 감싸며, 실제로 과제를 전진시킨 단계에 크레딧을 주는 훈련을 한다는 것이다. Argus는 런타임 측면에서 78%/1.41배(토큰)라는 수치와 복구·구조화된 재시도 기록으로 이를 입증했고, ADRS는 교사 신뢰를 의미 있는 보상으로 흘려보내는 경로를 제시한다. 1
정답 역추적 크레딧을 채택한 ABSeeker도 같은 메시지를 강화한다. 최종 결과만 보상하는 대신, 중요한 중간 단계를 보상하라는 것이다. vLLM 같은 서빙 층과 결합되면, 에이전트 시스템은 요행의 한 방이 아니라 과정과 지속성, 그리고 실제 도입으로 무게중심이 옮겨진다. 3
이번 주 시도해볼 것
- Argus 런타임의 역할과 검증 흐름 읽기: Manager–Planner–Engineer–Reviewer 상호작용과 결과 수치를 훑어본다. https://arxiv.org/abs/2608.05144v1
- ADRS 그림 1 훑어보기: 단계 내 정규화와 수익 연관 게이팅이 토큰 보상으로 바뀌는 경로를 익힌다. https://arxiv.org/abs/2608.03223v1
댓글 (0)