한 줄 요약

보강학습 사후 학습 신호로 에이전트의 단계별 진행을 값싸게 점수화하고, 디코딩 속도를 10배 가까이 끌어올리며, 다중 모델 조합의 한계를 수치로 보여주는 연구가 공개됐다—현실적인 장기 다중 에이전트 벤치마크와 브라우저 자동화 도구도 함께 나왔다.

Research Papers

Progress Advantage: 사후 학습 신호로 단계별 평가

이 논문은 별도의 보상 모델을 학습하지 않고도 에이전트가 매 단계에서 얼마나 전진했는지 점수화하는 방법을 제시한다. “Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents”는 보강학습(Reinforcement Learning, RL) 사후 학습으로 얻은 정책의 로그확률을 활용해 “진척 이점(progress advantage)”을 계산하고, 이를 통해 일반적 확률적 마르코프 결정 과정(Markov Decision Process, MDP)에서 최적 이점 함수를 정확히 복원할 수 있음을 증명한다. 즉, 표준 사후 학습 파이프라인의 부산물로 주석 없이, 도메인에 구애받지 않는 단계별 신호를 얻는다. ¹

왜 중요한가: 장기 과제에서의 과정 보상 모델 구축은 행동이 되돌릴 수 없고 환경 피드백이 확률적으로 요동하는 탓에, 대규모 인간 주석이나 몬테카를로 추정이 사실상 불가능하다. 저자들은 다섯 개 벤치마크와 네 개 모델 계열에서 테스트 시 확장, 불확실성 정량화, 실패 귀속 등 세 가지 응용을 통해 진척 이점의 효과를 검증했다. 이 방법은 신뢰 점수 기반 기준선을 일관되게 앞섰고, 과제별 추가 학습 없이도 전용 학습 보상 모델을 능가했다. ¹

운영 관점에서 이는 기존 RL 산출물만으로 계산 가능한 단계별 점수이므로, 개입 우선순위 지정, 위험 보정, 실패 원인 추적에 유용하다. 논문은 실제 에이전트 시스템 도입을 위한 실무 가이드와 채택 조건에 대한 분석도 함께 제시한다. ¹

Co-Failure Ceiling: 모델 조합 이득의 상한선

여러 대형 언어 모델(Large Language Model, LLM)을 라우팅·투표·캐스케이드로 조합해도, 얻을 수 있는 이득에는 상한이 있다. 모든 모델이 같은 질의에서 동시에 틀릴 확률인 베타(beta)가 그것으로, 단일 모델 답변만을 선택하는 어떤 정책도 정확도가 1-베타를 넘을 수 없다. 통상 쓰는 평균 쌍별 오류 상관은 이 꼬리 위험을 감지하지 못하며, 저자들은 베타에 대한 클로퍼–피어슨 경계를 제시해 라우터를 학습하기 전에도 가능한 최대 이득을 유한 표본으로 인증할 수 있게 한다. ²

21개 공급사 67개 모델을 측정한 결과, 개방형 수학에서 관측된 베타는 0.052였고 67모델 가우시안 코풀라 가정에서는 0.023로, 모든-오류 꼬리가 약 2.5배 과소평가되었다(90% 신뢰구간(Confidence Interval, CI) 1.7–3.4, k = 17). 실행 채점 코드에서는 베타 0.079가 관측되었고, GPQA-Diamond 문항을 객관식이 아닌 자유서술로 재질의하면 꼬리가 다시 열리며 베타 0.127을 보였다. 5인 판정단의 카파는 0.73–0.92였다. 품질이 같은 조건에서는 이질적이고 상관이 낮은 앙상블이 상관이 높은 Self-MoA(self–mixture-of-agents)보다 낫지만, 본 풀의 검증 가능한 과제들에서는 질문 수준 라우팅 신호가 강하지 않으면 조합이 최고 단일 모델을 이기기 어렵다. 이득은 단순히 모델을 더하는 데서 오지 않고, 서로 다른 질문에서 실패하는 다양성에서 온다. ²

JetSpec: 병렬 트리 초안으로 추측적 디코딩 확장

추측적 디코딩(Speculative Decoding, SD)은 여러 후보 토큰을 미리 제안하고 검증해 생성을 가속하지만, 초안 규모를 키워도 수락률이 유지되고 오버헤드가 낮아야만 속도가 좋아지는 상한이 있다. JetSpec은 동결된 타깃 모델의 은닉 상태를 융합해 학습한 인과적 병렬 드래프트 헤드를 사용해, 한 번의 순전파 효율을 유지하면서도 분기별 인과 조건을 지켜 타깃 모델과 일관된 트리를 제안한다. ³

이 접근은 조밀(dense) 및 전문가 혼합(Mixture of Experts, MoE) Qwen3 모델의 수학·코딩·대화 벤치마크 전반에서 더 긴 수락 접두어와 더 큰 종단 간 속도를 보였다. Nvidia H100 그래픽 처리 장치(Graphics Processing Unit, GPU)에서 MATH-500에 최대 9.64배, 개방형 대화 워크로드에 4.58배 속도를 보고했고, vLLM 통합을 통해 현실적 서빙 부하에서도 지연시간 이득을 시연했다. ³

CoffeeBench: 장기 다중 에이전트 경제 시뮬레이션 벤치마크

CoffeeBench는 이질적 기업들로 구성된 90일 커피 공급망 경제를 시뮬레이션해, 에이전트가 장기간에 걸쳐 소통·협상·거래하고 현금·재고·가격을 관리하는 능력을 평가한다. 환경은 농부 2, 로스터 2, 소매 2로 구성되며, 평가 대상 모델은 한 로스터를 조종하고 나머지는 고정 기준 에이전트가 운영한다. 목표는 누적 순이익 최대화다. ⁴

최근 공개 가중치 및 상용 모델 대부분이 아무 행동도 하지 않는 수동 기준선을 능가했고, 다수는 양(+)의 순이익을 냈다. 행태 분석에서는 성능이 높은 모델일수록 타 기업과 더 활발히 소통했으며, Claude Haiku 4.5는 계획과 평가를 일관되게 내놓으면서도 반복적으로 무행동을 택하는 “idle-drift” 실패 양상을 보였다. 저자들은 코드와 에이전트 궤적을 공개했다. ⁴

Open Source & Repos

Skyvern: LLM과 컴퓨터 비전 기반 브라우저 업무 자동화

Skyvern은 대형 언어 모델(Large Language Model, LLM)과 컴퓨터 비전을 사용해 브라우저 기반 워크플로를 자동화하는 GitHub 프로젝트다. 저장소 첫 화면에는 웹사이트·문서·디스코드 링크가 있으며, “Automate Browser-based workflows using LLMs and Computer Vision”이라는 태그라인으로 도구의 목적을 제시한다. ⁵

반복적인 웹 작업을 다루는 팀에 Skyvern은 전통적 스크립트형 봇 대신 AI 중심 접근을 제공해, LLM이 브라우저 상호작용을 주도하는 실험을 손쉽게 시작하도록 돕는다. ⁵

왜 중요한가

오늘의 결과들은 에이전트 시스템의 실무 레시피를 제시한다. 사후 학습에서 바로 얻는 단계별 점수(Progress Advantage)로 언제 밀고 멈추고 도움을 구할지 판단하고, JetSpec 같은 빠른 디코딩 경로로 지연시간을 낮춘다. 두 축은 가시성과 속도라는 운영의 핵심 병목을 동시에 겨냥한다. ¹

또한 공실패 상한은 “모델을 더 많이”가 아니라 “서로 다르게 실패”하는 다양성이 중요하다는 점을 수치로 각인시킨다. CoffeeBench는 장기·다중 주체 경제라는 현실적 조건을 평가 표준에 올려, 단기 과제에서 통하던 개선이 실제 운영 맥락에서도 통하는지 가려내는 토대를 제공한다. ²