새 검증기 방식, 조밀 피드백으로 AI 에이전트 성능 상승
LLM-as-a-Verifier는 추가 학습 없이 이산 점수 대신 연속 점수로 평가해, Terminal-Bench V2에서 86.5%를 포함해 코딩·로보틱스·의료 과제에서 성과를 보였다.
한 줄 요약
에이전트 신뢰성을 끌어올리는 흐름: 연속 점수로 채점하는 새 검증기, 장문 문맥 메모리 절감, 긴 작업 기록 요약 학습, 그리고 고수준 계획을 실행 가능한 로봇 기술로 맞추는 접근이 동시에 제시됐다.
Research Papers
LLM-as-a-Verifier: 연속 점수로 채점해 에이전트 신뢰도 향상
이 논문은 대형 언어 모델(Large Language Model, LLM)을 ‘검증기’로 활용해 AI의 답이 얼마나 맞는지 연속 점수로 평가하며, 통과/실패나 거친 등급 대신 조밀한 피드백을 제공한다. 추가 학습 없이 토큰 확률분포의 기댓값으로 점수를 계산해 좋은 해와 나쁜 해를 더 명확히 가른다. 저자들은 사전학습·사후학습·추론 시 연산에 이어 ‘검증’을 새로운 확장 축으로 제시한다. 1
구체적으로는 토큰 로짓을 확률적 연속 점수로 바꾸고, 점수 해상도·반복 평가·기준 분해의 세 레버를 확장한다. 점수 해상도를 높이면 양·음해 구분이 정교해지고, 반복과 기준 분해는 분산과 복잡도를 낮춘다. 또한 연속 점수에 기반한 비용 효율 랭킹 알고리즘으로 여러 후보 중 최적 해를 고른다. 1
벤치마크에서는 Terminal-Bench V2 86.5%, SWE-Bench Verified 78.2%, RoboRewardBench 87.4%, MedAgentBench 73.3%를 보고한다. 단순 채점 이상으로 이 신호를 과제 진행도 추정의 프록시로 활용하고, 개발자가 자신의 에이전트 시스템을 모니터링·개선할 수 있도록 Claude Code 확장도 제공한다. 1
피드백을 이용한 학습 환경에서는 강화 학습(Reinforcement Learning, RL)의 표본 효율을 높인다. 소프트 액터-크리틱(Soft Actor-Critic, SAC)과 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 로보틱스와 수학적 추론 과제에 적용해 효율 향상을 보이며, 검증을 단순 사후판정이 아닌 실제로 조절 가능한 실무 축으로 제시한다. 1
SeKV: 해상도 적응형 KV 캐시로 장문 문맥의 GPU 메모리 절감
SeKV는 긴 문맥 추론의 메모리 비용을 줄이기 위해 이력을 의미 단위로 묶고, 그래픽 처리 장치(Graphics Processing Unit, GPU)에는 경량 요약만 유지하며 중앙 처리 장치(Central Processing Unit, CPU)에 세부 정보를 저장해 필요할 때 정밀 복원한다. 정보를 버리지 않으며, 기반 모델은 동결한 채 추가 학습 가능한 파라미터를 0.05% 미만으로 제한한다. 2
이 방법은 키-값(Key-Value, KV) 캐시를 해상도 적응형 계층 메모리로 다룬다. 각 구간은 GPU에 요약 벡터를 두어 빠른 라우팅을 하고, CPU에는 저랭크 SVD 기저를 둬 질의 시 토큰 단위 복원을 수행한다. 학습된 ‘줌인’ 메커니즘이 디코딩 중 관련 구간만 선택적으로 확장한다. 네 가지 벤치마크에서 가장 강한 의미론 압축 기준선 대비 평균 5.9% 성능을 높이면서, 128K 토큰 문맥에서 GPU 메모리를 53.3% 줄였다. 코드는 논문 링크를 통해 제공된다. 2
CompactionRL: 긴 작업에서 스스로 요약하며 이어 가도록 학습
CompactionRL은 긴 지평선의 에이전트형 LLM이 고정된 문맥 길이를 넘어서도 과거 단계를 요약(문맥 압축)하며 작업을 이어 가도록 학습한다. 과제 수행과 요약 작성의 두 목표를 함께 최적화하고, 토큰 단위 손실 정규화와 궤적 간 크레딧 할당으로 학습을 안정화한다. 3
에이전트 코딩 과제에서 첫 시도 정답률(Pass@1)을 끌어올린다. GLM-4.5-Air(106B-A30B)는 SWE-bench Verified 66.8%(+7.0포인트), Terminal-Bench 2.0 24.5%(+3.1)를 달성했고, GLM-4.7-Flash(30B-A3B)는 각각 56.0%(+5.5), 20.2%(+6.8)에 도달했다. 이 방법은 공개 GLM-5.2(750B-A40B) 학습을 위한 RL 파이프라인에도 적용된다. 장문 메모리나 검색 기반 메모리와의 결합 성과에 주목할 만하다. 3
Cortex: 계획-실행을 양방향 정렬해 긴 로봇 작업 완수
Cortex는 긴 로봇 작업을 32개의 재사용 가능한 기술로 표준화하고, 상위 계획기와 하위 제어기를 양방향으로 정렬해 실제로 실행 가능한 계획을 만든다. 시각-언어 모델(Vision-Language Model, VLM)이 만든 하위 과제를 시각-언어-행동(Vision-Language-Action, VLA) 제어기가 수행하도록 연결해 ‘무엇을 할지’와 ‘어떻게 움직일지’의 간극을 줄인다. 4
데이터는 오픈소스 비디오 4,000시간 이상과 시뮬레이션 30시간으로 구성되며, 사건 균형 샘플링과 추론 시 기술 제약을 반영하는 하네스 설계를 더했다. 결과적으로 Libero-long에서 3.1%, RoboTwin에서 4.1%의 향상을 보였고, 미학습 장기 과제(예: 다단계 화학 실험)를 VLM 계획기와 미세조정된 VLA를 결합해 제로샷으로 완수했다. 4
Open Source & Repos
Omnigent: 여러 AI 에이전트를 한 번에 조율하는 플러그인 하네스
Omnigent는 오픈소스 메타 하네스로, Claude Code·Codex·Cursor·Pi·사용자 정의 에이전트를 코드 수정 없이 바꿔 끼우거나 조합하고, 정책과 샌드박싱을 강제하며, 기기 전반에서 실시간 협업을 지원한다. 0.4.0 버전은 하네스를 완전한 플러그인 플랫폼으로 전환하고, 모델 라우터가 실제로 자동 선택하도록 개선했다. Apache-2.0 라이선스로 PyPI에서 제공된다. 5
여러 에이전트를 실험·비교해야 하는 팀에 적합하다. 워크플로는 그대로 두고 ‘두뇌’만 바꿔보려는 경우, Omnigent는 개별 스크립트 대신 일관된 인터페이스를 제공한다. 5
왜 중요한가
오늘의 연구는 에이전트의 세 약점을 정면으로 다룬다. 정답성 판단(검증), 긴 대화·작업 이력 보존(메모리·문맥 한계), 그리고 계획을 실제 동작으로 바꾸는 능력(로봇 실행)이다. 연속 점수의 검증기, 정보를 잃지 않는 메모리 압축, 실행 가능한 기술에 맞춘 계획 정렬은 모두 시스템의 취약함을 줄인다.
비개발자에게 핵심은 간단하다. 더 신뢰할 수 있는 자동화다. 정교한 채점은 안전한 위임을, 똑똑한 메모리는 중간 리셋을 줄이고, 정렬된 기술은 로봇과 소프트웨어 에이전트가 시작한 일을 끝낼 가능성을 높인다.
이번 주 시도해볼 것
- Omnigent 설치: GitHub README를 따라 하나의 인터페이스에서 여러 코딩 에이전트를 오케스트레이션해 본다. https://github.com/omnigent-ai/omnigent
- LLM-as-a-Verifier 훑어보기: 연속 점수와 랭킹 알고리즘 도표를 중심으로 논문을 읽는다. https://arxiv.org/abs/2607.05391v1
댓글 (0)