35B 에이전트, 호라이즌 확장으로 1조 파라미터급 성능에 근접

한 줄 요약

작은 에이전트가 더 길게 계획하고 학습해 성능을 끌어올리고, 배포 시 기억을 고치는 월드 모델과 실제 상호작용 코딩 벤치마크가 에이전트 평가 방식을 재편한다.

Research Papers

Agents-A1: 호라이즌 확장으로 35B 에이전트가 1조급 성능

이 논문은 매개변수만 늘리기보다 훨씬 더 먼 단계를 내다보고 계획·실행하는 방식으로 복잡한 과제를 푸는 AI 에이전트를 제시한다. 저자들은 Agents-A1이라는35B(350억) 파라미터 전문가 혼합 (Mixture of Experts, MoE) 에이전트를 소개하고, 장기 과제를 겨냥해 다단계 궤적의 길이를 크게 늘린다고 설명한다. 평균45K(4.5만) 토큰 길이의 에이전트 궤적을 보고하며, 장기 과제에서 1조 파라미터급 모델에 맞먹는 결과를 목표로 한다. ¹

이를 위해 외부 지식, 액션, 관측, 검증 결과를 연결하는 지식–행동 인프라를 구축해 긴 궤적을 만든다. 학습은 세 단계로 이뤄진다. 먼저 전 영역 지도 미세 조정 (Supervised Fine-Tuning, SFT) 으로 기본 에이전트 행동을 정렬하고, 다음으로 각 도메인별 교사 모델로 전문 지식을 포착한다. 마지막으로 도메인 라우팅된 다중 교사 온정책 증류와 주목 어휘 정렬을 통해 여섯 개 이질적 도메인을 하나의 배포 가능한 학생 모델로 통합한다. ¹

장기 에이전트 벤치마크에서 Agents-A1은 1조 파라미터급 Kimi‑K2.6, DeepSeek‑V4‑pro와 비교해 SEAL‑0 56.4,IFBench 80.6,HiPhO 46.4,FrontierScience‑Olympiad 79.0,MolBench‑Bind 56.8 등 선도적이거나 경쟁력 있는 수치를 보고했다. 또한SciCode 44.3,HLE 47.6,BrowseComp 75.5에서 경쟁력을 유지한다. 저자들은 호라이즌 확장을 통해 35B 에이전트가 장기 과제에서 1조급 성능에 도달하거나 근접하는 실용적 경로를 제시한다. ¹

WorldEvolver: 배포 시 기억을 고쳐 계획 신뢰도를 높이는 월드 모델

WorldEvolver는 배포 단계에서 에이전트나 모델 파라미터를 바꾸지 않고도 기억을 수정해, 내다보기(foresight)의 신뢰도를 높이는 “월드 모델”을 제안한다. 여기서 대형 언어 모델 (LLM) 에이전트는 세 모듈을 활용한다. 에피소딕 메모리는 실제 전이로부터 검색 기반 시뮬레이션을 수행하고, 시맨틱 메모리는 예측–관측 불일치에서 지속적 휴리스틱 규칙을 추출하며, 선택적 포사이트는 신뢰도 낮은 예측을 추론 맥락에 통합하기 전에 걸러낸다. ²

ALFWorld와 ScienceWorld에서 평가하며, Word2World로 월드 모델의 예측 정확도를, AgentBoard로 다운스트림 에이전트 성공률을 측정한다. 실험 결과는 세 개 백본 전반에서 최고 예측 정확도를 보이고, 다른 월드 모델 기준선 대비 다운스트림 성공률에서도 우위를 보여, 테스트 시간 메모리 수정이 예측 충실도와 계획 성능을 함께 끌어올린다는 점을 시사한다. ²

SWE-Together: 실제 다회차 코딩 세션을 벤치마크로 재현

SWE‑Together는 에이전트를 최종 코드만으로 평가하는 정적 벤치마크 대신, 실제 사용자–에이전트 상호작용을 재구성해 협업자로서의 성능을 측정한다. 연구진은 11,260개 기록 세션에서109개 저장소 단위 과제를 선별해 사용자 의도와 결과가 명확한 세션을 구성하고, 반응형대형 언어 모델 (LLM) 기반 사용자 시뮬레이터로 상호작용을 재생한다. ³

평가는 최종 저장소 정합성과 상호작용 중 필요한 교정 피드백 횟수를 함께 본다. 최전선 코딩 에이전트 실험에서 더 강한 에이전트일수록 최종 성공률이 높고 교정 개입이 적게 필요한 경향이 관찰되어, 다회차 협업 품질을 정량화할 수 있음을 보여준다. ³

Open Source & Repos

Goose: 설치·실행·편집·테스트까지 하는 데스크톱·CLI 에이전트

Goose는 데스크톱 앱, 명령줄 인터페이스(CLI), 애플리케이션 프로그래밍 인터페이스(API)를 갖춘 확장형 오픈 소스 에이전트로,대형 언어 모델 (LLM) 과 함께 의존성 설치, 프로그램 실행, 파일 편집, 테스트 실행까지 수행한다. 라이선스는 Apache‑2.0이며, 프로젝트는 block/goose에서 리눅스 재단 산하 Agentic AI Foundation로 이전되었다. ⁴

최신 **v1.39.0 ** (2026-06-25) 릴리스는 세션에서 “레시피”를 다루고 전역 설정과 세션 확장을 관리하는 기능을 강조해, 반복 가능한 에이전트 워크플로를 꾸리기 쉽게 만든다. ⁴

왜 중요한가

35B MoE 에이전트의 장기 성능은 “파라미터 더하기”에서 “호라이즌 늘리기”로의 전환을 시사한다. 즉, 더 길고 검증된 궤적과 다도메인 증류에 투자해 다단계 계획과 실행 능력을 가르치는 전략이 부상하고 있다. ¹

동시에 평가 방식도 신뢰성과 상호작용 중심으로 이동한다. 배포 시 메모리 수정을 통해 내다보기가 쓸 만해지고, 다회차 코딩 벤치마크가 협업 품질을 수치로 드러낸다. 핵심 지렛대는 모델 크기보다 에이전트 시스템, 메모리, 측정으로 옮겨가고 있다. ²

이번 주 시도해볼 것

1. Goose 설치: GitHub에서 데스크톱/CLI를 받아 간단한 “레시피”를 실행해 코드 작업 자동화를 체험해보기. https://github.com/aaif-goose/goose