한 줄 요약

에이전트 학습이 실제 운영 스택으로 옮겨간다: OpenForgeRL은 쓰는 그대로의 하니스에서 끝단까지 학습을 열고, ReOPD는 다중 턴 증류를 4배 빠르게 하며, 로컬·저토큰 도구가 개발 워크플로를 정비한다.

Research Papers

OpenForgeRL: 하니스 기반 에이전트를 환경 그대로 학습

OpenForgeRL은 연구자가 실제로 쓰는 오케스트레이션 “하니스” 안에서 에이전트를 그대로 학습하게 해 주는 프레임워크다. 경량 프록시가 하니스의 모델 호출을 그대로 제공하면서 이를 강화학습(Reinforcement Learning, RL) 학습 데이터로 기록하고, 쿠버네티스 오케스트레이터가 각 롤아웃을 원격 컨테이너로 분리해 실행한다. 소수 수백~수천 개 과제만으로, OpenForgeClaw는 ClawEval에서 31.7 pass^3 및 55.9 pass@3, QwenClawBench에서 33.7을 기록했고, OpenForgeGUI는 OSWorld-Verified 37.7, Online-Mind2Web 63.0, WebVoyager 72.3을 기록했다. ¹

핵심은 학습과 추론을 분리하는 것이다. 프록시는 운영 중인 하니스 동작을 유지한 채 그 호출을 일반적인 RL 파이프라인의 학습 데이터로 변환한다. 컨테이너화된 롤아웃 덕분에 복잡하고 상태를 유지하는 다중 프로세스 추론을 흉내 내기 위해 학습 루프를 뜯어고치지 않고도 “어떤 하니스·어떤 환경”이든 규모 있게 실험할 수 있다. ¹

점수 외에도, 논문은 하니스 선택과 RL 설계가 행동을 어떻게 바꾸는지 분석한다. 어떤 하니스는 학습이 훨씬 더 어렵고, RL은 자기 검증, 도구 활용 범위, 다단계 계획 완수 같은 신뢰성 지표를 개선하지만 오류 복구는 여전히 약점이다. 적은 과제로 성과를 내는 점은 배포 환경 그대로에서 학습하는 경로를 보여 준다. ¹

배경: 최신 에이전트는 멀티턴 추론과 도구 사용을 위해 Claude Code, Codex, OpenClaw 같은 정교한 추론 하니스에 의존한다. 그러나 공개된 지도 미세조정(Supervised Fine-Tuning, SFT)·RL 스택은 이런 복잡성을 원래 형태로 표현하기 어렵다. OpenForgeRL은 연구용 학습과 실제 운영을 잇는 범용 어댑터를 제시한다. ¹

ReOPD: 접두 경로 재사용으로 다중 턴 증류 가속

Replayed-Prefix On-Policy Distillation(ReOPD)은 환경을 반복 실행하지 않고도 교사 모델의 다중 턴 상호작용을 학생이 모방하도록 학습시키는 방법이다. 대형 언어 모델(LLM) 기반 에이전트 과제에서, 사전 수집된 교사 궤적을 “재생 접두(prefix)”로 재사용하고, 선택된 단계에서 학생이 행동하며, 교사는 각 단계를 오프라인으로 조밀하게 감독한다. 이는 비용이 큰 완전 온라인 온정책 지식 증류(On-Policy Distillation, OPD)의 대안이다. ²

저자들은 “접두 함정(prefix trap)”을 지적한다. 이력을 학생 온정책에 가깝게 만들면 관련성은 높아지지만, 교사의 목표가 불안정한 구간에서 교사를 조회하게 되어 학생 점유분포와 교사 신뢰도 간 양면 분포 이동이 발생한다는 것이다. ReOPD는 이를 신뢰도 인지형 접두 분포 설계로 다루고, 초기 구간처럼 분포 이동이 작은 접두에 비중을 두는 단계 감소 샘플링 정책으로 구현한다. ²

수학+파이썬 및 검색 환경에서 여러 교사·학생 규모를 시험한 결과, ReOPD는 OPD 수준의 정확도를 유지하거나 개선하면서 학생 학습 중 도구 호출을 0으로 만들고, 롤아웃당 속도를 최소 4배 높였다. 즉, 비싼 에이전트-환경 상호작용을 재사용 가능한 오프라인 자원으로 바꾼다. ²

Open Source & Repos

llama.cpp: C/C++ 로컬 추론 업데이트

llama.cpp는 대형 언어 모델(LLM) 추론을 로컬에서 C/C++로 가볍게 실행하도록 돕는 프로젝트다. 최신 b10107(7월 24일) 릴리스에는 Hexagon 백엔드에서 op_poll 사용 시 발생하던 Windows 크래시 수정이 포함되어 있으며, 다중 플랫폼 설치를 돕는 릴리스 아티팩트와 CI 워크플로가 제공된다. ³

MIT 라이선스, 사전 빌드 바이너리, 서버·Docker 워크플로, 간단한 명령줄 인터페이스로 로컬 텍스트 생성이나 프라이버시 우선 프로토타입을 부담 없이 시험할 수 있다. 대규모 스택에 투자하기 전 로컬 추론을 탐색하려는 팀에 실용적인 기반을 제공한다. ³

jCodeMunch MCP: 심볼 단위 검색으로 코드 탐색 토큰 절감

jCodeMunch MCP는 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 서버로, tree-sitter 추상 구문 트리(Abstract Syntax Tree, AST) 파싱을 통해 GitHub 코드를 심볼 단위로 정확히 가져와 에이전트가 파일 전체 대신 필요한 함수만 읽도록 만든다. 프로젝트는 코드 탐색에서 95%+의 토큰 절감을 주장하며 실시간 텔레메트리를 제공한다. ⁴

저장소는 3350억 개 이상의 토큰 절감, 4만8천 명 이상의 개발자, 169만 달러 이상의 AI 비용 회피를 보고하고, 15개 작업·3개 저장소 기준 평균 99.6% 토큰 절감 벤치마크를 제시한다. 7월 26일 배포된 v1.108.184는 ‘negative_evidence’ 경로와 누락된 판정 메타데이터 결함을 수정해, Claude Code·Cursor 등에서의 생산 에이전트 워크플로 신뢰성을 보강한다. ⁴

왜 중요한가

오늘의 두 논문은 에이전트의 가장 어려운 과제—도구·브라우저·그래픽 사용자 인터페이스(GUI)가 얽힌 상태 유지형 환경에서 학습과 증류를 어떻게 현실적으로 수행할 것인가—를 정면으로 다룬다. OpenForgeRL은 실제 하니스 위에서의 끝단 학습 경로를, ReOPD는 과거 상호작용을 재사용해 도구 호출 없이 더 빠르고 저렴하게 학습하는 경로를 제시한다. ¹

도구 측면에서는 llama.cpp가 로컬 추론의 진입 장벽을 낮추고, jCodeMunch가 심볼 수준 검색으로 토큰 사용을 크게 줄인다. 데이터 수집—학습—배포—일상 개발 지원에 이르는 에이전트 스택 전반에서 마찰과 비용이 함께 낮아지는 흐름이다. ³

이번 주 시도해볼 것

1. 로컬 LLM 돌려보기: llama.cpp 저장소의 최신 릴리스를 받아 README 안내대로 내 컴퓨터에서 텍스트 생성 테스트. https://github.com/ggml-org/llama.cpp
2. IDE 토큰 절감 적용: jCodeMunch MCP 저장소 가이드대로 서버를 설치하고 MCP 호환 에디터에서 심볼 검색을 활성화. https://github.com/jgravelle/jcodemunch-mcp