새 학습법, 소프트웨어 에이전트의 중간 작업에도 보상

한 줄 요약

오늘의 인공지능(Artificial Intelligence, AI) 연구는 최종 답변만 평가하는 데서 나아가, 소프트웨어 에이전트의 작업 과정과 기존 결과를 유지하는 능력을 살핀다.

Research Papers

Lean4AgenticRL: 최종 결과뿐 아니라 중간 작업에도 보상

Lean4AgenticRL은 최종 결과와 함께 중간 행동도 점검해 소프트웨어 에이전트를 학습시키는 방법이다. 논문이 다루는 프로그래밍과 터미널 작업에서는 AI 에이전트가 명령을 내리고 도구를 사용하는데, 최종 성공 여부에만 보상을 주면 앞선 판단에는 직접적인 피드백이 충분히 전달되지 않는다. ¹

이 프레임워크는 과제별 작업 흐름을 만들고, 이를 공통된 Lean4 형식 체계로 표현해 AI 에이전트의 행동을 검증한다. 도구 호출, 작업 단계, 최종 결과에 각각 보상을 부여하는 방식으로, 완성된 프로젝트뿐 아니라 진행 중 점검 지점도 함께 평가하는 것과 같다. ¹

연구진은 이 보상을 작업 단계별로 정규화하는 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)와 결합해 학습 중 모델을 갱신한다. 이렇게 학습한LAR-9B/27B 제품군은 각각90억 개와 270억 개의 매개변수를 갖추며, 매개변수는 모델 내부에서 학습되는 수치 설정을 뜻한다. ¹LAR-27B는 TerminalBench-2.1에서 77.3%를 기록한다. 연구진이 모델들의 결과를 평균해 보고한 개선율은 기본 모델 대비9.89%, 연구진이 파악한 비슷한 크기의 차순위 모델 대비**5.07%**다. 다음 확인 지점은 논문에 보고된 평가 과제 밖에서도 유사한 개선이 유지되는지다. ¹

EvoWeb: 기존 기능을 지키며 웹사이트를 고치는 능력 평가

EvoWeb은 코딩 AI 에이전트가 이미 만든 기능을 망가뜨리지 않으면서 웹사이트를 계속 개선할 수 있는지 평가한다. 웹 애플리케이션 32개에 걸친 누적 요청 320개로 구성되며, 각 요청은 앞선 작업이 쌓인 동일한 코드에 수정을 가한다. 별도의 AI 에이전트가 실제 브라우저에서 각 중간 버전을 실행해 새 기능, 요청 간 통합, 이전에 요청한 기능을 검사한다. ²

실험에서는 요청 간 통합이 핵심 난제로 나타난다. 의존 관계가 더 깊거나 많은 요청일수록 해결 정확도가 낮고, 요청이 누적될수록 실행 중 오류도 더 자주 발생한다는 결과는 그럴듯한 첫 버전과 신뢰할 수 있는 지속적 유지보수가 다르다는 점을 보여준다. EvoWeb은 하나의 고정된 중단 기준을 적용하는 대신, 사용자가 오류를 용인하는 수준을 달리하며 전체 개발 과정을 평가한다. ²

Open Source & Repos

SGLang: 모델 실행 도구의 지원 범위 확대

SGLang은 애플리케이션이 답변을 제공할 수 있도록 언어 모델과 이미지도 다루는 모델을 실행하는 소프트웨어다. 2026년 10월 19일 공개하는v0.5.22에는 코드 변경 제안인풀 리퀘스트 950건과기여자 245명이 명시된다. ³

이번 버전은 Clef / Clef Flash,PPLX-Decider v1 / v1.1 지원을 추가해 애플리케이션 개발팀의 모델 선택지를 넓힌다. 저장소에는Apache 2.0 라이선스가 명시되어 있지만, 제공된 릴리스 노트에는 속도를 수치로 비교한 결과가 없다. 비개발자에게 중요한 구분은 답변을 생성하는 모델과 그 모델을 실행하는 소프트웨어가 서로 다르다는 점이다. ³

Pydantic AI: 백그라운드 도구 작업의 식별 정보 추가

Pydantic AI는 Python 개발자가 모델 기반 AI 에이전트, 실시간 음성, 이미지 생성 기능을 갖춘 애플리케이션을 만들도록 돕는다. 처음부터 끝까지 자료형을 명시하는 방식을 강조하며, 이는 입력과 출력이 어떤 형태여야 하는지 암묵적으로 남겨두지 않고 분명하게 정하는 것을 뜻한다. ⁴

2026년 10월 16일 공개하는v2.57.0은 호환성 변경 사항으로BackgroundTools의 완료 결과에 이름 공간으로 구분된 origin과 tool_call_id 메타데이터를 붙인다고 명시한다. 이 표시는 완료 결과의 출처와 연결된 도구 호출을 식별하므로, 버전을 올리는 팀은 해당 필드를 읽는 코드를 확인할 필요가 있다. 이는 백그라운드 도구 작업을 식별하는 방식의 변경이지, 모델 정확도 향상을 보여주는 결과는 아니다. ⁴

왜 중요한가

중요한 구분은 AI 에이전트의 최종 답변과 그 답변을 만드는 과정의 신뢰성이 서로 다르다는 점이다. Lean4AgenticRL은 그 과정에 학습 피드백을 주는 방법을 시험하고, EvoWeb은 더 긴 개발 과정에서 변경 사항이 계속 제대로 작동하는지 검사한다. 두 연구는 코딩 도우미를 평가할 때 중간 단계의 점검과 기존 작업의 보존 여부를 구체적으로 물어야 한다는 공통된 기준을 제시한다. ^{1 2}