AI 에이전트, 자기 진화 ‘할 일 지도’로 길 잃지 않는다

한 줄 요약

연구 흐름은 자유형 대화에서 벗어나 업데이트 가능한 ‘할 일 지도’로 에이전트를 안내하고, 도구 하네스가 변할 때 성능을 유지하는지와 협조 침입을 어떻게 평가할지를 함께 점검한다.

Research Papers

Procedural Graphs: 자기 진화 ‘할 일 지도’로 에이전트를 안내

이 논문은 에이전트가 다음에 무엇을, 어떤 순서로, 어떤 조건에서 할지 알려주는 지도를 제안하고, 그 지도가 과거의 성공·실패에서 스스로 개선되도록 만든다. 사실 관계를 삼중항으로 묶는 지식 그래프처럼, 절차적 지식을 행동 중심 삼중항으로 정리하고, 주변 부분 그래프를 단계별 힌트로 번역하는 안내 모델이 대형 언어 모델(LLM)의 다음 행동을 강제하지 않고 유도한다. 목표 이탈, 도구 호출 순서 오류, 비생산적 반복을 줄이는 것이 목적이다. ¹

이 ‘절차 그래프’는 자기 진화한다. 정제용 LLM이 실패·성공 궤적을 대조해 그래프의 구조와 속성을 수정하고, 검증 성능에 도움이 되는 수정만 확정하며, 기각된 수정은 부정 예시로 남겨 반복 실수를 억제한다. 최소 골격에서 시작해 수작업 그래프에 맞먹거나 능가하며, 결함 있는 전문가 사전 지식도 보정할 수 있다. ¹

핵심 의미: 글자를 이어 쓰듯 생성하는 자유형 방식은 긴 과제에서 목표를 잊기 쉽다. 절차 기억을 데이터 구조로 외재화하면 모델의 유연성을 유지하면서 선택을 구조로 단단히 붙잡아 둘 수 있다. 저자들은 메모리 기반 기준선 대비 일관된 향상과 자기 진화를 통한 추가 개선을 보고하며, 긴 과제 에이전트의 수작업 엔지니어링 부담을 줄인다. ¹

Counter-Swarm Doctrine: 협조 침입 에이전트 식별·봉쇄 설계

이 입장 논문은 공유 저장소나 인프라를 통해 협조하는 AI 에이전트를 어떻게 찾아내고 봉쇄할지 정리한다. 방어의 기본 단위를 관측된 전송, 권한, 대응 이력을 연결하는 수정 가능한 ‘조정 에피소드’로 보고, 평가자가 소속을 라벨링하기 전에 미리 묶음을 찾아내는 선제적 발견을 주장한다. ²

평가 설계는 검토 비용과 오경보 부담을 맞춘 상태에서 단일 행동, 이동 창, 알려진 집단, 선제적으로 발견된 에피소드를 비교한다. 전체 할당 실행에서의 유해 결과를 측정하고, 채널 차단과 상태 격리 이후의 재발을 시험한다. 새 탐지기나 봉쇄 효과 수치를 제시하기보다, 검증 가능한 모니터링 설계를 기여한다. ²

EVOHARNESSBENCH: 진화하는 하네스에서 에이전트는 버틸 수 있나

이 벤치마크는 도구·재사용 기술·전문 에이전트로 이루어진 ‘하네스’가 바뀔 때(과제가 바뀌는 대신) 에이전트가 얼마나 버티는지 측정한다. 검증기 기반 벤치마크에서 결정적으로 구성한 17개 다단계 하네스 스트림으로, 802개 과제·520개 도구·42개 기술·62개 에이전트를 포함한다. 결과는 하네스 확장만으로도 과거 성취가 깎이는 ‘하네스 유발 망각’, 자기 진화 적응 이득의 단계·축·환경별 불일치, 과거 능력 보존과 신규 적응의 긴장을 드러낸다. ³

하네스와 모델의 공동 진화를 다룬 보완 연구는, 진화된 하네스 아래에서 약한 모델을 강한 전문가의 전 궤적대로 모방 학습시키면 오히려 역효과가 남을 보인다. 7개 기업형 에이전트 과제 전반에서 성능이 4~30포인트 하락했으며, 실패한 턴만 전문가가 다시 쓰도록 요청하는 온정책 교정 파이프라인은 약한 모델의 고유 계획 방식을 지키면서 진화된 스캐폴드의 이득을 결합한다. ⁴

NeoHorse-1은 라우팅된 상호작용을 학습 데이터로 바꿔 순환적 자기 개선을 시도하는 에이전트 지향 사후 학습을 탐구한다. 도구 사용, 코딩, 지시 따르기 등 11개 벤치마크에서, 4B(40억) 매개변수 모델의 매크로 평균은 58.94에서 64.87로, 9B(90억) 매개변수 모델은 65.60에서 69.04로 상승해, 동일 조건에서 4B 사후 학습 모델과 9B 기본 모델 간 격차를 좁혔다. ⁵

커뮤니티 반응

Hacker News (37↑) — ‘Add’ 노드가 일반 LLM인지 특화 트랜스포머인지로 생성되는지, 이름·안내·엣지의 생성 방식에 대한 질문이 중심. ⁶

"Add 노드는 어떻게 만들어지나요? 각 노드의 이름, 안내(guidance), 엣지를 LLM이 만들어내나요, 아니면 맞춤형(transformer) 모델이 사용되나요?" — Hacker News ⁶

왜 중요한가

절차 지식을 명시적이며 자기 진화하는 그래프로 옮기면, 긴 과제 에이전트의 신뢰성과 감사 가능성을 높이고, 더 큰 모델 대신 더 나은 스캐폴딩으로 작은 모델의 수행력을 끌어올릴 수 있다. 오늘의 벤치마크·연구들은 자유형 에이전트가 어디서 비틀리는지와 구조가 어떻게 선택을 바로잡는지를 보여준다. ¹

실무에서는 하네스를 시스템의 핵심 구성요소로 다뤄야 한다. 에피소드 단위 계측을 추가하고, 도구를 보강할 때 하네스 유발 망각을 점검하며, 진화된 스캐폴드에 약한 모델을 맞출 때는 전 궤적 모방보다 실패 턴만 교정하는 온정책 방식이 유리할 수 있다. ⁴

이번 주 시도해볼 것

1. 절차 그래프 점검: 팀의 반복 업무를 노드(행동)와 엣지(조건·다음 단계)로 그려 보고, 현재 에이전트나 자동화가 실제로 밟는 순서와 비교한다.
2. 하네스 변경 드릴: 안전한 새 도구 추가나 기존 도구 래퍼 교체를 샌드박스에서 시행하고, 소규모 과제 재실행으로 보존 대 적응의 변화를 EVOHARNESSBENCH 논리처럼 확인한다.