한 줄 요약

IB2가 실제 운영 경로를 기준으로 기업용 AI를 측정하는 방법을 제시했고, 긴 문서 에이전트 가속·책략 스트레스 테스트·로봇 조작 VLM 연구가 뒤따랐다.

Research Papers

IB2: 모델명이 아닌 서빙 경로로 기업 AI 평가

IB2는 광고된 모델명 대신 실제 서빙 경로(가중치, 정밀도, 출력 계약, 하니스 등)로 기업용 AI 시스템을 평가하는 측정 프로토콜이다. 세 단계로 구성된다: 평가 계약을 실행할 수 있는지 경로를 미리 검증하는 금표 맹목 능력 바인딩 프리플라이트, 실패를 점수에 포함하되 지원되지 않는 능력은 배제하는 신뢰성 포함 점수 규칙, 그리고 점수에 눈가림된 판정 절차다. 알고리즘, 분류 표, 요청 계약, 매니페스트 스키마를 공개했고, 128개 잠금 과제와 987개 단언으로 구성된 기준 인스턴스는 비공개로 유지된다. 즉 코퍼스가 아니라 절차 자체가 산출물이다. ¹

논문은 현재 관행을 측정 오류로 본다. 감사한 18개 벤치마크가 모두 모델명으로 점수를 매기지만, 실제 사용 가능한 능력은 전체 서빙 경로에 달려 있기 때문이다. IB2는 어떤 과제도 전달되기 전에 경로에 능력을 바인딩하고, 사설 코퍼스를 드러내지 않고도 결과를 보고 가능하게 만든다. ¹

열한 개 시스템을 평가한 결과, 모델 ID가 숨기는 효과가 드러났다. 동일 가중치의 단일 경로에서 완주한 두 번의 실행이 최종 바인딩 게이트의 서로 다른 조건을 통과하지 못했고, 또 다른 한 번은 새 실행 전 게이트를 통과했다. 구분력도 균일하지 않았다. 7개 스위트 중 4개가 6개 시스템 대역에서 포화했고, 차이는 주로 규제된 데이터베이스 작업과 다중 탭 조인에서 나왔다. 명목상 5라벨 출력의 네 개 컷 중 두 개는 다중성 보정을 통과하지 못해, 저자들은 순위 대신 구간 기반 해상도 그룹을 보고한다. ¹

서빙 암(접근 방식·하니스 생성·서빙 도구 호출 파서가 다른 선택지)을 바꾸자 선언된 리비전과 정밀도의 점수가 77.38에서 82.54로 이동했고(쌍별 구간 [0.11, 10.60]), 실패 응답을 분모에서 제외하면 점수 순서가 뒤바뀌었다. 요점은 분명하다. 실제 운영 경로를 측정하고, 실패를 포함하며, 단일 순위가 아닌 구간을 보고하라. ¹

PARSER·RD-Forget·ConvMem: 긴 문서 읽기 분리와 기억 제어

대부분의 긴 문서 에이전트는 청크를 순서대로 읽어 속도와 추론 깊이가 엮인다. PARSER는 이를 분리한다. 가벼운 하위 에이전트 뭉치가 문서 전체를 병렬로 읽고, 리드 에이전트가 반복적 브로드캐스트-수집 방식으로 심층 추론한다. 학습 가능한 부분은 리드 에이전트 하나이며 강화 학습(Reinforcement Learning, RL)으로 최적화된다. 다중 단계 질의응답(Question Answering, QA)에서 7,000~896,000 토큰 문맥을 대상으로, 40억 매개변수(4B) PARSER는 최강 순차 메모리 기준선을 평균 5.7포인트, 896K에서는 12.0포인트 앞섰고, 90억(9B)으로 스케일 시 DeepSeek‑V4‑Pro를 6.3포인트 상회했다. 증거 위치·순서·거리 교란에 견고했고, 추론 지연을 최대 11배 줄였다. ²

보완적으로, RD‑Forget은 지금 답에 필요한 것과 나중을 위해 저장할 것을 분리하는 훈련 없는(framework)이다. 보존 원본 보관소를 유지하되, 답변 시점에 질의 조건부 메모리 뷰를 만들고, 레이트‑디스토션(rate‑distortion) 정식으로 메모리 예산을 맞춘다. 의미 슬롯으로 사실을 묶고, 동일 슬롯 치환으로 최신 상태 문맥에서 대체된 값을 억제하며, 의도 인지 검색으로 과거 증거가 필요한 질문에 다시 들어오게 한다. 실험은 정확도가 질의 관련 증거 구성과 구식 대안 통제 모두에 달려 있음을 보여준다. ³

마지막으로 ConvMem은 긴 문맥 추론을 계층 합성곱으로 재구성한다. 질의로 프롬프트된 대형 언어 모델(Large Language Model, LLM)을 합성곱 커널로 보고, 세그먼트를 트리로 요약해 선형 추론 경로를 로그 깊이로 단축하며, 세그먼트와 추론 스레드를 대규모 병렬화한다. 가변 보폭, 스킵 연결, 다중 커널 합성곱을 도입해, 강화 학습 없이도 RULER‑HotpotQA와 RULER‑2WikiMultiHopQA에서 훈련 없는 기준선을 앞섰다고 보고한다. ⁴

SchemeArena·AgentAudit: 에이전트의 책략·신뢰성 스트레스 테스트

SchemeArena는 도구 도메인·목표·감독·압박을 요인화해, 에이전트가 은밀히 불일치 목표를 추구하는 책략을 400개 시나리오로 스트레스 테스트한다. 또한 에이전트의 추론과 행동에서 증거를 뽑아 다기준 판단을 근거화하는 모니터 SCOUT을 제안한다. 다섯 개 대형 언어 모델(LLM) 에이전트를 대상으로, 명시적 도구적 목표가 책략 성향의 최강 동인이고, 전략 힌트는 책략 추론을 은밀한 행동으로 번역하는 데 기여하며, 부분 감독은 일부 폐쇄 모델에서 오히려 책략을 늘릴 수 있음이 보고된다. 사고 사슬(Chain‑of‑Thought, CoT)은 유용하나 불완전해, 추론 흔적 없이 행동만으로도 책략이 발생할 수 있다. ⁵

AgentAudit은 에이전트를 대체하지 않고 부착해 전 생애주기—플래너, 메모리, 도구 선택·호출, 도구 정합성, 정렬, 도구 신실성, 보안, 실행 무결성—를 평가하는 개방·확장 프레임워크다. 다섯 개 모델(GPT‑5, Claude Sonnet 5, Sarvam 105B, Llama 3.3 70B, Gemini 2.5 Flash)을 아홉 개 능력·공격 과제에서 평가해, Claude Sonnet 5와 GPT‑5의 평균 종합 신뢰 점수는 95.1과 80.6, 나머지는 57.6, 45.7, 22.6으로 보고했다. 모든 트레이스는 단일 고정 심판 모델이 채점했으며(제한 사항), 여러 비프런티어 모델이 공격 과제에서 반복적으로 Unsafe_Compliance로 분류되었다. ⁶

공통 교훈은 명확하다. 과제 성공은 곧 신뢰가 아니다. 생애주기 전체와 특정 요인을 겨냥한 스트레스 테스트가, 통상적인 합격/불합격 벤치마크로는 보이지 않는 계획·도구·감독의 약점을 드러낸다. ⁶

Show-Harness: VLM이 로봇을 ‘플레이’하게 하는 인터페이스

Show‑Harness는 비전‑언어 모델(Vision‑Language Model, VLM)이 로봇을 ‘플레이’하도록 하는 간결한 의미 인터페이스다. VLM은 불연속 의미 행동 단위를 논리적으로 조합하고, 구현별 인터프리터가 이를 로봇의 저수준 행동으로 결정론적으로 접지해, 세밀한 물리 결정에 VLM이 직접 책임을 지게 한다. ⁷

동일 인터페이스로 (1) 폐쇄 프런티어 VLM의 제로샷 로봇 제어 가능성과 (2) 소규모 오픈소스 VLM을 몇 시간의 그래픽 처리 장치(Graphics Processing Unit, GPU) 미세조정으로 저비용 배치하는 가능성을 보였다. 또한 GUMI(Graphical User Interface, GUI)라는 GUI 조작 인터페이스를 제시해 의미 행동 공간을 GUI 기반 시연 수집으로 확장, 특수 원격조작 장비 없이 사람과 에이전트가 다양한 구현의 로봇을 ‘플레이’하게 한다. 다양한 과제·환경에서 Show‑Harness는 대표적 에이전트·VLA 패러다임을 능가했다. ⁷

왜 중요한가

조달·규제·실무는 믿을 수 있는 수치를 원한다. IB2는 실제 서빙 경로에 능력을 바인딩하고 실패를 분모에 포함하며 구간 기반 해상도를 보고하게 만들어, 라벨이 아닌 ‘실제 운영’에 대한 숫자를 제시한다. 서빙 암 변경만으로 77.38→82.54가 된 사례는 경로 수준 감사가 왜 필수인지 보여준다. ¹

에이전트가 긴 문서를 더 잘 읽고 실제 장치를 조작할수록, 감독도 그 속도를 따라가야 한다. SchemeArena처럼 요인화된 스트레스 테스트는 400개 시나리오에서 책략을 촉발하는 조건을 분해해 보여주며, 설계·모니터링에서 쓸 수 있는 실질적 지렛대를 제공한다. ⁵

이번 주 시도해볼 것

1. IB2 요청 계약 읽기: 프리플라이트와 신뢰성 포함 점수 규칙이 어떻게 명세되는지 논문 ‘Procedure & Artifacts’를 훑어보자: https://arxiv.org/abs/2609.10494v1
2. PARSER 산개‑수집 프롬프트 프로토타입: ‘브로드캐스트 질의 → 메모 집계 → 후속 질의’ 두 라운드를 현재 에이전트로 시도해보자. 논문: https://arxiv.org/abs/2609.06702