한 줄 요약

에이전트 연구가 ‘정답 생산’에서 ‘판단과 효율’로 옮겨간다: 질문할 타이밍을 재는 새 벤치마크, 주의(attention) 없이 전역을 보는 선형 비전 모델, 더 빠른 디코딩 기법, 그리고 마이크로소프트의 거버넌스 도구가 함께 등장했다.

Research Papers

HiL-Bench: 사람에게 물어볼 타이밍을 가르치는 벤치마크

HiL-Bench는 사양이 비거나 모호하거나 서로 충돌하는 코딩·텍스트‑투‑SQL 과제를 내고, 에이전트가 행동 전에 명확화 질문을 하는지를 시험한다. 과제의 장애물은 탐색 과정에서만 드러나며, 질문 남발과 침묵 사이의 균형을 재는 Ask‑F1 지표로 평가한다. ¹

결과는 큰 판단 격차를 보여준다. 최전선 모델들도 질문 여부를 스스로 결정해야 하면 완전 정보에서의 성능을 일부만 회복하며, 과신 오답, 불확실성 인지는 했지만 오류 지속, 두루뭉술한 에스컬레이션 등 일관된 실패 패턴이 나타난다. 이는 과제 특성보다 모델 차원의 결함임을 시사한다. ¹

Ask‑F1에 맞춘 보상으로 강화학습(RL)을 수행하자 32B 모델의 질문 품질과 과제 통과율이 함께 개선되었고, 이득이 도메인을 넘어 전이되었다. 모델이 도메인 요령이 아닌 ‘해결 불가능한 불확실성’을 감지하고 조치하는 법을 배운다는 뜻이다. ¹

사후학습 맥락에서도 구조화된 루브릭 보상이 해석 가능성과 견고성을 높인다는 보고가 있다. 정답만 채점하는 기존 관행을 넘어, Ask‑F1 같은 ‘판단 보상’을 도입해 에이전트의 도움 요청 능력을 훈련·평가하는 흐름이 자연스럽게 이어진다. ²

Marginal Token Allocators: 토큰을 예산처럼 배분하자는 제안

이 입장 논문은 에이전트형 AI를 토큰 예산 경제로 설계·평가해야 한다고 주장한다. 라우터, 에이전트, 서빙, 학습 파이프라인의 네 층을 따라가 보면, 모두가 한 요청을 처리할 때 편익과 비용·지연·위험의 한계 균형을 맞추는 같은 조건을 푼다. ³

이 관점에서 과도한 라우팅·위임, 검증 부족, 서빙 병목, 오래된 롤아웃, 캐시 오남용 같은 반복적 실패는 예견 가능한 ‘오배분’이다. 저자는 토큰 인지형 평가, 자율성 가격 책정, 혼잡 가격 서빙, 위험 조정형 RL 예산 등 구체적 연구 의제를 제시한다. ³

에이전트가 실질적 결정을 내릴수록 거버넌스가 중요해진다. 법제 분석은 AI가 결과에 중대한 영향을 미칠 때 책임이 모호해지는 ‘책임 공백’을 지적하고, 조직·책임 구조 개편을 제안한다. 이는 속도뿐 아니라 위험을 가격에 반영하자는 논지와 맞닿아 있다. ⁴

업계 동향도 이를 뒷받침한다. 결제·인프라를 위한 범위 제한 자격 증명과, 이슈 트래커를 자율 코드 공장으로 바꾸는 오케스트레이션이 보고되면서, 토큰·리스크 배분과 통제가 설계의 출발점이 되고 있다. ⁵

주의 없이 전역을 보는 선형 시각 모델

이 논문은 주의(attention)의 장점을 ‘입력으로부터 동적으로 예측된 매개변수를 가진 다층 퍼셉트론(MLP)’ 관점으로 재해석해, 쌍별 주의 계산 없이도 전역 문맥을 포착할 수 있음을 보인다. 저자는 동적 매개변수화 모듈을 표준 층에 통합해 전역 모델링을 선형 복잡도로 달성한다. ⁶

쉽게 말해, 모든 패치를 서로 비교하는 대신(복잡도는 제곱으로 증가), 전체 이미지를 요약하는 작은 ‘설정값’을 예측해 모든 위치에 적용한다. 다양한 시각 과제에서 이 방식이 명시적 주의의 효율적인 대안임을 실험으로 보인다. ⁶

배경을 덧붙이면, 전통적 멀티헤드 어텐션은 여러 ‘헤드’가 병렬로 서로 다른 관계를 본다. 새 방식은 이런 병렬성의 이점은 살리되, 무거운 전쌍 계산을 제거한다. ⁷

SpecKV: 추측 디코딩 길이를 자동으로 조절

SpecKV는 초안(draft) 모델의 신뢰도·엔트로피 같은 신호를 보고, 매 단계에서 몇 개 토큰을 미리 제안할지 길이를 정하는 가벼운 제어기다. 흔히 고정값(예: 4)을 쓰던 관행에서 벗어나, 대상 모델의 압축 정밀도에 맞춰 길이를 조절한다. ⁸

추측 디코딩은 작은 초안 모델이 후보 토큰을 제안하고 큰 목표 모델이 검증해 지연을 줄이는 표준 기법으로, 배칭과 캐시와 함께 실무에서 널리 쓰인다. ⁹

저자는 4개 과제 유형, 4개 길이, 3개 압축 체계(FP16, INT8, NF4)로 프로파일링해 최적 길이가 압축 수준에 따라 달라짐을 보였다. SpecKV의 작은 MLP는 고정 4 대비 단계당 예상 토큰을 56.0% 늘리면서도 의사결정 오버헤드는 0.34ms(단계 시간의 0.5% 미만) 수준이며 통계적으로 유의하다. ⁸

왜 중요할까? 긴 컨텍스트는 메모리·대역폭을 압박한다. 키‑값(KV) 캐시 압축 기술 설명은 4–6배 축소를 보고하며, Llama 3 70B의 10만 토큰 요청 하나에만 KV 캐시에 32.8GB GPU 메모리가 든다는 수치를 제시한다. 이런 맥락에서 SpecKV 같은 적응형 전략의 효과가 커진다. ¹⁰

Open Source & Repos

Microsoft Agent Governance Toolkit: 에이전트 거버넌스 도구 모음

Microsoft의 Agent Governance Toolkit은 정책 집행, 제로 트러스트 아이덴티티, 실행 샌드박스, 신뢰성 엔지니어링을 제공하며, 문서·퀵스타트·PyPI 패키지를 갖추고 OWASP Agentic Top 10 대응을 표방한다. ¹¹

레포지토리는 2026-05-05의 v3.4.0 릴리스와 CI 배지 등 활발한 유지보수를 보여준다. 최신 변경은 신뢰할 만한 기여자에 대해 ‘최근 레포 급증’·‘교차 레포 살포’ 신호가 과도하게 HIGH로 뜨던 문제를 완화했다. ¹¹

이 거버넌스 층은 Microsoft의 AutoGen 같은 오케스트레이션 프레임워크를 보완한다. AutoGen이 다중 에이전트 역할·도구 사용·사람 개입을 조정한다면, 실제 배포에는 정책 게이트, 감사 추적, 샌드박스가 필요하며 이 도구가 그 빈틈을 메운다. ¹²

왜 중요한가

정확도만큼 ‘판단’이 핵심 기준으로 올라온다. HiL‑Bench의 Ask‑F1은 언제 사람에게 물어봐야 하는지를 공식화했고, 강화학습 결과 이 행동이 학습 가능하다는 신호가 보인다. 이제 코드를 맞히는가뿐 아니라, 혼자 행동하지 말아야 할 때를 아는가를 함께 측정하게 된다. ¹

동시에 효율과 안전 레일이 수렴한다. 선형 전역 모델링, SpecKV 같은 적응형 디코딩, 대형 공급사의 거버넌스 도구는, 다음 도약이 ‘더 큰 모델’이 아니라 ‘더 똑똑한 자원 배분과 더 강한 통제’에서 온다는 흐름을 보여준다. ¹¹

이번 주 시도해볼 것

1. Agent Governance Toolkit 퀵스타트: GitHub 레포에서 샘플 정책을 실행하고 에이전트를 샌드박스해 본다. https://github.com/microsoft/agent-governance-toolkit
2. 추측 디코딩 기초 학습: O’Reilly 챕터 7 미리보기를 읽어 서빙 트레이드오프를 익힌다. https://www.oreilly.com/library/view/hands-on-llm-serving/9798341621480/ch07.html