한 줄 요약

제어형 이미지·비디오 생성의 학습 신호가 정교해지고, 에이전트·코딩 모델은 평가와 보상 설계에서 새로운 한계와 해법이 드러났다.

Research Papers

LISA: 확률 점수 정렬로 제어 가능한 생성 향상

LISA는 시각 조건 제어 생성에서 제어 입력의 충실도를 높이고 학습 수렴을 빠르게 만드는 학습 단계 정규화이며, 추론 단계 비용을 추가하지 않는다. 널리 쓰이는 이중 분기 구조(동결된 메인 네트워크가 화질을 담당하고 사이드 네트워크가 제어를 주입)를 점수 기반 생성 모델링 관점에서 재해석하고, 사이드 분기를 우도 점수에 명시적으로 정렬한다. 이미지·비디오 과제와 다양한 아키텍처, 확산·플로우 모델 전반에서 더 빠른 수렴과 향상된 합성 품질을 보였고, 추가 학습 비용은 미미하며 추론 비용 증가는 없다. ¹

이 논문은 역할을 명확히 구분한다. 메인 네트워크는 무조건 사전 점수를 제공하여 지각적 품질을 유지하고, 사이드 네트워크는 우도 점수로 조건부 제어를 유도한다. LISA는 사이드 분기의 중간 특성을 “훅”으로 추출해 경량 디코더로 점수 잠재 공간에 사영한 뒤, 근사한 우도 점수 타깃과의 거리를 표준 확산 손실에 더하는 정규화 손실로 계산한다. 사이드 네트워크와 디코더는 이 결합 목적함수로 함께 최적화된다. ¹

속도 이점 외에도, LISA는 사이드 분기가 조건 정보를 더 잘 분리해 학습하도록 유도해 “무엇을 만들지”와 “어떻게 조종할지”를 분별한다. 실행 경로가 아니라 학습 신호를 바꾸는 방식이므로 실제 도입 시 운영 복잡도에 변화를 거의 주지 않는다. ¹

GauntletBench: 시간·그래픽·3D 과제로 에이전트를 혹독하게 평가

GauntletBench는 5개 전문 앱(Video Editor, Workflow Builder, 3D Modeller, Flight Analyser, Circuit Designer)에서 100개 시각 중심 과제로 에이전트의 일반화를 측정하는 웹 기반 벤치마크다. 시간 지각, 그래픽 이해, 3D 추론이라는 세 가지 간과된 능력을 겨냥하며, 오픈·클로즈드 소스 에이전트 프레임워크와 호환되는 모듈형 파이프라인, 통제된 환경, 자동 평가 지표를 제공한다. ²

결과는 격차가 크다는 점을 보여준다. 최고 성능 에이전트의 성공률은 19.1%에 그친 반면, 비전문가 사람 주석자는 동일 과제에서 80% 이상을 해결했다. 익숙한·단순한 벤치마크에서의 성과가 복잡하고 덜 친숙한 워크플로에 대한 준비도를 보장하지 않음을 시사한다. 특히 시간 흐름, 도식, 3D 장면을 함께 다루는 과제에서 취약함이 드러났다. ²

RiVER: 정답 라벨 없이도 순위·검증 보상으로 LLM 학습

RiVER(Ranking-induced Verifiable framework)는 결정적 실행 피드백을 연속 값 감독으로 활용해 정답 해를 모르는 점수 기반 코딩 과제에서 대형 언어 모델(LLM)을 강화 학습(RL)으로 학습한다. 검증 가능한 보상 기반 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR)을 그룹 상대 방식으로 적용할 때 나타나는 두 문제—사례 간 점수 규모 차이로 정책 갱신이 왜곡되는 ‘스케일 지배’와, 자주 등장하지만 약한 해가 드문 강한 해를 압도하는 ‘빈도 지배’—를 해결한다. RiVER는 사례별 비교로 보상을 보정하고 상위 해를 강조하되, 다른 유효 해에는 경계가 있는 피드백을 유지한다. ³

12개 AtCoder Heuristic Contest 과제 학습에서, RiVER는 Qwen3-8B와 GLM-Z1-9B-0414의 알고리즘 엔지니어링 벤치마크(Algorithm Engineering Benchmark, ALE-Bench) 레이팅 순위를 각각 8.9%p, 9.4%p 높였다. 더 중요한 점은 점수 기반 과제만으로 학습했음에도, LiveCodeBench에서 평균 절대 2.4%p, 미국 정보올림피아드(USA Computing Olympiad, USACO)에서 3.5%p 향상처럼 정답 일치형 벤치마크로 이득이 전이되며, 원시 실행 점수만으로 학습한 기준선은 이 전이에 실패했다는 것이다. ³

월드 모델의 환각: 데이터 커버리지에 비례하며 예측·완화 가능

저자들은 행동·보상 정답과 실시간 시뮬레이터를 포함한 427시간, 210개 작업의 시각 월드 모델링 데이터셋 MMBench2를 제시하고, 3억 5천만 파라미터 월드 모델을 학습한다. 그 과정에서 지각적, 행동-소외, 장면-일탈의 세 가지 환각 모드를 규명하고, 전개가 현실에서 벗어날 위치를 정확히 예측하는 신호를 개발한다. ⁴

환각은 상태-행동 공간의 저커버리지 영역에 집중됨을 보이고, 학습 시에는 커버리지 인지 샘플링으로, 온라인에서는 예측 신호를 호기심 보상(curiosity rewards)으로 사용해 표적 데이터를 수집하는 두 가지 처방을 제안한다. 실제 환경 궤적 50개만으로도 미지 환경에 적응하는 미세 조정이 가능해지며, 더 나은 커버리지와 이를 감지하는 신호가 실패를 예측하고 동시에 완화한다는 결론을 뒷받침한다. ⁴

Open Source & Repos

Nous의 Hermes Agent: MIT 라이선스 데스크톱 에이전트

Nous Research의 Hermes Agent는 “함께 성장하는 에이전트”를 표방하며, README에 Hermes Agent, Hermes Desktop, 문서, 디스코드 커뮤니티 링크가 정리되어 있다. 저장소는 완화된 MIT 라이선스로 공개됐다. ⁵

구성 가능한 에이전트와 데스크톱 클라이언트를 원하는 개발자와 파워 유저에게 적합하며, 문서와 커뮤니티 채널이 실험을 돕는다. 시작하려면 저장소를 방문해 제공된 문서 링크를 따르면 된다. ⁵

왜 중요한가

학습 단계의 감독 신호가 실무 성과를 좌우하고 있다. LISA는 런타임 연산을 늘리지 않고도 제어 충실도와 속도를 개선해, 더 무거운 구조보다 더 똑똑한 감독으로 눈을 돌리게 만든다. ¹

동시에, 엄격한 평가와 검증 가능한 보상이 진전을 이끈다. GauntletBench는 에이전트의 취약 지점을 드러내고, RiVER는 라벨 없이도 사례 인지형 보상 설계로 코딩 모델을 개선할 수 있음을 보여준다. ³

이번 주 시도해볼 것

1. Hermes Agent 사용해보기: GitHub 저장소를 열고 README의 Documentation 링크를 따라 Hermes Desktop을 시험한다. https://github.com/NousResearch/hermes-agent