200만 쌍 데이터셋으로 지시 기반 비디오 편집이 외형을 넘어선다

한 줄 요약

200만 쌍 비디오 편집 코퍼스와 두 가지 에이전트 학습 기법이, AI를 단순 필터에서 정밀 제어와 자기개선 행동으로 끌어올린다.

Research Papers

Goku: 지시 기반 비디오 편집을 위한 200만 쌍 데이터셋·벤치마크

Goku는 사람이 말한 지시대로 비디오를 편집하도록 AI를 가르치고 평가하는 대규모 세트로, 색상 변경 같은 외형 수정뿐 아니라 움직임과 구조 제어까지 다룬다. 특히 피사체 움직임을 정밀하게 제어하는 등 다중 작업·구조 조작을 포함해, 주로 외형 편집에 치우쳤던 기존 데이터셋의 한계를 보완한다. ¹

이 데이터셋은 200만 개의 고품질 지시 정렬 비디오 편집 쌍으로 구성되며, 복잡한 편집을 통제 가능한 하위 문제로 분해하는 합성 파이프라인으로 제작되었다. 과정 전반에 점진적 필터링을 적용해 편집 난도가 높아져도 데이터 신뢰도를 유지한다. ¹

저자들은 데이터 위에서 Goku-Edit를 제안한다. 이 모델은 텍스트 인코더로 다중모달 대형 언어 모델(MLLM)을 쓰고, 구조 제어를 전담하는 마스크 분기와 외형 렌더링을 담당하는 본 분기를 분리한 이중 분기 설계를 채택한다. ¹

평가를 위해 Goku-Bench는 1,000건의 사람 검증 시험과 7개의 편집 특화 지표를 제공한다. Goku-Edit는 Goku-Bench에서 다른 공개 모델 대비 지시 준수에서 최대 8% 향상을 보여, 개선 효과를 정량으로 입증한다. ¹

HExA: 실험으로 배우는 계층형 에이전트

Hierarchical Experimentalist Agents(HExA)는 대형 언어 모델(LLM)이 맥락 안에서 작은 실험을 설계·수행하고, 그 증거로 답을 내거나 행동하게 하며 재사용 가능한 기술을 학습하도록 만든다. 이 틀은 추가 학습이 필요 없고, 블랙박스 모델과 호환되며, 외부 감독이나 오라클, 오프라인 데이터가 필요 없다. ²

능동 실험을 평가하기 위해 저자들은 2D 물리 환경 PHYRE 위에 시뮬레이션 응용프로그램 인터페이스(API)를 제공하는 Interphyre 도구 호출 벤치마크를 도입했다. 기본 에이전트들은 가장 어려운 레벨에서 고전하는데—Claude Sonnet 4.6은 2% 성과—같은 모델이 HExA 하에서는 최대 77%까지 오른다. 쉬운 레벨에서 배운 기술만 전이해 추가 실험 없이도 44%를 달성한다. HExA는 공개 가중치 모델도 개선하며 ReAct와 Reflexion 같은 에이전트 기준선을 능가한다. ²

TRIAGE: 역할 기반 크레딧 할당으로 에이전트 강화학습 향상

TRIAGE는 에이전트 강화학습(RL)에서 궤적의 각 구간을 의미적 역할로 표기해 크레딧을 나누는 방식이다. 최종 검증 결과를 모든 행동 토큰에 균등 이득으로 주는 그룹 상대 정책 최적화(GRPO)는 실패 롤아웃에서 유용한 탐색을 벌주고, 성공 롤아웃에서 되레 퇴행 행동을 강화할 수 있다. TRIAGE는 구조화된 판정을 통해 구간을 결정적 진전, 유용한 탐색, 무진전 인프라, 퇴행으로 분류하고, 검증 결과를 최적화 방향으로 유지하되 역할별 고정 보상을 매핑한다. ³

ALFWorld, Search-QA, WebShop 전반에서 TRIAGE는 두 정책 모델 모두에서 GRPO 대비 성공률을 높이고, 완료된 롤아웃의 환경 상호작용 횟수를 ALFWorld 10.4%, WebShop 14.8% 추가로 줄인다. 소거 실험은 단순히 촘촘한 보상을 더해서가 아니라 역할 구분—특히 성공 안에 숨어 있는 퇴행 탐지—에서 이득이 나온다는 점을 보여주며, 이 접근을 분산이 낮은 정책 그래디언트와도 연결한다. ³

왜 중요한가

Goku의 200만 쌍 지시 정렬 데이터와 1,000건 벤치마크는 복잡한 비디오 구조 편집을 학습·평가하는 현실적인 토대를 제공해, 스타일 필터를 넘어 정밀 제어로 나아가게 한다. ¹

행동하는 에이전트 측면에서는, HExA가 물리 시뮬레이터에서 2% 성과를 최대 77%로 끌어올릴 수 있음을 보였고, TRIAGE는 역할 인지형 과정 신호로 불필요한 우회를 줄이며 신뢰성을 높일 수 있음을 시사한다. 둘을 합치면, 시뮬레이터와 역할 판정을 활용해 더 빨리 배우고 낭비를 줄이는 에이전트 설계 방향이 보인다. ²