한 줄 요약

검증·재현 가능한 합성 환경과 스케일 법칙이 부상했다: Trace의 재생 가능한 시각 과제가 시각‑언어 모델을 24개 벤치마크에서 3~4포인트 끌어올렸고, DocOps는 문서 에이전트의 한계를 드러내며, 새 기법은 비디오 주의 연산을 가속하고 지식 주입을 확장한다.

Research Papers

Trace: 다영역 시각 추론을 위한 검증 가능한 합성 과제 환경

Trace는 여러 도메인의 이미지, 프롬프트, 정확한 정답과 검증기를 함께 생성해, 자동·재현 가능한 보상으로 모델을 훈련·평가할 수 있게 하는 환경이다. 이는 시각‑언어(vision‑language, VL) 계열에서 데이터가 넓고 정확히 검증 가능하며 재현 가능한 학습 세트가 부족해 막혀 있던 검증 가능한 보상 강화학습(Reinforcement Learning with Verifiable Rewards, RLVR)을 겨냥한다. ¹

기술적으로 Trace는 작업을 장면 문법(무엇을 어떻게 렌더링할지)과 실행 가능한 작업 프로그램(정답을 어떻게 계산할지)으로 분해한다. 공유된 의미 상태가 최종 이미지, 프롬프트, 유형화된 정답, 검증기 상태, 재생 가능한 인스턴스 트레이스를 동시에 결정한다. 이 환경은 11개 시각 도메인에 걸친 277개 장면 문법으로 구성된 1,000개 작업을 제공해, 의미·시각 변이를 통제하며 다루도록 설계됐다. ¹

RLVR로 Trace 인스턴스 6만4천 개를 학습하면, Qwen2.5‑VL‑3B는 외부 24개 벤치마크에서 거시 평균이 3.51포인트, Qwen2.5‑VL‑7B는 4.06포인트 상승한다. 이는 폭넓은 절차적 학습이 Trace 자체 분포를 넘어 전이된다는 근거를 제시하며, 실무자에게는 검증 가능한 감독과 재현 가능한 과제 생성이 핵심 메시지로 읽힌다. ¹

DocOps: 복잡한 문서 작업 에이전트를 위한 검증 가능 워크플로 벤치마크

DocOps는 실제 업무형 디지털 문서 조작을 원자적 능력과 단계적으로 복잡해지는 워크플로로 분해하고, 결과를 결정적으로 검증하는 벤치마크다. 연구진은 다양한 에이전트 실행 프레임에서 대표적 폐쇄형·오픈소스 모델을 평가해 일상적 문서를 얼마나 신뢰성 있게 조작하는지 측정한다. ²

분석 결과, 결합도가 높고 장거리 의존이 큰 과제에서 뚜렷한 한계가 드러났고, 세 가지 반복적 실패 양상이 식별됐다: 장기 상태 추적 붕괴, 피상적 의미 검증, 구조 메타데이터의 파괴적 편집. 이 결과는 전역 문서 일관성 유지의 현재 능력 경계를 그려주며, 비파괴적·강건한 에이전트 설계 방향을 제시한다. ²

하이퍼네트워크: LLM에 사실 주입을 위한 스케일 법칙

이 논문은 하이퍼네트워크가 훈련 단계에서 고정 저랭크 적응(Low‑Rank Adaptation, LoRA) 어댑터를 생성하고, 이를 대상 모델에 삽입해 대규모 사실에 관한 질문에 답하게 만드는 지식 주입 방법을 연구한다. 설계는 하이퍼네트워크의 주입 용량을 대상 모델의 일반 능력과 분리해, 대형 언어 모델(Large Language Models, LLM)에서 하이퍼네트워크 깊이·너비·대상 네트워크 크기별 스케일 법칙을 처음으로 엄밀히 분석할 수 있게 했다. ³

연구진은 Wikidata5M에서 구성한 39개 도메인의 수천만 건 다단계 질문‑답변(question‑answer, QA) 예제로 이루어진 MegaWikiQA를 제작했다. 실험적으로, 하이퍼네트워크 기반 주입은 모든 구조 축에서 예측 가능한 거듭제곱 법칙을 따르며, 규모가 커질수록 분포 밖(out‑of‑distribution, OOD) 일반화가 강해지는 것으로 나타났다. 이는 LoRA 미세조정과 전체 미세조정 대비 OOD 평가 전반에서 더 가파른 스케일 지수를 보여, 유망한 대안임을 시사한다. ³

FVAttn: 런타임 부하 균형을 갖춘 비디오용 적응 스파스 어텐션

FVAttn은 훈련 없이 적용 가능한 스파스 어텐션 시스템으로, 다중 그래픽 처리 장치(Graphics Processing Unit, GPU) 시퀀스 병렬 환경에서 비디오 디퓨전 트랜스포머의 분산 실행 효율을 높인다. Top‑p 라우팅과 Top‑k 안전 바닥, 비디오 인지 블록 구성을 전단으로 사용하고, 런타임에 실체화된 마스크를 보정한다. ⁴

런타임에서는 피어 투 피어(peer‑to‑peer, P2P) 통신으로 일부 무거운 헤드를 이주시켜 임계 경로를 단축하고, 비임계 순위의 잔여 여유를 고가치 블록으로 채우며, 스케줄링·이주 오버헤드를 기존 연산과 겹쳐 숨긴다. 스텝 증류된 Wan2.2 이미지‑투‑비디오(image‑to‑video, I2V) 설정에서 평균 부하 불균형을 1.34에서 1.08로 낮추고, FlashAttention 대비 어텐션 연산을 4.41배 가속했으며, 디퓨전 트랜스포머(Diffusion Transformer, DiT) 추론을 2.02~2.11배 빠르게 하면서 경쟁력 있는 영상 품질을 보였다. ⁴

왜 중요한가

이들 연구는 모호한 감독에서 벗어나, 검증 가능한 생성·평가와 원칙 있는 스케일 지침, 그리고 기존 하드웨어에서의 성능 향상을 결합한다. 결과적으로 더 신뢰할 수 있는 멀티모달 도우미와 더 빠른 미디어 생성 모델에 가까워진다. ¹