새 훈련법으로 실시간 제어 가능한 비디오 생성, 지연 없이 구현

한 줄 요약

생성 순간의 정보만 보도록 교사 신호를 바꾼 인과적 증류로 비디오 생성이 더 빠르고 더 잘 제어되며, 동시에 비가청 오디오 취약점과 코딩 에이전트의 정형 검증·규칙 준수 한계가 드러났다.

Research Papers

Context-Matched Distillation: 실시간 제어 가능한 비디오 생성 고속화

이 논문은 비디오를 더 빠르게 렌더링하면서도 카메라와 동작을 실시간으로 조정할 수 있게 만드는 훈련법을 제시한다. 컨텍스트 정합 증류(Context‑Matched Distillation, CMD)는 분포 정합 증류(Distribution Matching Distillation, DMD)를 인과적으로 재구성해, 각 프레임을 평가할 때 미래 프레임이나 제어 신호를 보지 못하도록 교사를 제한한다. 또한 학생이 실제로 굴린 접두어를 기준으로 평가하는 접두어 점수화와, 불안정한 초기 접두어를 약하게 교란해도 대상‑문맥 정합을 유지하는 접두어 교란을 도입한다. ¹

전체 클립을 내다보는 양방향 교사 대신, CMD는 미래를 보지 않는 인과 교사를 학습시키고 그 교사로 소수 단계 학생을 초기화해, 교사 학습·학생 증류·추론 전 과정의 인과 설정을 일관되게 맞춘다. 이는 소수 단계 증류에서 학생이 생성 시점에 갖지 못할 정보를 보고 배우던 오랜 불일치를 해소한다. ¹

저자는 단·장편 비디오 벤치마크에서 자기회귀 방법 중 종합 성능 우위를 보고하며, 시간에 따라 변하는 카메라 제어 준수도 또한 개선된다고 밝힌다. 이 인과적 정식화는 프레임/청크 단위 생성, 장편 비디오 증류, 카메라 조건 제어로 자연스럽게 확장된다. ¹

비가청 저주파 신호: 오디오‑언어 모델의 안전 리스크

사람은 듣지 못하는 매우 낮은 주파수 신호가 시스템에 들어가 대형 오디오‑언어 모델(LALM)을 흐트러뜨릴 수 있음을 보여준다. 블랙박스 환경의 공통 파형 템플릿을 쓰는 레드팀 기법인 간헐 저주파 차단(Intermittent Low‑Frequency Lockout, ILL)은 정확도를 최대 67포인트까지 떨어뜨렸고, 인간 가청 평점은 1.33으로 깨끗한 오디오의 1.17에 가깝게 유지됐다. ²

이에 대한 대응으로 분포 재요청 가드(Distributional Requery Guard, DRG)를 제안해, 저주파 분포 변화를 감지해 조건부로 재녹음을 요청해 의미를 복원한다. 여섯 개 LALM과 여러 과제에서, DRG는 공격받은 평균 정확도를 재획득 후 28.5%에서 46.1%로 끌어올려 오디오 입력을 위한 실무적 방어 경로를 제시한다. ²

HPSE: 문장형 지식 편집을 ‘조합 가능’하게

새 문단을 주입해도 대형 언어 모델(LLM)이 그 문장을 되풀이할 뿐, 세부 질문에 답하거나 여러 사실을 이어 다단 추론을 못하는 문제가 있다. 저자는 지식 편집(KE), 특히 자유 형식 단락을 주입하는 비정형 지식 편집(UKE)을, 동일 모델의 특권적 인컨텍스트 상태에서 외부 라벨 없이 진행하는 능동적 자기 증류로 재정의한다. ³

하이브리드 정책 자기 편집(Hybrid‑Policy Self‑Editing, HPSE)은 대부분 학생의 자체 경로를 따르되, 새 사실의 피복이 실패할 지점에 정확히 개입해 누락을 메운다. 이 방법이 순수 온정책 증류보다 유리한 이론을 제시하고, 네 개 LLM 백본과 두 개 KE 편집기 전반에서 꽂아 쓰는 형태로 개선 효과를 보인다. ³

Vero: 저장소 단위의 정형 검증 코딩 벤치마크

Vero는 코딩 에이전트가 코드를 작성하는 데서 더 나아가, 명세를 만족함을 기계 검증된 증명으로 입증하는지 — 그것도 단일 함수가 아닌 다중 모듈 저장소 수준에서 — 평가한다. 43개 사례(Python, Dafny, Verus, Coq)를 Lean 4 저장소로 구성하고, 사전에 정의된 응용 프로그램 인터페이스(API), 수작업 정형 명세, 기준 구현을 포함한다. 큐레이션 중에는 명세가 만족 불가능함이나 기준 코드가 틀렸음을 에이전트가 증명해 드러내는 감사 메커니즘도 있다. Lean 도구체인 접근으로 평가한 결과, 가장 강한 에이전트도 43개 중 27개만 완전 해결했고 가장 어려운 저장소에서는 어떤 명세도 닫지 못했다. 벤치마크, 큐레이션 파이프라인, 평가 하네스가 공개됐다. ⁴

함께 제시된 평가인 Harness‑IF는 코딩 에이전트가 ‘우연히’가 아니라 실제로 규칙을 따르는지 분리해 측정한다. 다섯 개 지시 표면에 배치한 60개 현실적 멀티턴 코딩 항목과 256개 규칙을 채점하며, 자발적 기본 성향에 ‘역행’하는 규칙만 세는 우선 기저 대비 정확도(Against‑Prior Accuracy, AP‑Acc)를 도입한다. 12개 최전선 모델에서 정확도는 72.1–85.9%, AP‑Acc는 66.1–78.6%였고, 모든 모델이 역행 규칙에서 3.6–7.4포인트(평균 5.81) 낮았다. 합산 점수는 모델별 마진만큼 준수를 과대평가하며, 우선순위는 프롬프트 깊이대로 정렬되지 않고 시스템 프롬프트·프로젝트 파일·사용자 지시가 도구·기술 설명보다 앞섰다. ⁵

두 결과는 저장소 전반의 일관성과 운영 규칙 준수를 함께 압박 시험해, 단순 과제 완수율보다 실무에 가까운 신호를 제공한다. ⁵

왜 중요한가

실행 시간에 시스템이 실제로 마주치는 제약 — 비디오는 과거 정보만, 오디오는 비가청 잡음, 지식 편집은 누락된 피복, 코드는 저장소 단위의 정형 증명 — 아래서 평가하면 평균 점수로는 보이지 않던 간극이 드러난다. 오늘의 연구는 훈련과 평가를 이러한 현실 경계에 맞추는 방향으로 옮긴다. ¹

이번 주 시도해볼 것

1. 정형 증명 감각 익히기: Vero 논문 속 예시를 훑어보며 ‘코드+증명’ 결과가 어떻게 생겼는지와 실패 유형을 확인한다.
2. 오디오 위생 점검: 같은 문장을 조용한 환경과 소음 환경에서 두 번 녹음해 보고, 분포 변화가 감지되면 재녹음을 요구하는 DRG 같은 절차의 필요성을 체감한다.