한 줄 요약

오늘의 논문들은 AI를 더 잘 평가·정렬하는 방법을 다졌다: 비디오의 물리 법칙 준수 검사, 보이는 "사고"가 안전을 높이지 않는다는 근거, 컨텍스트가 없으면 계획이 사라지는 에이전트의 한계, 인간 규범에 맞춘 프라이버시 정렬 데이터셋.

Research Papers

PQSG: 비디오 생성의 물리 타당성 세밀 평가

이 연구는 AI가 만든 비디오가 프롬프트를 충실히 따르면서 기본 물리 법칙을 지키는지 점검하는 새로운 평가법을 제안한다. 시각-언어 모델(Vision-Language Model, VLM)에 고품질 인컨텍스트 예시를 제공해 질문을 계층적 그래프로 구성하고, 각 질문이 앞선 질문에 논리적으로 의존하도록 설계해 객체·행동·관계 수준에서 어떤 부분이 물리 타당성을 어겼는지 세밀히 짚어낸다. 논문명은 Physics Question Scene Graph(PQSG)다. ¹

검증을 위해 Sora 2, Veo 3, Wan 2.1 등 최신 생성기에서 물리 중심 프롬프트로 생성한 영상을 모아 사람 기준으로 다각도로 주석한 FinePhyEval 데이터셋을 구축했다. 이 데이터셋으로 PQSG의 세밀 점수가 기존 방법보다 인간 판단과 더 높은 상관을 보였고, 물리적 현실감에서는 비공개 상용 모델들이 Wan 2.1보다 높은 순위를 받았다. ¹

또한 두 개의 강력한 VLM으로 질문 생성과 답변 성능을 평가했는데, 질문은 사람처럼 만들 수 있으나 답변은 여전히 인간 수준에 미치지 못해 비디오에서 물리 타당성을 추론하는 데 남은 격차를 드러냈다. ¹

텍스트-투-비디오 팀에는 단일 점수 대신 실패 지점을 특정해주는 실행 가능한 점검표가 생긴 셈이다. 향후 PQSG식 질문 그래프가 채택되는지, FinePhyEval이 물리 타당성의 공통 기준선이 되는지 지켜볼 만하다. ¹

사고 토큰은 안전에 얼마나 도움 되나

이 연구는 최신 추론 모델들이 쓰는 "사고" 흔적이 실제로 안전을 높이는지 검증한다. GPT-OSS, Qwen, Olmo, Phi 등 공개 가중치 계열 전반에서, 첫 토큰의 은닉 상태만으로 거부/준수 결론을 예측하는 분류기를 학습하면 수신자 조작 특성 곡선 하 면적(Area Under the Receiver Operating Characteristic Curve, AUROC) 0.84–0.95와 약 88%의 균형 정확도를 보여주며, 겉으로 사고를 출력하기 전부터 이미 결론이 정해져 있음을 보인다. 최종 결론은 사고 토큰의 약 20%가 생성된 시점 이후에도 거의 바뀌지 않고, 텍스트 상의 "숙고" 표현 중 약 74%는 이미 거부/준수 쪽으로 분포가 굳은 상태에서 발생한다. ²

추론 시 또는 학습 기반 안전 개입의 상당수는 드문 숙고 신호를 더 억누르면서 과도한 거부 쪽으로 행동을 이동시키는 경향도 확인됐다. 결론적으로 현재의 "사고"는 내부 토론이라기보다 접두어 완성에 가까우며, 안전을 위해서는 길어진 보이는 추론보다 초기 은닉 상태의 결정을 점검하는 것이 중요하다는 메시지를 준다. ²

LLM 에이전트는 컨텍스트에서 벗어나면 계획을 잃는다

이 논문은 에이전트가 계획을 내부 상태로 유지하는지, 아니면 컨텍스트 창에 계획이 남아 있을 때만 의존하는지를 측정한다. "리플레이 페어링"을 통해 Llama-3.1-70B에서 계획 신호가 계획 직후 한 단계에서 0.453까지 치솟은 뒤 단 한 번의 행동–관찰 단계만에 4.1배 감소하고, HotpotQA에서는 12.4배 감소함을 보였다. 이는 대형 언어 모델(Large Language Model, LLM) 에이전트가 계획을 지속 상태로 보유하지 못하고 컨텍스트 내 유지에 의존한다는 증거다. ³

Llama로 학습한 프로브는 DeepSeek-R1-Distill-Llama-70B에 AUROC 0.748(p=6e-4)로 이전되지만, R1 전용 프로브는 1.000에 도달해 계획 인코딩의 은닉 공간 방향이 다름을 시사한다. 실제로 순진한 계획 제거는 ALFWorld 성공률을 34.7퍼센트포인트 낮췄고, 프로브 기반 재노출 전략도 이를 회복하지 못했다. 저자들은 컨텍스트 관리가 부담을 지는 핵심이며, 계획 보호만으로는 충분하지 않다고 결론짓는다. ³

PrivacyAlign: 인간 판단으로 에이전트의 프라이버시 정렬

이 연구는 사용자를 대신해 행동하는 에이전트가 언제 무엇을 누구에게 공유해야 적절한지 인간 판단을 중심에 두고 가르친다. 실제로 현재 모델들이 정보 누출을 일으키는 다양한 상황을 아우르는 1,350개 샘플, 3,516개 상세 주석, 599명 참여자의 PrivacyAlign 데이터셋을 공개하고, 인간의 설명과 주석에 조건을 단 LLM 심판이 더 신뢰도 높은 평가를 내린다는 것을 보였다. ⁴

이어 주석 조건부 보상 모델링을 제안해 강화 학습(Reinforcement Learning, RL) 동안 인간 주석으로 새 응답을 채점한다. 이 보상으로 학습한 소형 공개 가중치 에이전트는 인간의 프라이버시 규범과 더 잘 맞아떨어지며, PrivacyAlign과 기존 에이전트 프라이버시 벤치마크 모두에서 큰 향상을 보인다. ⁴

왜 중요한가

평가가 더 진단적으로 바뀌고 있다. PQSG는 물리가 어디서 깨지는지까지 특정하며, 보이는 "사고"가 안전을 보장하지 않는다는 결과는 안전 점검을 겉으로 드러난 추론이 아니라 초기 은닉 상태의 신호로 앞당겨야 함을 시사한다. ²

에이전트는 인프라가 곧 제품이다. 컨텍스트 관리가 허술하면 계획 기억이 빠르게 사라져 성과가 큰 폭으로 떨어진다. 동시에 인간 규범에 기반한 프라이버시 정렬 데이터셋은 사용자 기대에 맞춘 학습 경로를 제시한다. ³

이번 주 시도해볼 것

1. 물리 체크리스트 만들기: 그림자, 가림(오클루전), 운동량, 객체 상호작용을 기준으로 AI 비디오를 검토해보자.
2. 사고 토큰 실험: 동일한 프롬프트를 챗봇에 "단계별로 생각해"와 짧은 답변 두 방식으로 요청하고 거부/준수 결론이 실제로 바뀌는지 기록해보자.