한 줄 요약

LongStraw가 고정 연산 자원에서 수백만 토큰 이력을 학습하는 길을 보여주고, 또 다른 연구는 연속 확산으로 텍스트 생성을 빠르게 하며, 세 번째는 시각·오디오·언어 전반에서 ‘무엇’과 ‘어디’를 함께 이해하는 표현을 제시한다.

Research Papers

LongStraw: 고정 연산 예산에서 수백만 토큰 강화학습 사후훈련

LongStraw는 강화학습(RL) 사후훈련을 수백만 토큰 프롬프트로 확장하면서도 고정된 그래픽 처리 장치(GPU) 예산 안에 맞추는 실행 스택이다. 전체 프롬프트는 자동미분 없이 평가하고, 이후 토큰에 필요한 모델별 상태만 유지하며, 짧은 응답 분기를 하나씩 재실행한다. 논문은 이를 그룹 상대 정책 최적화(GRPO)로 구체화한다. ¹

H20 GPU 8대로 그룹 크기 2와 8에서 각각 Qwen 점수화와 응답 역전파를 210만 위치까지 완료했으며, 그룹 크기를 키워도 피크 할당 메모리는 0.21GB만 늘어난다. 별도의 스트레스 테스트에서는 446만 위치까지 도달해 실행 관점의 여유를 보인다. ¹

H20 GPU 32대에서는 압축 어텐션 기반의 전문가 혼합(MoE) 모델 GLM‑5.2 전 78개 레이어에 걸쳐 210만 토큰 프롬프트의 엔드투엔드 실행 경로를 검증했고, 하이브리드 순환+풀 어텐션 구조의 Qwen3.6‑27B에도 LongStraw를 구현했다. 저자들은 캡처된 프롬프트 상태가 분리(detach)되어 있고 일부 분산 순전파·기울기 합성 경로가 미완성이라, 이번 결과는 완전한 학습 정확성보다 실행 용량을 입증하는 것임을 강조한다. ¹

의미: 추론 컨텍스트는 백만 토큰에 근접하는 반면 RL 사후훈련은 종종 25만6천 토큰 수준에 머물러 길이 일반화에 의존한다. LongStraw는 긴 경로를 쌓는 에이전트를 위해 이 간극을 좁히는 한편, 재실행으로 인한 처리량 손익과 대규모 길이에서의 학습 품질 검증이라는 실무 과제를 남긴다. ¹

토큰이 서로 다른 속도로 ‘나타나는’ 확산 기반 언어 모델

토큰 타임 연속 확산(TTCD, Token Time Continuous Diffusion)은 가우시안 잡음을 연속 공간에서 최종 토큰 캔버스로 결정적으로 매핑하고, 토큰마다 다른 ‘시간’을 두어 어떤 토큰은 더 빨리 확정되게 한다. 이 방식은 고속화를 노릴 때 이산 공간에서 병렬 샘플링이 만드는 부정확성을 줄이는 데 초점을 둔다. ²

OpenWebText로 학습한 1억6천만 매개변수 모델을 자체 증류한 결과, 높은 배속에서 무조건 생성 품질은 동급 대비 ‘비슷’하고 조건부 생성에서는 우위를 보였다. 같은 설정으로 학습·자체 증류한 비슷한 크기의 기존 모델들을 상대로 나온 결과이며, 스도쿠 풀이에서도 유사한 이득을 보였다. 고속 디코딩에서 흔한 품질 저하를 줄이는 대안으로 읽힌다. ²

SceneBind: 시각·오디오·언어 전반에서 ‘무엇’과 ‘어디’를 결합

SceneBind는 현실 장면을 시맨틱(무엇)과 3차원 공간(어디)을 함께 담는 옴니모달 표현으로 모델링한다. 장면마다 전역 시맨틱 임베딩과 객체 중심의 의미‑공간 슬롯을 결합하고, SceneBind 매칭은 전역 장면 유사도와 객체 정합을 합쳐 모달을 넘나드는 검색과 객체 결속을 지원한다. ³

연구진은 구조화된 시맨틱·공간 주석을 갖춘 실제 바이노럴 오디오‑비디오 데이터셋을 구축하고, 모달 간 신호 정렬을 위한 학습 프로토콜을 제안했다. 대규모 사전학습 시맨틱 인코더와 호환되며, 공간 모델링을 위해 몇 개의 토큰만 얹어도 된다. 그 결과 장면·공간 검색에서 최신 성능을 보이고, 오디오‑비주얼 위치추정 등 다운스트림 작업에 제로샷으로 강하게 전이한다. ³

왜 중요한가

세 연구는 핵심 병목을 정면으로 다룬다. LongStraw는 연산 효율적인 장컨텍스트 RL 학습을, TTCD는 연속 확산으로 고속 디코딩의 안정성을, SceneBind는 공간 배치를 이해하는 다중모달 인식을 각각 전진시킨다. 이는 제품 관점에서, 긴 이력 전체를 반영한 학습, 속도를 높여도 품질을 지키는 텍스트 생성, 그리고 ‘어디서 벌어지는가’에 근거한 답변을 의미한다. ¹

주목할 점: LongStraw 경로의 재현과 엔드투엔드 학습 정확성 검증, TTCD의 지연‑대‑품질 곡선, 그리고 SceneBind류 표현의 소음 많은 실제 장면에서 검색·위치추정 정확도다. ²