한 줄 요약

대형 언어 모델의 토큰 생성을 병렬화해 지연을 줄이는 새 방법이 등장했고, 인과 추정의 사전학습 접근, 분할 훈련의 그라디언트 유출 위험, 로봇 에이전트의 신뢰성 계층이 함께 주목받았다.

Research Papers

Uno: 확산으로 여러 토큰을 동시에 생성

이 논문은 언어 모델이 한 번에 한 토큰씩이 아니라 여러 토큰을 동시에 생성해 응답 지연을 줄이는 방법을 제안한다. 저자들은 확산을 덧댄 대형 언어 모델(LLM)을 소개하는데, 기본 품질은 자가회귀(AR) 모델이 유지하고, 동일 분포에서 이산 확산으로 여러 토큰을 병렬 샘플링한다. 결과 모델을 Uno라 부르며, 손실 없는 가속과 고정 컨텍스트 길이에서의 확장성을 위한 Ψ-Spec 샘플러를 제시한다. ¹

내부적으로 Uno는 가중치를 두 부분으로 나눈다. 표준 다음 토큰 예측(NTP)으로 학습한 자가회귀(AR) 가중치와, 여러 토큰을 동시에 생성하도록 학습한 경량 확산 가중치다. 확산 가중치는 기존 LLM 학습 파이프라인에 미미한 오버헤드를 더한다고 설명하는 간단한 확산 증류 단계로 학습된다. ¹

Uno는 추측 디코딩과 달리 별도의 초안 모델이 필요 없고, 기존 확산 기반 LLM과 달리 기반 AR 모델의 품질을 떨어뜨리지 않고 가속하는 것을 목표로 한다. 실험에서 Uno는 평가한 모든 배치 크기에서 선도 추측 디코딩 기법보다 더 높은 처리량을 보였고, 장치가 지원하는 최대 배치 크기에서도 기본 AR 모델 대비 최대 3배 속도를 기록했다. 또한 코드와 체크포인트 공개를 알렸으며, 8B Uno는 에이전트 도구 사용, 코딩, 장문 맥락 추론 벤치마크에서 26B DiffusionGemma와 상용 Mercury 2를 능가했다고 보고한다. ¹

주목할 점: 병렬 토큰 샘플링이 실환경에서도 재현된다면, 추가 초안 모델 유지 없이도 비서형 도구와 에이전트의 응답이 더 빨라질 수 있다. Uno는 처음부터 학습하거나 공개 가중치의 AR 모델을 증강해 만들 수 있다고 하며, 재현성과 일반 추론 스택에의 통합이 다음 검증 과제다. ¹

Causal Foundation Models: 사전학습으로 인과효과 추정

이 튜토리얼 성격의 논문은 어떤 처치가 결과를 어떻게 바꾸는지 추정하는 인과 추론을 “한 번 크게 사전학습하고, 프롬프트로 과제에 맞춘다”는 패러다임으로 가져온다. 저자들은 인과 기초 모델(Causal Foundation Models, CFM)을 정의하는데, 이는 가중치 업데이트 없이 컨텍스트 내 학습으로 전혀 새로운 데이터셋에서 평균 처치 효과 같은 인과 수량을 추정하는 사전학습 신경망이다. ²

논문은 필요한 인과 추론 배경과 머신러닝 설정을 정리하고, 예제 코드와 주피터 노트북을 포함한다. 실무 관점에서는 연구 과제마다 맞춤 파이프라인을 덜어줄 수 있으나, 어떤 도메인까지 일반화되는지, 편향을 어떻게 통제하는지, 미세 조정 없이 컨텍스트 내 학습만으로 인과 추정이 어디까지 가능한지가 핵심 쟁점이다. ²

분할 LLM 훈련: 0 그라디언트로 진짜 데이터 노출

이 보안 사례 연구는 두 노드 분할 훈련 설정에서 반환 그라디언트가 어떤 데이터 행이 진짜인지 누설할 수 있음을 보여준다. 설계상 신뢰된 로컬 노드(TLN)가 보호된 활성화를 신뢰되지 않은 클라우드 노드(UCN)에 보내면, UCN이 출력을 반환하고 TLN이 비공개 손실을 보유한 채 출력 그라디언트를 돌려준다. 손실이 미끼 행을 무시하기 때문에 그라디언트는 정확히 0이 되고, 이 0의 패턴이 실제 행을 드러낸다. 사전 등록된 측정 프로토콜에서 아홉 개 시드 전부에서 각 프레임마다 4,096개 중 4,096개를 식별했다. ³

프레임 내용에 대한 공격은 상수 추정 기준선 대비 백 토큰당 약 한 토큰을 더 복구했다(+0.65~+1.50%포인트). 라벨 셔플 대조군은 아무것도 복구하지 못했다. 반환 그라디언트의 각 행을 클리핑·노이징하면 홀드아웃 교차 엔트로피 약 0.01 nat의 비용으로 이 특정 누설은 막혔지만, 저자들은 시스템이 여전히 안전하지 않으며(예: 훈련 단계에 걸쳐 누산하는 공격 등) 다섯 부류의 공격은 측정되지 않았다고 지적한다. ³

EmbodiedSkills: 로봇 기술 실행의 사전점검·사후검증 루프

이 프레임워크는 로봇의 시각-언어-행동(VLA) 정책 바깥에 사전 점검과 사후 검증 루프를 더해, 각 기술을 실행 제안으로 보고 선행 조건을 확인한 뒤 제한된 형태로 실행하고 결과를 검증한다. 고정된 실행 가능 기술 인터페이스가 고수준 기술 선택, 저수준 VLA 실행, 행동 후 검증을 연결하며, 구조화된 궤적을 기록해 감독 신호와 상호작용 피드백이 있을 때 선택적 온라인 적응을 지원한다. ⁴

Qwen3-VL과 OpenPI/pi0.5로 구현한 결과, RoboTwin 2.0의 50개 작업에서 평균 86.20%, 네 개 LIBERO 스위트에서 평균 97.40% 성공률을 보고한다. 메모리 의존 RMBench 네 작업에서는 동일한 과제-적응 실행 접근이 평균 12.5% 성공에 그쳤다. 인터페이스가 고정되어 있어 저수준 VLA 정책은 전체 에이전트 루프를 바꾸지 않고 교체·적응할 수 있다. ⁴

Open Source & Repos

LiteLLM: 100개+ 모델을 하나의 게이트웨이로

LiteLLM은 러스트 코어와 파이썬 소프트웨어 개발 키트(SDK)를 갖춘 오픈소스 AI 게이트웨이로, 오픈AI 호환 형식으로 100개가 넘는 대형 언어 모델(LLM) 응용프로그램 인터페이스(API)를 호출하게 해준다. 비용 추적, 가드레일, 부하 분산, 로깅 기능을 제공하며 Amazon Bedrock, Microsoft Azure, OpenAI, Anthropic, Google Vertex AI 등 주요 커넥터를 지원한다. ⁵

2026-09-06 배포된 v1.100.0는 도커 이미지 서명 검증을 강조한다. 모든 LiteLLM 도커 이미지는 코사인(Cosign)으로 서명되며, 커밋 0112e53에서 도입된 키로 모든 릴리스에 동일하게 적용된다. 재현 가능하고 서명된 이미지는 감사를 수월하게 하고 배포 점검을 명료하게 한다. ⁵

왜 중요한가

병렬 토큰 생성은 초안 모델을 추가하지 않고도 자가회귀 텍스트 모델의 핵심 병목인 지연을 겨냥한다. 이 접근이 독립적으로 확인된다면 추론 비용을 낮추고 비서형 도구와 에이전트의 체감 응답성을 높일 가능성을 시사한다. 동시에, 더 큰 모델만 추구하기보다 디코딩 방식을 재구성해 실용 성능을 얻는 흐름을 보여준다. ¹

한편 보안·신뢰성 연구는 강화해야 할 지점을 상기시킨다. 분할 훈련에서 그라디언트 반환 경로는 별도 방어 없이는 행 정체를 누설할 수 있고, 구현된 로봇 에이전트는 끝단 예측만으로는 부족해 검증 가능한 기술 계층이 유효하다. 방법론 측면에서는 인과 추정에 기초 모델 패러다임을 적용하면 과제별 접착 일을 줄일 수 있으나, 컨텍스트 내 일반화의 탄탄함이 관건이다. ³