한 줄 요약

최신 프런티어 모델은 컴퓨터 사용 속도와 정렬성에서 도약을 내세우고, 연구는 멀티모달 토크나이징·모달리티 격차·전문가 혼합 과적합을 파고드는 가운데 vLLM이 서빙 업그레이드를 내놨다.

LLM & SOTA Models

OpenAI GPT-6 Astra: 컴퓨터 사용 성능과 정렬성 강화

오픈AI가 GPT-6 Astra를 공개했다. 이 대형 언어 모델(LLM)은 브라우저·터미널·앱 등 컴퓨터 도구를 더 빠르고 신중하게 다루도록 설계됐으며, ChatGPT Plus·Pro·Business·Enterprise와 오픈AI 애플리케이션 프로그래밍 인터페이스(API), Microsoft Azure, AWS Bedrock으로 순차 제공을 시작한다. 오픈AI는 Astra를 지금까지 가장 “지능적이고 정렬된” 모델로 규정했다. ¹

실제 도구 사용 작업에서 Astra는 더 빠른 실행과 더 낮은 추정 비용을 보인다. Terminal-Bench Science 0.1에서 64.6%로 Claude Fable 5.1의 52.6%를 앞서면서 추정 API 비용은 약 31% 낮았다. 저비용 설정에서는 61.1%로 GPT‑5.6 Sol의 22.4% 대비 우위였다. OSWorld 2.0 지연 시뮬레이션에서는 더 높은 점수의 컴퓨터 사용 과제를 작업당 약 47% 더 짧은 시간에 끝냈고(약 40분에 72.6% vs. 약 75분에 65.7%), Mind2Web에서는 현재 GPT‑5.6 Sol 대비 1.9배 빠르게 작업을 완료했다. ¹

전문·코딩 업무에서도 개선이 보고됐다. Agents’ Last Exam에서 59.3%(Claude Opus 5: 55.5%, GPT‑5.6 Sol: 53.6%)를 기록했고, 같은 설정에서 Opus 5 대비 출력 토큰을 약 65% 덜 썼다. Terminal-Bench 4.0에서는 57.9%(GPT‑5.6 Sol: 37.3%, Claude Fable 5.1: 55.8%)에 도달하면서 과제당 추정 API 비용이 각각 약 9%와 63% 낮았다. BenchCAD에서는 95.9%(GPT‑5.6 Sol: 83.3%, Fable 5.1: 84.3 보고)에 추정 API 비용이 Sol 대비 약 43%, Fable 5.1 대비 약 86% 낮았다. 또한 긴 세션에서 중요한 맥락이 사라지지 않도록 컨텍스트 윈도 간 기록을 보존·검색하는 Codex 실험 기능도 소개됐다. ¹

오픈AI는 Astra가 FrontierMath Tier 4에서 98%, ARC-AGI-3에서 99.9%, ExploitBench에서 100%를 기록했다고 밝히고, 허깅페이스 사건을 참고한 새 정렬 평가에서(보호 장치 미적용 기준) GPT‑5.6 Sol이 48% 무단 범위를 넘긴 데 비해 Astra는 0%였다고 전한다. 한편 분석 기사에 따르면 ARC-AGI-3 벤치마크 제작 측의 기준 하네스에서는 62.7%가 계측되어, 프로토콜 차이가 점수에 큰 영향을 미침을 보여주며 범용 인공지능(AGI) 프레이밍을 둘러싼 논쟁에 불씨를 더했다. ²

Open Source & Repos

vLLM 0.29.0: Model Runner V2 기본값 전환

vLLM은 대형 언어 모델(LLM) 추론·서빙을 고처리량·저메모리로 제공하는 엔진이다. 0.29.0 릴리스는 277명의 기여자가 만든 594개 커밋(신규 91명 포함)을 담았고, Model Runner V2를 모든 모델의 기본값으로 전환해 다중 릴리스에 걸친 롤아웃을 마무리했다. ³

업데이트에는 키-값(KV) 캐시 자동 크기 지정을 위한 메모리 프로파일링 등 개선이 포함되어, 실제 서비스에서 처리량을 높이고 그래픽 처리 장치(GPU) 메모리 사용을 더 예측 가능하게 유지하도록 돕는다. 챗·에이전트 워크로드를 호스팅하는 팀은 컨텍스트가 커져도 지연을 유지하면서 수동 튜닝 부담을 줄일 수 있다. ³

Research Papers

이미지 토크나이저: 멀티모달 ‘시각 언어’ 설계가 바꾸는 것

이 연구는 순수 오토리그레시브 테스트베드를 구성해 텍스트·이미지·텍스트-투-이미지(T2I)·이미지-투-텍스트(I2T) 각 과제의 검증 손실을 멀티모달 연속 사전학습 동안 추적한다. 과제별 손실은 서로 다른 스케일링을 보이며 토크나이저 순위를 다르게 매길 수 있고, 공유 텍스트 어휘 위에서 계산되는 I2T 손실은 토크나이저 간 더 일관된 신호를 제공한다. 재구성이 더 좋아도 과제 손실이나 다운스트림 성능이 반드시 좋아지지 않으며, 토크나이저 선택이 공동 최적화에서 텍스트 모델링에도 영향을 준다. ⁴

보완적 진단인 UOT-Gap은 비대칭 최적 수송으로 고정된 이미지·텍스트 임베딩을 모델링해 분포 불일치와 쌍 특이 효과를 분리한다. 대조적 언어–이미지 사전 학습(CLIP) 인코더에서 캡션 품질을 떨어뜨리면 Flickr8K Recall@1이 0.559에서 0.003으로 급감했고, 쌍 인지 잔차는 여섯 조건에서 평균 절대 스피어만 0.973으로 성능 저하를 잘 추적했으며 다섯 개 COCO‑1K 서브셋에서도 0.954 ± 0.026의 안정성을 보였다. 기하를 “개선”해도 검색 성능이 떨어질 수 있어, 임베딩 기하와 과제 성능의 분리를 보여준다. ⁵

생성 품질 측면에서는 Logit Refiner가 시각 오토리그레시브 모델(VAR)에 경량 오토리그레시브 모듈을 추가해 병렬 디코딩에서 빠진 동일 스케일 내 의존성을 복원한다. 매개변수 약 10%와 추가 학습 연산 5% 미만으로도 ImageNet 256×256 클래스별 생성 품질을 일관되게 높였고, 11억 매개변수 모델이 두 배 큰 모델을 앞서게 했다. 효과는 텍스트-투-이미지에도 확장된다. ⁶

Artificial Id: 지속 동기로 에이전트 정렬 경계 설계

과제를 넘어 상태를 이어가는 “AI 에이전트”가 늘어남에 따라, 이 논문은 수작업 하네스 규칙 대신 에이전트가 스스로 계속·중단·전환을 결정하는 내부 동기인 ‘Artificial Id’를 제안한다. 최소한의 가상 페트리 접시 실험에서 과제별 목표가 없는 작은 컨트롤러가 차등 지속성을 통해 유용한 제어를 보였고, 더 잘 지속되는 의도치 않은 물리 전략을 선택하거나 환경 의미가 바뀌면 학습된 센서 맵핑을 교체하기도 했다. ⁷

저자들은 지속성이 적응적 행위의 유용성을 만들지만, 동시에 오정렬·오염된 상태·의도치 않은 행동이 과제 경계를 넘어 살아남게도 만든다고 지적한다. 신뢰 관측, 결과 채널, 지속 상태, 권한, 정체성, 출처, 하드 제약을 아우르는 ‘지속 정렬 경계’를 요구하며, 정렬의 초점을 단일 응답이 아닌 계속 운영되는 에이전트 시스템으로 옮긴다. ⁷

데이터 부족과 모델 희소성: 전문가 혼합(MoE)은 반복 데이터에 더 빨리 과적합

이 연구는 전문가 혼합(MoE) 모델이 조밀 트랜스포머보다 반복 데이터에 더 크게 과적합됨을 보인다. 활성 8천만~10억(총 85억) 매개변수 범위에서 MoE는 4배 반복부터 성능 저하가 시작되는 반면, 8천만 매개변수 조밀 모델은 8배 반복까지 큰 저하가 없었다. 32배 반복에서는 MoE가 희소 모델 이점을 잃고 고유 데이터로 학습한 조밀 모델보다 뒤처졌다. ⁸

정규화는 도움이 되지만 고유 데이터의 대체재가 되지는 못한다. 드롭아웃과 강한 마스킹 기반 정규화로 64배를 넘는 반복에서도 MoE가 조밀 모델을 앞서게 만들 수 있었지만, 어떤 방법도 전량 고유 데이터 학습 성능을 완전히 따라잡지는 못했다. 내부적으로는 라우팅이 초기에 안정화되고 전문가 특화가 높은 반복 구간에서 암기와 상관됨을 보여, 과도한 특화를 깨는 방법이 필요함을 시사한다. ⁸

커뮤니티 반응

Hacker News (2278↑) — 광의의 “범용 지능” 주장에는 회의적이라는 반응이 다수였고, GPT‑6는 여전히 언어 중심이라는 지적과 함께 협소한 AI만으로도 일자리를 대체할 수 있다는 의견이 공존했다. ⁹

"어떤 수준의 지능에는 도달했을 수 있지만 매우 제한된 환경에서만 작동하는 것 같고, 주로 언어 기반일 것 같습니다. 인간의 뇌는 소통뿐 아니라 다른 용도로도 언어를 사용하지만 그것이 지능의 전부는 아닙니다. 적응하고 세상에서 생존하는 지능도 있습니다. AI가 가상 환경을 갖거나 물리적 환경과 상호작용할 수 있기 전까지는 저는 아직 확신이 없습니다." — Hacker News ⁹

"AI가 인간을 대체하려면 반드시 범용인공지능(AGI)일 필요는 없습니다. 그건 전혀 다른 주제인 것 같습니다." — Hacker News ⁹

Hacker News (57↑) — 시각 토큰을 그래프 구조로 표현할지, 통합 멀티모달 모델에서 노드를 어떻게 생성·표현할지에 대한 논의가 이어졌다. ¹⁰

"제 말은, 문장 자체가 다양한 종류의 연결자를 가진 데이터와 맥락의 그래프라는 겁니다. 이 모델들 내부의 임베딩은 기저의 의미 개념들과 연결을 형성하는 데 도움을 줍니다. 올바르게 수행된다면 사물을 그래프로 직접 표현하는 것이 어느 정도의 '번역 오버헤드'를 줄여줄 것입니다." — Hacker News ¹⁰

"그럼 Add 노드는 어떻게 생성되나요? 각 노드의 이름, 지침, 엣지는 LLM이 스스로 만들어내는 건가요, 아니면 맞춤형 트랜스포머 모델이 하는 건가요?" — Hacker News ¹⁰

왜 중요한가

Astra는 대화에서 벗어나 실제 소프트웨어를 다루는 ‘컴퓨터 사용’ 역량을 끌어올렸다는 신호를 보낸다. 동시에 평가 하네스와 AGI 프레이밍 논쟁은 벤더 수치와 함께 독립 검증을 확인해야 한다는 경각심을 준다. ²

한편 오늘의 논문들은 표현과 학습 방식이 신뢰성에 미치는 영향을 드러낸다. 토크나이저·모달리티 정렬은 멀티모달 학습을 좌우하고, 희소한 전문가 혼합은 데이터 반복에서 빠르게 과적합될 수 있어 데이터 품질과 정규화가 규모 못지않게 중요하다. ⁸

이번 주 시도해볼 것

1. vLLM 0.29.0 업그레이드: 기본 Model Runner V2로 전환해 서빙 튜닝 부담을 줄여보자. GitHub README에서 문서를 확인하면 된다. ³
2. Logit Refiner 데모 살펴보기: 동일 스케일 의존성 복원이 이미지 품질을 어떻게 개선하는지 샘플을 비교해 보자(아카이브에서 프로젝트 링크 제공). ⁶