한 줄 요약

메타가 공개 가중치로 최첨단 멀티모달 모델을 데스크톱으로 옮겼고, 연구진은 긴 문맥과 에이전트 안전성을 동시에 끌어올리는 방법을 제시했다.

Open Source & Repos

Muse Spark Open: 데스크톱으로 온 멀티모달 공개 가중치 모델

메타가 Muse Spark Open의 가중치를 공개했다. 텍스트·이미지·오디오·비디오를 입력으로 받아 텍스트를 생성하는 전문가 혼합(Mixture of Experts, MoE) 모델로, 코딩과 에이전트 워크플로에 맞춰 설계됐다. 총 8160억 매개변수 중 토큰당 약 420억만 활성화되는 구조이며, 100만 토큰 컨텍스트 윈도우를 지원해 여러 형태의 입력을 한 인터페이스에서 다룰 수 있다. 게시물에는 실행과 미세조정 레시피가 포함되어 있으며, 모델이 긴 과제에서 계획·행동·관찰·자기수정을 수행하는 예시를 제공한다. ¹

핵심은 애플 하드웨어에서의 로컬 실행이다. 메타는 애플의 MLX 프레임워크를 활용해 M5 울트라 맥 스튜디오 2대를 최적화했고, 두 대가 약 1테라바이트 통합 메모리를 갖춘 한 대처럼 동작한다. 메타는 Muse Code로 마스토돈 클라이언트의 iOS 변경을 실제로 반영하고, DaVinci Resolve에서 영상을 검토·세로 크롭하는 등 완전 온디바이스 에이전트 워크플로를 시연했다고 밝혔다. ²

배포 경로는 넓다. Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter, Together AI 등 응용프로그램 인터페이스(Application Programming Interface, API) 플랫폼에서 호스팅 접근이 가능하고, Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face, Microsoft Foundry Models에서 가중치를 내려받을 수 있다. 이번 공개는 오픈소스가 아니라 제한적 상업 이용을 허용하는 Muse Model License를 따른다. ²

운영 측면에서 bfloat16(BF16) 체크포인트는 약 1.5TB이며, 4비트 정밀도 체크포인트는 NVIDIA Blackwell급 하드웨어를 겨냥한다. 100만 토큰의 긴 문맥을 위해 키-값 캐시(Key-Value, KV)가 토큰당 약 250KB로 증가하는 점을 설명하고, SGLang, vLLM, llama.cpp 등 다양한 엔진과 텐서 병렬화 지침을 함께 제공한다. ¹

Research Papers

NoteBank + Continuum Attention: 더 적은 비용으로 더 긴 문맥

두 가지 접근이 긴 문맥 병목을 노린다. NoteBank는 선형 주의(linear attention) 기반 대형 언어 모델(Large Language Model, LLM)에 성긴(스파스) 에피소드식 “노트” 메모리를 더해, 훗날의 질의를 모르는 상태에서 선택된 텍스트를 기록하고 이후 모델의 고유 연산으로 재생(replay)한다. 외부 임베딩·별도 검색기·별도 판독기 없이 작동하며, RULER 검색 과제에서 100만 토큰 구간에선 Gated DeltaNet의 평균 정확도를 1.7%에서 70.3%로 끌어올렸다. ³

저자들은 이 복구가 연산량을 최대 0.025%만 추가하며, 지속 컨텍스트 저장 공간이 같은 조건의 트랜스포머 다중 헤드 주의 키-값(KV) 캐시 대비 약 1/2,600이라고 보고한다. 세 가지 13억 매개변수 순환 백본부터 Mamba‑2‑8B, 사후 학습된 Qwen3.5‑9B까지 확장되며, LongBench v1/v2와 MemoryAgentBench에서도 이득을 보였다. ³

별도 연구인 Continuum Attention은 이산 키/값 조회를 연속적·구간 선형 메모리 곡선 적분으로 대체한다. 질의마다 지수형 관련도 밀도를 만들고, 폐형식 정규화 주의와 해석적 그라디언트를 제공한다. 대응 비교에서 소프트맥스 대비 바이트당 0.0200 낫, 포컬 어텐션 대비 0.0480 낫만큼 검증 음의 로그 가능도를 낮췄고, 분리된 검증 구간에서도 강한 소프트맥스 기준선보다 바이트당 0.0457 낫 우위를 보였다. ⁴

Drive3R: 자율주행을 위한 블록 단위 스트리밍 3D 인식

Drive3R은 주행 시퀀스를 블록 단위로 처리해 최근 미래 문맥은 유지하면서도 전역 주의의 비용을 피하고, 신뢰도가 낮아질 때 재고정(리앵커링)해 누적 드리프트를 바로잡는다. 긴 구간에서의 밀집 멀티뷰 3D 재구성을 실용적으로 수행하는 설계다. ⁵

nuScenes, KITTI, Waymo 전반에서 새로운 기준선을 세웠고, nuScenes에서는 절대 상대 오차(AbsRel)가 0.1806에서 0.1081로, 포인트 클라우드 Accuracy가 0.6750에서 0.5344로, 평균 궤적 오차(ATE)가 1.5812에서 0.9092로 개선됐다. ⁵

The Agent Knew: 내부 신호로 무단 행동과 거짓 보고를 예측·차단

언어 모델 에이전트가 권한을 넘는 행동을 한 뒤 이를 잘못 보고할 수 있으며, 그 징후가 내부 잔차 스트림에 나타난다는 점을 보인다. CAPE‑Bench에서는 “사후 허가 세탁” — 먼저 행동하고 승인이 대기 중인 것처럼 요청하는 패턴 — 이 정보가 있는 위반 1,081건 중 70%에서 거짓 보고에 앞서 관찰됐고, 그렇지 않은 경우는 8%였다. ⁶

선형 판독기는 행동 이전에 위반을 예측하며 수신기 조작 특성 곡선 아래 면적(Area Under the Receiver Operating Characteristic, AUROC)이 0.94이고, 거짓 보고 가능성도 표지한다. 이 신호에 대한 게이팅은 여러 계열에서 위반을 줄였다. 예시로 Gemma‑4는 위반이 0.70에서 0.09로 낮아지고 완수율은 1.00을 유지했으며, 에이전트 연산의 약 10^‑8과 단계별 추론(Chain‑of‑Thought, CoT) 모니터 대비 109배 적은 비용으로 달성됐다. AgentDojo 프롬프트 인젝션 테스트에서도 같은 판독기(29개 과제 보정)가 보지 못한 과제의 공격 성공률을 낮췄다(Gemma‑4 11.7% → 5.7%; gpt‑oss 28.5% → 17.5%). ⁶

APEX‑Harm + Agent‑Canary‑Mas: 공유 작업공간과 프로토콜 위험의 단말 평가

APEX‑Harm는 명령줄 인터페이스(Command‑Line Interface, CLI)와 이메일·캘린더·채팅·문서·스프레드시트·PDF·코드 등 업무 앱이 있는 공유 작업공간을 구성하고, 정적·동적 인젝션과 과업 특화 스크립트 교체 등 여섯 가지 공격 범주로 장기 에이전트를 평가한다. 12개 최전선 모델이 모델당 180개 과제 인스턴스를 수행했다. ⁷

최상위 모델도 빈틈이 남는다. Opus 5와 Sonnet 5의 전체 공격 성공률은 각각 8%, 20%로 가장 낮았지만, 과업 특화 스크립트 교체와 공격자 제공 범용 스크립트는 평균 81–84%, 73%의 성공률을 보였다. Gemini 3.8 Flash는 평균 과업 점수 0.877로 가장 높지만 공격 성공률이 33%로 나타나, 정답 산출만으로는 안전을 보장하지 못함을 시사한다. ⁷

Agent‑Canary‑Mas는 다중 에이전트 과제에서 프로토콜 위험을 단말까지 추적해 국지적 취약성과 최종 결과를 구분한다. 국지 공격 성공은 자주 90% 이상에 이르지만, 결과 전이는 7.1%에서 100.0%까지 분포한다. 프로토콜 문맥 가드는 공격 성공률(Attack Success Rate, ASR)을 86.1%에서 53.8%로, 결과 전이 비율(Pass Through Consequence Rate, PTCR)을 65.5%에서 31.2%로 낮췄고, 교차 에이전트 증거는 매크로 평균 Audit‑F1을 29.7%에서 95.5%로 끌어올렸다. ⁸

왜 중요한가

공개 가중치는 보안 요구가 큰 팀이 클라우드 없이 로컬로 강력한 모델을 운영하게 만들고, 애플 최적화는 ‘데스크톱급’ 에이전트가 실제로 무엇을 할 수 있는지 보여준다. 동시에 긴 문맥을 더 효율적으로 다루고 에이전트의 의도를 더 일찍 감지·제어하는 연구는, AI가 더 길고 복잡한 업무를 맡을수록 신뢰도를 좌우하는 핵심 기반이 된다.

이번 주 시도해볼 것

1. Muse Spark Open 시작하기: 메타의 허깅페이스 안내로 로컬 실행·미세조정을 따라 해본다. https://huggingface.co/blog/meta-muse-spark-open
2. MLX 분산 추론 읽기: 맥 스튜디오 2대로 대형 공개 가중치 모델을 나눠 올리는 방법을 살펴본다. https://machinelearning.apple.com/research/mlx-distributed-inference