중국 Kimi K3, 2.8조 공개 가중치 모델 공개 — 비용 계산이 달라진다

한 줄 요약

프런티어 급 공개 가중치 AI(Kimi K3)가 등장했고, 로봇은 더 긴 기억을, 검색 에이전트는 명시적 상태 관리를 갖추며 실사용 워크플로 확장을 뒷받침한다.

LLM & SOTA Models

Kimi K3: 2.8조 공개 가중치 모델과 100만 토큰 컨텍스트

문샷 AI는 텍스트와 비전을 함께 다루는 대형 언어 모델(LLM) Kimi K3를 공개했다. 지금은 응용프로그램 인터페이스(API)로 접근할 수 있고, 7월 27일 전체 가중치를 공개하기로 했다. 총 2.8조 파라미터로 공개 가중치 모델 중 최초의 ‘3조급’에 해당하며, 100만 토큰 컨텍스트 윈도를 지원한다. 문샷은 최상위 독점 모델에 비해 전체적 성능은 여전히 뒤처진다고 명시했다. ¹

내부적으로 K3는 전문가 혼합(MoE) 구조를 사용해 896명의 ‘전문가’ 중 토큰마다 16개를 활성화한다. 또한 Kimi Delta Attention과 Attention Residuals를 도입해 긴 시퀀스에서 정보 흐름을 개선했다. 양자화 인지 학습(QAT)으로 학습되어 가중치는 마이크로스케일 FP4(MXFP4), 활성화는 FP8을 사용한다. 그 결과 전체 2.8조 모델 가중치는 약 1.4TB면 충분하며(FP16 대비 약 5.6TB), 엔비디아 블랙웰과 AMD MI400 같은 최신 그래픽 처리 장치(GPU)에서의 배포를 겨냥한다. ¹

벤치마크(제작사 발표)에 따르면 K3는 코딩에서 DeepSWE 67.5, Terminal‑Bench 2.1 88.3, SWE Marathon 42.0(비교 모델 중 최고)을 기록했고, 에이전트 과제에서는 BrowseComp 91.2와 Automation Bench 30.8을 보였다. 비전 과제는 MMMU‑Pro 81.6, MathVision 94.3이다. 가격은 캐시 적중 입력 100만 토큰당 $0.30, 캐시 미스 입력 $3.00, 출력 $15.00이며, 코딩 워크로드에서 90%+ 캐시 적중률을 보고했다. 문샷은 동시에 K3가 Claude Fable 5와 GPT‑5.6 Sol 대비 전체적 성능에서 여전히 뒤처진다고 밝혔다. ²

로이터는 K3를 2.8조 파라미터로 세계 최대 공개 가중치 AI 시스템으로 소개하고, 독립 평가에서 프런티어에 근접한 결과를 보였다고 전했다. 예컨대 Arena.ai는 웹 인터페이스 제작 벤치마크 1위를, Vals AI는 종합 2위(1위 Fable 5, 3위 GPT‑5.6)로 평가했다. 다음 관전 포인트는 가중치 공개 이후 커뮤니티가 동일한 성능을 재현하는지 여부다. ³

Open Source & Repos

agmsg: 명령줄 코딩 에이전트 간 메시징 연결

agmsg는 서로 다른 공급사의 명령줄 인터페이스(CLI) 코딩 에이전트가 한 대의 머신에서 메시지를 주고받게 하는 경량 도구다. Bash 스크립트와 로컬 SQLite를 사용하며 데몬이나 별도 프레임워크가 없다. llms.txt 레지스트리로 에이전트가 서로를 쉽게 찾을 수 있다. ⁴

Claude Code, Codex, Gemini, Copilot 등을 터미널 환경에서 가볍게 협업시키고 싶은 개발자에게 맞다. 2026‑07‑18자 프리릴리스(diag‑383‑01)는 Windows에서 Codex CLI 출력 시 커서 점멸 문제를 재현·진단하기 위한 빌드로, 실제 터미널 이슈에 대한 빠른 개선을 보여준다. ⁴

Research Papers

시각 추론의 국소성: 길어진 과제에 더 잘 일반화

이 논문은 이미지를 한 번에 전부 보는 대신 작은 ‘주시(glimpse)’를 연속적으로 훑어보는 방식이 복잡하고 긴 시각 추론 과제에 도움이 되는지 묻는다(On Locality and Length Generalization in Visual Reasoning). 전역(원샷) 입력은 지름길 학습을 부추겨 과제 길이가 늘어나면 일반화가 무너지는 현상이 관찰된다. ⁵

반면 엄격히 국소적인 순환 인지 정책은 이러한 실패를 완화해 시각 상태 추적 과제에서 길이 일반화를 회복한다. 결과적으로 시각에서의 ‘국소 주의’는 견고한 합성 일반화를 위한 필수 요소일 수 있음을 시사하며, 언어 모델에서 보고된 길이 일반화 결과와 맥을 같이한다. ⁵

RoboTTT: 테스트 시 학습으로 로봇 컨텍스트 8K 확장

RoboTTT는 추론 중 파라미터 일부를 갱신하는 ‘테스트 시 학습(TTT)’을 적용해 지각‑제어 이력을 최대 8,000 스텝까지 조건으로 삼으면서도 지연을 늘리지 않는 로봇 정책이다. 이는 많은 기존 정책 대비 컨텍스트 길이를 약 세 자릿수 배 확장한다. ⁶

실로봇 조작에서 RoboTTT는 단일 스텝 기준선 대비 전체 성능을 87% 끌어올리고, 5분짜리 10단계 조립 작업을 완수한 최초의 정책이 되었다. 또한 8K 컨텍스트 사전학습이 1K 대비 62% 우수해, 로봇 기반 모델의 새 확장 축으로 ‘컨텍스트 길이’를 지목한다. ⁶

SearchOS‑V1: 웹 검색 에이전트 협업을 운영체제화

SearchOS‑V1은 도구를 쓰는 대형 언어 모델(LLM)의 자유로운 웹 탐색을, 무엇이 밝혀졌고 무엇이 미해결이며 무엇을 시도했는지를 명시적으로 공유하는 협업 체계로 바꾼다. 개방형 정보 탐색을 근거 인용이 달린 관계형 스키마 채우기 문제로 공식화한다. ⁷

검색 지향 컨텍스트 관리(SOCM)는 프런티어 작업 목록, 증거 그래프, 커버리지 맵, 실패 메모리를 유지하고, 파이프라인 병렬 스케줄링으로 서브 에이전트 실행을 겹치며 루프를 피한다. WideSearch와 GISA 벤치마크에서 모든 단일·다중 에이전트 기준선을 앞섰다. ⁷

왜 중요한가

K3는 양자화로 멀티 노드 클러스터에 적합한 공개 가중치 형식으로 프런티어급 능력을 제공해, 고성능 AI를 자체 호스팅·맞춤화·통제하려는 팀의 비용 구조와 선택지를 바꾼다. ¹

동시에 연구는 더 길고 명시적인 메모리와 협업 쪽으로 이동 중이다. 실행 중 학습하는 로봇, 증거와 실패를 기록하는 검색 에이전트는 단발 프롬프트가 아니라 긴 워크플로를 더 안정적으로 수행하는 AI로의 전환을 가리킨다. ⁶

이번 주 시도해볼 것

1. Kimi K3 개요 읽기: MXFP4와 100만 토큰 컨텍스트의 의미를 살펴본다. https://huggingface.co/blog/ResterChed/kimi-k3-model-overview-mxfp4-quantization-open-wei
2. agmsg 설치: 로컬에서 CLI 코딩 에이전트 간 메시징을 구성한다. https://github.com/fujibee/agmsg