6조 토큰 벤치마크가 비전-언어 학습에 유리한 데이터 혼합을 제시

한 줄 요약

데이터와 보안이 핵심: 6조 토큰 비전-언어 벤치마크는 지시형 데이터 혼합의 우위를 확인했고, 다층 에이전트 보안 프레임워크와 로컬 연구 도구의 송신 제어가 안전한 AI 운영을 돕는다.

Research Papers

DataComp-VLM: 비전-언어 학습용 6조 토큰 벤치마크

비전-언어 모델(Vision-Language Model, VLM)은 이미지와 텍스트를 함께 이해하는 AI다. DataComp-VLM은 이런 모델을 더 잘 학습시키기 위해, 학습 데이터를 어떻게 고르고 섞을지 표준화해 비교할 수 있는 벤치마크를 제시한다. 이미지-캡션, 멀티모달 인터리브 문서, 텍스트 전용, 지시 튜닝의 4가지 유형에서 160개 데이터셋을 모아 6조 멀티모달 토큰 코퍼스를 만들었고, 10억~80억 매개변수 모델과 62억5천만~2000억 토큰 예산에서 통제된 실험을 지원한다. ¹

최대 9개 분야의 52개 벤치마크 평가 결과, 캡션 중심 데이터의 강한 필터링보다 ‘혼합’ 전략이 더 중요하며, 지시형(instruction-heavy) 혼합이 규모가 커질수록 캡션형보다 더 잘 스케일링한다. 사진 캡션만 주는 것보다 레시피와 단계별 피드백까지 함께 주며 배우는 편이 더 효과적이라는 비유에 가깝다. ¹

DCVLM-Baseline 혼합으로 2000억 토큰을 학습한 80억 매개변수 VLM은 33개 핵심 과제에서 63.6%를 기록했고, 공개 최상위 데이터셋인 FineVision 대비 5.4%포인트 높다. 논문은 모든 산출물을 datacomp.ai/dcvlm에 공개한다고 밝혔다. ¹

AI-Infra-Guard: 에이전트 보안을 4개 층으로 통합 레드팀

AI-Infra-Guard는 AI 에이전트의 공격 표면을 인프라, 프로토콜·도구, 에이전트 행위, 모델의 4개 층으로 나눠 점검하는 오픈 소스 레드팀 프레임워크다. 75개+ AI 구성요소와 1,400개+ 취약점 규칙에 대한 결정적 규칙 매칭에 더해, 대형 언어 모델(Large Language Model, LLM) 기반의 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 서버·스킬 패키지 감사와 다중 회차 블랙박스 에이전트 레드팀을 결합한다. ²

여기에 16개 데이터셋에서 26개+ 공격 오퍼레이터를 제공하는 탈옥(jailbreak) 하니스와, 에이전트를 확장하는 스킬의 공급망 감사 기능을 포함한다. 저자들은 이러한 범위를 모두 아우르는 유일한 오픈 소스 체계라고 밝히며, 에이전트 보안의 실무 기반으로 공개했다. ²

Open Source & Repos

Local Deep Research: 송신 제어 추가, SimpleQA 약 95%

Local Deep Research는 내 PC에서 실행되는 개인 정보 지향 연구 도구로, 로컬과 클라우드 대형 언어 모델(Large Language Model, LLM)을 모두 지원하며 SimpleQA 질의응답 벤치마크에서 약 95%(예: Qwen3.6-27B, RTX 3090)를 보고한다. arXiv, PubMed, 개인 문서 등 10개+ 검색원을 통합하며, 로컬 실행과 암호화를 강조한다. ³

2026-07-02 공개된 v1.8.1에서는 연구 수행이 로컬에만 머물지 클라우드에 나갈지를 제어하는 송신(egress) 정책 시스템을 추가했고, 전반적 보안 강화와 채팅·리서치 UX 개선, 신규 액션을 포함했다. ³

왜 중요한가

오늘 메시지는 ‘모델보다 데이터’다. DCVLM은 통제된 비교를 통해 캡션 위주 데이터의 필터링 강화보다 지시형 데이터 혼합이 학습 품질을 더 끌어올릴 수 있음을 보여주며, 80억 매개변수 모델 63.6%와 5.4%포인트 격차라는 수치로 이를 정량화한다. ¹

동시에 에이전트는 웹 스택처럼 층위가 있는 보안을 요구한다. AI-Infra-Guard는 인프라에서 모델 행위까지 층별 점검을 실행 가능한 도구로 정리해, 사후 대응이 아닌 사전 점검의 기준선을 제시한다. ²

이번 주 시도해볼 것

1. Local Deep Research 설치: README를 따라 로컬 전용 실행과 송신 제어를 시험해보자 — https://github.com/LearningCircuit/local-deep-research
2. DataComp-VLM arXiv 훑어보기: 핵심 평가군과 데이터 혼합 레시피를 확인 — https://arxiv.org/abs/2606.28551