한 줄 요약

인지 기반 이중언어 벤치마크가 시각-언어 모델을 정밀 진단하고, 장시간 비디오·사회적 학습·공간 추론을 겨냥한 새 방법들이 등장했다.

Research Papers

BloomBench: 인지 수준으로 영어·아랍어에서 VLM을 평가

BloomBench는 시각-언어 모델(VLM)을 블룸의 분류학 여섯 단계(기억, 이해, 적용, 분석, 평가, 창출)로 영어와 아랍어 이미지–질문–답변 과제를 통해 평가하는 이중언어 벤치마크다. 단편 과제 대신 인간 인지에 기반한 진단을 지향한다. ¹

반자동 생성 파이프라인과 층화된 하이브리드 품질 보증으로 확장성, 문화적 포용성, 언어 충실도를 확보했으며, 이를 통해 최신 시스템의 인지적 강·약점을 프로파일링한다. ¹

결과는 뚜렷한 “인지 비대칭”을 보인다. 의미 이해는 높은 수준이지만 사실 회상과 창의적 종합은 약하고, 영어 대비 아랍어 성능 격차도 나타나 일반적 멀티모달 지표가 가리는 인지적 맹점을 드러낸다. ¹

MemDreamer: 장시간 비디오에서 지각과 추론을 분리

MemDreamer는 영상을 스트리밍하면서 3계층 계층 그래프 메모리를 구축하고, 에이전트형 도구 증강 검색으로 노드를 찾고 논리적 엣지를 따라가며 추론하는 장시간 비디오 이해 프레임워크다. 모든 프레임을 한꺼번에 집어넣지 않고 필요한 기억을 탐색한다. ²

네 가지 대표 벤치마크에서 전체 입력의 약 2%만을 추론 컨텍스트로 사용하면서도 정확도를 12.5포인트 높였고, 인간 전문가와의 격차를 3.7포인트로 좁혔다. 구조화된 메모리와 에이전트 내비게이션이 토큰 폭증을 억제하면서 성능을 지킬 수 있음을 시사한다. ²

Agentopia: 10년 사회 시뮬레이션으로 사회성 학습

Agentopia는 100명의 에이전트가 10년간 삶을 꾸리고 관계를 맺으며 목표를 추구하는 장기 사회 시뮬레이션으로, 대형 언어 모델(LLM)이 장기 경험으로 인간다운 사회적 행동을 학습할 수 있는지를 탐구한다. ³

행복과 안녕에 맞춘 “라이프 보상”과 거절 샘플링 학습으로 기반 모델이 시뮬레이션 내 안녕을 높였고, 롤플레잉 벤치마크 전이에서도 15.6% 향상을 보였다. 사회적 경험 학습이 가상 환경을 넘어 일반화할 수 있음을 시사한다. ³

IPT: 상상 지각 토큰으로 공간 추론 향상

상상 지각 토큰(IPT)은 다른 시점에서 보일 장면을 모델 바깥으로 표현해 가려진 영역, 경로 추적, 부분 관측 통합 같은 보이지 않는 공간 추론을 돕는 중간 시각 표현이다. ⁴

BAGEL 백본 위에서 IPT 감독을 적용해 약 2만 개의 예시로 구성된 관점 전환, 경로 추적, 다중 시점 카운팅 세 과제에서 성능을 높였고, 다중 시점 카운팅 정확도를 3.4% 끌어올렸다. 텍스트 기반 단계별 추론(CoT)을 종종 능가했으며, 공간 계산을 언어로 강제하면 오히려 성능이 떨어질 수 있음도 확인했다. ⁴

Open Source & Repos

BrowserOS: 오픈소스 에이전트형 브라우저

BrowserOS는 ChatGPT Atlas, Perplexity Comet, Dia와 같은 도구의 오픈소스 대안으로 제시되는 커뮤니티 주도 “에이전트형 브라우저”로, AI 에이전트로 웹 작업 자동화를 지향한다. ⁵

저장소에는 문서, 디스코드와 슬랙 커뮤니티 채널, macOS/윈도우 베타 설치 파일이 제공되어 손쉽게 체험하고 피드백을 주고받을 수 있다. ⁵

왜 중요한가

인간 인지에 근거한 평가는 오늘의 멀티모달 AI가 무엇을 놓치고 있는지 드러낸다. BloomBench는 회상·창의성·언어 간 격차를 지목해 실제 활용에 중요한 개선 방향을 제시한다. ¹

시스템 측면에서는 구조화된 메모리와 에이전트 내비게이션이 장문맥 추론의 실마리를 보여준다. MemDreamer는 2% 컨텍스트로 12.5포인트 이득을 보고했으며, 공간 상상과 장기 사회 학습 연구는 특정 취약점을 메우는 보완 경로를 탐색한다. ²

이번 주 시도해볼 것

1. BrowserOS 체험: GitHub 저장소에서 설치 파일로 에이전트형 브라우징을 시험해 본다. https://github.com/browseros-ai/BrowserOS
2. MemDreamer 살펴보기: arXiv 초록과 도해를 읽고 계층 메모리가 장시간 비디오 컨텍스트를 어떻게 줄이는지 확인한다. https://arxiv.org/abs/2606.07512v1