한 줄 요약

모델을 키우는 것보다 데이터 혼합과 메모리 설계가 더 큰 효과를 냄을 보여줬다: 모국어 추론은 올라가고, 반복 데이터에서 전문가 혼합의 한계가 드러났으며, 장기 로봇 조작은 ‘계획으로서의 메모리’가 성능을 끌어올렸다. 여기에 행동 기록이 남는 에이전트 도구도 공개됐다.

Research Papers

Tiny Aya L2‑Thinker: 60개 언어 모국어 추론 93%

이 논문은 사용자가 질문한 언어로 그대로 답하는, 이른바 언어 내 추론을 번역 없이 데이터 혼합으로 달성하는 방법을 보여준다. 연구팀은 33.5억 파라미터 Tiny Aya L2‑Thinker를 만들고, 수학·상식·지시 수행·개방형 생성·문화적 추론 등 6개 벤치마크에서 60개 언어 전반으로 모국어 추론 비율 93%를 넘겼다고 보고한다. ¹

접근법은 데이터 중심이다. 지도 미세 조정(Supervised Fine‑Tuning, SFT)에서 구성과 스케줄을 조정해, 폭넓은 다국어 비추론 텍스트와 강한 영어 추론 백본을 짝지었다. 그 결과 보지 못한 언어에도 일반화되며, 대형 언어 모델(LLM)에서 추論은 언어에 무관한 행동으로 간주할 수 있고, 각 언어별 추론 감독 없이도 이전될 수 있음을 시사한다. ¹

모델 가중치와 다국어 추론 데이터가 공개되며, 모국어 추론을 벤치마크 목표가 아닌 접근성 기능으로 끌어올린다. 실무자는 이 데이터 혼합이 특화 도메인 과제와 저자원 문자체계에서도 유지되는지 살펴볼 필요가 있다. ¹

부정 자기 증류: 잘못된 추론을 피해서 배우기

완벽해 보이는 사고 과정을 베끼는 대신, 모델이 스스로의 결함 있는 추론을 인지하고 피해 가도록 학습시키는 방법이다. 저자들은 온정책 자기 증류(On‑Policy Self‑Distillation, OPSD)가 특권 정보를 조건으로 한 추론 과정을 모방하게 만들어 복잡한 추론 성능을 떨어뜨릴 수 있다고 지적하고, 부정 자기 증류(Negative Self‑Distillation, NSD)를 제안한다. NSD는 질문별 “부주의한 추론자”라는 부정 조건을 모델이 생성하고, 학생 분포를 그쪽에서 멀어지도록 최적화한다. ²

무턱대고 “나쁜 토큰을 잊기”만 하면 언어 능력까지 손상되므로, NSD는 추론에 핵심적인 토큰만 골라 업데이트하는 동적 게이팅을 도입한다. 외부 정답이 필요 없으며, 레이블 없는 자기 부트스트래핑 강화 학습(Reinforcement Learning, RL) 기준선과 OPSD를 꾸준히 앞선다. ²

전문가 혼합(MoE): 반복 데이터에서 더 빨리 과적합

데이터를 반복해 학습해야 할 때, 희소 구조인 전문가 혼합(Mixture of Experts, MoE)은 촘촘한 트랜스포머보다 빨리 성능이 무너질 수 있다. 활성 파라미터 8천만~10억(총 85억) 규모에서, 8천만 파라미터의 촘촘한 모델은 8배 넘게 데이터를 반복해도 성능 저하가 작았던 반면, MoE는 4배부터 손상이 시작되어 32배에서는 촘촘한 모델보다 뒤처질 수 있었다. 이 효과는 희소성이 커질수록 강해졌고, 활성 파라미터보다 총 파라미터 수에 더 좌우됐다. ³

정규화로는 완전한 만회가 어렵지만 완화는 가능하다. 드롭아웃이 과적합을 줄였고, 특히 강한 마스킹 기반 정규화에서는 64배를 넘는 반복에서도 MoE가 촘촘한 모델을 앞설 수 있었다. 다만 어떤 방법도 모든 학습 데이터가 고유할 때의 성능에는 미치지 못했다. 실무적으로는 반복이 불가피하다면 MoE에 더 강한 정규화와 다양한 데이터 구성이 필요하다는 뜻이다. ⁴

내부 메커니즘 분석에서는 라우팅이 학습 초기에 안정화되고, 전문가 특화가 반복 데이터에서의 암기·과적합과 상관된 것으로 나타났다. 게이트 사용과 전문가 부하 균형을 모니터링하는 것이 권장된다. ³

2AM·MaP‑WAM: 메모리를 ‘계획’으로 바꾸는 로봇 조작

두 논문은 “기억”과 “실행”을 분리한다. 에이전트/플래너가 기억을 맡고, 모션 정책은 압축된 계획만 따라가게 하면 장기 조작이 좋아진다는 것이다. 2AM은 멀티모달 에이전트를 유일한 작업 메모리 보유자로 두고, 빨강‑초록‑파랑(RGB) 카메라 기반의 에피소드 무상태 액션 모델을 실행기로 둔다. LIBERO‑Mem에서 평균 완수율 76.3%를 기록해 14.8% 기준선 대비 61.5포인트 올렸고, 완화 기준 63.0%, 엄격 기준 11.8% 성공을 보였다. 깊이 정보, 온라인 기하, 플래너 기반 객체 이동 없이 달성했으며, 비전‑언어‑행동(Vision‑Language‑Action, VLA) 정책이 구조화된 힌트를 따르고 노이즈를 견디도록 학습했다. ⁵

MaP‑WAM은 “메모리를 계획으로” 재구성한다. 에피소드 컨텍스트를 구간 단위 언어 계획과 시각 가이드로 변환하고, 세계‑행동‑진행(World‑Action‑Progress, WAP) 모델이 진행도를 예측하며 계획을 실행한다. 구조적 어텐션으로 실행기 컨텍스트 길이를 고정하고 키‑값(Key‑Value, KV) 캐시를 가능하게 했으며, RMBench 83.3%, 실제 로봇 과제 78.0%를 기록하면서 과거 기록이 늘어도 실행기 지연이 거의 일정했다. ⁶

요지는 같다. 긴 기록을 조작 가능한 구간 의도로 압축하고, 실행기는 가볍게 유지하라. 이러한 인터페이스가 보고된 벤치마크를 넘어 더욱 복잡한 다중 객체 장면에서도 통할지 지켜볼 대목이다. ⁶

Open Source & Repos

OpenBot: 각 AI 동료에게 ‘자기 컴퓨터’를 주는 도구

OpenBot은 각 AI “동료”에게 실제 브라우저와 별도 로그인·파일, 그리고 허용된 도구만 갖춘 격리된 환경을 제공하는 MIT 라이선스의 알파 단계 도구다. 모든 행동은 실행 전에 결정되고 실행 후 기록되어 검토 가능한 이력을 만든다. 원하는 에이전트를 연결해 사용할 수 있다. ⁷

2026-09-11 공개된 v0.0.9는 People 화면에서 마지막 로그인 표시가 사라지던 문제를 수정했다. 사전 승인·사후 기록이 필요한 운영 환경에서 에이전트의 행위를 관리하는 데 적합하다. ⁷

왜 중요한가

오늘의 결과는 “더 큰 모델”에서 “더 나은 설계”로의 전환을 다시 확인시킨다. 데이터 구성이 알맞으면 작은 모델도 모국어 추론을 강하게 끌어올릴 수 있다. 제품이 사용자 언어로 정확히 응답해야 한다면, 다국어 범위와 영어 추론 백본을 결합한 접근이 실용적일 수 있다. ¹

데이터 부족이나 규제 제약을 겪는 팀이라면, 반복 데이터 아래의 전문가 혼합 학습에는 더 강한 정규화·모니터링이 필요하다. 한편 장기 작업의 에이전트·로봇은 메모리를 플래너에 두고 행동 전·후를 기록하는 운영 패턴이 효과적이며, OpenBot 같은 도구가 이를 수월하게 만든다. ⁷

이번 주 시도해볼 것

1. OpenBot 빠른 시작: 격리된 “AI 동료”를 띄우고 행동 로그를 살펴본다. https://github.com/CopilotKit/OpenBot
2. L2‑Thinker 초록 훑어보기: 데이터 혼합과 SFT 설계를 체크한다. https://arxiv.org/abs/2609.10445