로봇이 추가 시연 없이 새 기술을 익힌다 — InSight, 동작을 조각 단위로 조정
시연을 작은 ‘원시 동작’으로 쪼개고 성공 시도를 학습 세트에 계속 추가해 InSight는 긴 작업을 조합한다. AGORA의 아카이브 기반 테스트와 Composio의 1,000+ 도구 개발 키트까지 더해, 행동하고 추론하는 에이전트의 실전성이 한층 강화된다.
한 줄 요약
에이전트가 대화에서 행동으로 확장된다: 원시 동작을 조합해 로봇이 스스로 기술을 익히고, 새 벤치마크가 문서 기반 추론을 시험하며, 오픈 툴링이 실제 앱 연결을 돕는다.
Research Papers
InSight: 원시 동작 조절로 자율 조작 기술 학습
InSight는 “그릇으로 이동”, “위로 들어 올리기”, “병 따르기” 같은 낮은 수준의 ‘원시 동작’을 조절해 로봇 학습 시스템이 새로운 조작 기술을 익히도록 하는 프레임워크다. 일반적 시각-언어-행동(Vision-Language-Action, VLA) 모델은 시연에서 본 범위를 넘기 어렵지만, InSight는 부족한 동작을 스스로 연습하고 성공 시도를 학습 세트에 편입해 추가 인간 시연 없이도 새로운 과제를 수행한다. 1
이 방식은 두 단계로 작동한다. 첫째, 자동 분할 파이프라인이 시연을 라벨링된 원시 동작으로 쪼개는데, 시각-언어 모델(Vision-Language Model, VLM)의 계획 분해와 엔드이펙터 자세 정보를 활용해 동작을 태깅한다. 둘째, VLM이 안내하는 ‘데이터 플라이휠’이 누락된 원시 동작을 찾아내고, 저수준 제어를 제안해 자율 시도를 수행한 뒤, 성공 시도를 자동 라벨링·저장해 이후 VLA 학습에 통합한다. 1
저자들은 블록 뒤집기, 서랍 닫기, 쓸기, 비틀기, 따르기 등 시뮬레이션과 실제 로봇 작업에서 InSight를 평가했으며, 해당 목표 기술에 대한 인간 시연 없이 진행했다. 한 번 학습된 원시 동작은 추가 시연 없이도 조합되어 새로운 장기 작업을 수행할 수 있다. 2
원시 동작 수준에서 VLA 정책을 조절 가능하게 만들면, 재사용 가능한 동작 조각을 늘려가며 지속적으로 기술을 축적하는 실용적 경로가 열린다. 앞으로 볼 지표는 다양한 환경에서 VLM 안내의 견고성과, 자율 연습 실패를 안전하게 처리하는지 여부다. 1
AGORA: 업무 문서 아카이브 기반 에이전트 벤치마크
AGORA는 잡다한 업무 문서 아카이브에서 흩어진 단서를 찾아 답을 계산하도록 에이전트를 시험하는 벤치마크다. 362개 질문을 8개 도메인 모음과 짝지었고, 9,664개 실제 문서와 3억7,200만 토큰 규모로 어떤 모델의 컨텍스트 윈도우도 넘어서기 때문에, 에이전트는 전부 읽기보다 의도적으로 탐색하고 계획해야 한다. 3
교차 문서 과제 합성, 정보 누출 방지 난독화, 난이도 필터링을 결합한 에이전트식 파이프라인으로 구축했으며, 8개 모델 평가 결과 가장 강한 모델도 정확도 59.4%에 그치고 도메인별 편차가 크다. 검색 증강 생성(Retrieval-Augmented Generation, RAG) 비서나 업무 에이전트를 만드는 팀에는 현실적인 기준선을 제시하며, 계획 수립·도구 사용·주장별 검증의 필요성을 강조한다. 3
Open Source & Repos
Composio: 1,000+ 도구 연결 에이전트 SDK
Composio는 AI 에이전트가 의도를 실행으로 바꾸도록 돕는 소프트웨어 개발 키트(Software Development Kit, SDK) 겸 툴킷으로, 1,000+ 도구 연결, 도구 검색, 컨텍스트 관리, 인증, 샌드박스형 작업 공간을 제공한다. 캘린더·CRM·사내 앱에 에이전트를 연결하려는 팀에 맞춰 설계됐다. 4
명령줄 인터페이스(Command-Line Interface, CLI)의 최근 프리릴리스(@composio/cli 0.2.32-beta.273, 2026-06-24)는 Node 24와 pnpm 11 툴체인을 채택했다. 에이전트 역량이 커질수록 안정적인 도구 인터페이스와 샌드박싱이 중요해지며, Composio는 그 통합을 위한 접착층을 지향한다. 4
왜 중요한가
InSight는 추가 인간 지도 없이 원시 동작에서 로봇의 기술 집합을 확장하는 방법을 보여주고, AGORA는 문서 기반 추론의 현재 격차(최고 정확도 59.4%)를 수치로 드러내며, Composio는 에이전트를 실제 도구와 연결하는 배관을 제공한다. 세 가지가 맞물려 에이전트를 대화에서 신뢰할 수 있는 실행으로 끌어올린다. 3
이번 주 시도해볼 것
- InSight 데모·논문 살펴보기: arXiv 페이지에서 원시 동작 조합 영상을 확인한다 — https://arxiv.org/abs/2606.24884
- AGORA 벤치마크 읽기: 과제 설계와 질문 예시를 훑어보며 문서 기반 에이전트의 관건을 체감한다 — https://arxiv.org/abs/2606.24526
- Composio 빠른 시작: GitHub README를 보고 테스트 프로젝트에서 CLI 프리릴리스를 구동해본다 — https://github.com/ComposioHQ/composio
댓글 (0)