한 줄 요약

의도와 실행을 잇는 얇은 층을 강화: 단일 전신 컨트롤러, 속도 제어 가능한 로봇 정책, 객체·재질 통합 선택.

Research Papers

HANDOFF: 사람형 로봇 전신 제어를 하나로 묶는 컨트롤러

HANDOFF는 사람형 로봇에서 간결하고 명시적인 명령 인터페이스만으로 전신 동작을 조정하는 단일 컨트롤러다. 그래서 계획기가 조밀한 기하·공간 참조 없이도 작업 의미를 바로 명령으로 전달할 수 있다. ¹

이 시스템은 세 가지 전문 교사—안전 필터링된 데이터로 학습한 전신 모션 추적, 보행, 넘어짐 복구—를 맥락 조건 게이팅으로 결합해 하나의 학생으로 증류한다. 이때 전문가 혼합(Mixture of Experts, MoE) 학생과 쿨백-라이블러(KL) 발산 기반 지식 증류를 사용한다. ¹

Unitree G1 플랫폼에서 HANDOFF는 속도 추적에서 최신 수준에 맞먹고, 강인한 조작 작업 공간도 가장 큰 축에 속한다고 보고된다. 또한 실제 하드웨어에서의 적용 가능성도 입증한다. ¹

아울러 비전-언어 모델(VLM) 기반의 에이전트형 계획기를 통해 과제별 데이터나 컨트롤러 미세조정 없이 자연어로 여러 작업을 실행한다. 이는 계획과 전신 제어 사이 ‘명령 공간’을 깔끔히 정의해 다양한 기술에 일반화될 수 있음을 시사한다. ¹

TempoVLA: 속도를 제어하는 비전-언어-행동 정책

TempoVLA는 하나의 비전-언어-행동(VLA) 정책으로 저위험 이동 단계에서는 빠르게, 고위험 접촉 단계에서는 느리고 정밀하게 움직이도록 요청 속도에 맞춰 가감속을 가능하게 한다. 기존처럼 시연 데이터에서 물려받은 단일 속도에 묶이지 않는다. ²

핵심은 가변 속도 궤적 증강(Variable-Speed Trajectory Augmentation, VSTA)이다. 동작을 합치거나 나눠 목표 속도로 재타이밍하면서 동작 의미를 보존하고, 정책에는 요청 속도를 조건으로 입력한다. 보고된 통계에 따르면 VSTA는 거의 오류 없이 목표 속도를 달성하며, 더 나은 데이터 활용 덕에 기본 1× 성능도 향상된다. ²

시뮬레이션과 실제 작업 모두에서 양방향 속도 제어가 가능했다. 대형 멀티모달 모델과 협력하면 저위험 구간은 가속하고 고위험 구간은 감속하는 동적 속도 제어를 달성한다. 이는 키-값(KV) 캐시 재사용이나 강화학습(RL)처럼 단일 고정 속도로만 이동시키던 기존 접근을 보완한다. ²

MAOAM: 객체·재질을 함께 고르는 통합 선택

MAOAM은 텍스트 프롬프트나 클릭만으로 픽셀 수준의 마스크를 생성하는 선택 프레임워크다. 물체뿐 아니라 재질(예: 장면의 모든 유리나 목재)도 선택해 실용적인 재질 교체와 일관된 편집을 지원한다. ³

비전-언어 모델(VLM)에 세그멘테이션 헤드를 붙여, VLM이 개체·속성·공간 관계를 해석해 의도를 표현하면 헤드가 출력 토큰을 마스크로 복원한다. 텍스트 주석이 있는 재질 선택 데이터가 부족하다는 문제는, 실제·합성 이미지를 재질 마스크와 함께 모으고 VLM으로 풍부한 재질 설명을 생성하는 확장 가능한 파이프라인으로 해결했다. 클릭·텍스트 다중 과제 학습과 보조 시각 질의응답(Visual Question Answering, VQA) 과제를 더해, 다양한 객체·재질·상호작용에서 정확하고 일관된 선택을 보였고, 추론 시 텍스트와 클릭을 결합하면 학습 때보다 성능이 더 좋아지는 현상도 관찰됐다. ³

왜 중요한가

세 논문은 모두 ‘의도→실행’ 사이의 얇고 제어 가능한 층을 강화한다. 간결한 명령 인터페이스로 계획기가 로봇에 말을 걸 수 있고(HANDOFF), 명시적 속도 제어로 실행의 안전성과 효율을 높이며(TempoVLA), 시각 도구는 사용자의 의미를 더 충실히 반영한다(MAOAM). ¹

로봇이 아니어도 교훈은 같다. 고수준 추론과 저수준 작동 사이에 얇고 조절 가능한 계층을 두고, 올바른 데이터 증강이나 전문가 증류로 학습하면, 손설정 부담을 줄이고 도입 안전성을 높일 수 있다. ²