온디바이스 소형 에이전트, 대형 모델의 기억을 이식받아 3배 빨라졌다

한 줄 요약

작은 로컬 모델에 긴 절차 기억을 이식해 온디바이스 에이전트를 현실화하고, ‘모호한 함수’를 작은 신경 프로그램으로 컴파일하는 방법이 제시되었으며, 오픈 소스 에이전트 도구도 확장되었다.

Research Papers

DuoMem: 듀얼 공간 지식 이식으로 온디바이스 메모리 에이전트 강화

DuoMem은 큰 모델이 알고 있는 절차적 기억을 작은 에이전트에게 옮겨, 제한된 하드웨어에서도 다단계 과제를 풀 수 있게 만드는 학습 레시피다. 대형 교사 모델의 절차적 문제 해결 능력을 소형 학생에게 이전해 ALFWorld 벤치마크에서 40억(4B) 파라미터 학생 모델의 성공률을 4.3%에서 77.9%로 끌어올렸고, 720억(72B) 교사 모델의 87.1%에 근접했다. 이때 추가 학습 가능한 파라미터는 1,000만 개 미만이며, 미리 계산한 교사 메모리는 몇 메가바이트에 불과하다. 또한 DuoMem이 적용된 4B 모델은 벽시계 기준으로 72B 교사보다 3배 이상 빠르게 작업을 끝내 온디바이스 실시간 활용 가능성을 높인다. ¹

핵심은 “듀얼 공간 증류”다. 컨텍스트 공간 증류에서는 학생이 스스로 적던 절차 메모리를 교사가 생성한 더 높은 품질의 메모리로 대체해 입력 앞에 붙인다. 파라미터 공간 증류에서는 성공적인 교사 경로를 바탕으로 저랭크 적응(LoRA) 어댑터를 미세 조정해, 좋은 습관을 모델 가중치에 직접 새긴다. 두 축은 상호 보완적으로 작동해, 더 나은 메모리가 추론을 안내하고, 튜닝된 어댑터가 메모리를 효과적으로 사용하도록 돕는다. ¹

2억(2B)부터 720억(72B)까지 8개 모델을 대상으로 한 소거 실험에서 두 증류 축이 모두 별도의 이득을 제공하는 것으로 나타났다. 적은 저장·연산 추가로 교사와의 격차 대부분을 줄였다는 점은, 긴 컨텍스트와 반복 호출이 부담인 환경에서 메모리 보강 에이전트를 휴대기기·로봇 등 엣지 장치에 도입하는 실용적 경로를 시사한다. ¹

Program-as-Weights: 애매한 규칙의 함수를 ‘가중치’로 컴파일

로그 중요도 알림, 깨진 JSON 복구, 의도 기반 검색 순위처럼 깔끔한 규칙으로 구현하기 어려운 함수들은 종종 대형 언어 모델(LLM) API에 맡겨진다. Program-as-Weights(PAW)는 자연어로 쓴 함수 명세를 작고 로컬에서 실행 가능한 신경 아티팩트로 컴파일한다. 1,000만 개 예시의 FuzzyBench로 학습한 40억(4B) 규모 컴파일러가, 고정된 경량 6억(0.6B) Qwen3 인터프리터를 위한 파라미터 효율적 어댑터를 생성한다. 이때 0.6B 인터프리터가 실행하는 PAW 프로그램은 Qwen3-32B를 직접 프롬프트하는 성능과 맞먹으면서, 추론 메모리는 약 1/50에 불과하고 맥북 M3에서 초당 30 토큰으로 동작한다. ²

PAW는 기반 모델의 역할을 “입력마다 문제 해결”에서 “도구를 한 번 만들어 재사용”으로 바꾼다. 함수 정의마다 한 번 호출해 작은 재사용 아티팩트를 만들고, 이후 호출은 저비용·오프라인·로컬로 처리돼 반복 API 호출 대비 지역성, 재현성, 비용 측면이 개선된다. ²

Open Source & Repos

goose: Linux Foundation 산하로 이전된 오픈 소스 에이전트, 멀티 공급사 강화

goose는 코드와 워크플로 자동화를 위한 오픈 소스 AI 에이전트로, 데스크톱 앱·명령줄 인터페이스(CLI)·응용 프로그램 인터페이스(API)를 제공하며 어떤 대형 언어 모델(LLM)과도 연동하도록 설계되었다. 이 프로젝트는 block/goose에서 리눅스 재단의 Agentic AI Foundation(AAIF)으로 이전됐고, Apache-2.0 라이선스로 공개된다. ³

2026-07-03에 배포된 1.41.0 릴리스는 iFlytek Spark와 Astron 서비스형 모델(MaaS) 제공자, 선언적 Fireworks AI 제공자, OpenRouter 요청 파라미터 지원, 포크 전에 대화를 수정하는 --edit 세션 플래그를 추가했다. 또한 프랑스어, 독일어, 이탈리아어, 포르투갈어, 인도네시아어, 말레이어, 베트남어 등 인터페이스 언어가 늘어 개발팀의 공급사 선택지와 반복 작업 흐름이 한층 유연해졌다. ³

커뮤니티 반응

Hacker News (52↑) — 접근법에 대한 흥미와 함께, 학습된 작업 집합을 넘어 일반화가 가능한지 우려가 공존한다. ⁴

"이건 멋져 보이지만, 학습된 컴파일러가 새로운 작업군에 얼마나 잘 일반화되는지가 궁금합니다. 그들은 29가지 특정 유형의 작업과 800개의 하위 작업, 그리고 각 작업의 여러 재서술(스펙)을 학습시켰습니다. 일부 스펙을 검증용으로 떼어놓긴 했지만 전체 작업군을 완전히 떼어놓았는지, 아예 하위 작업조차 떼어놓았는지 같지는 않아 보입니다. 만약 컴파일러가 보지 않은 작업에 잘 일반화하지 못한다면, 본질적으로 29개/800개의 미리 정의된 LoRA 중 하나로 라우팅하는 화려한 장치일 뿐입니다." — Hacker News ⁴

왜 중요한가

DuoMem은 긴 절차를 기억하는 에이전트가 반드시 큰 모델·긴 컨텍스트·느린 루프를 필요로 하지는 않음을 보인다. 교사 생성 메모리와 소형 LoRA 어댑터를 결합해 파라미터 증가와 저장 공간을 최소화하면서도 성공률을 크게 끌어올리고, 벽시계 기준 3배 이상 빠른 성능을 확보해 지연과 전력 제약이 있는 온디바이스 환경을 현실적으로 뒷받침한다. ¹

PAW는 “한 번 컴파일해 여러 번 로컬 실행”이라는 상보적 패턴을 제시한다. 작은 재사용 어댑터로 바꾼 ‘모호한 함수’를 6억 인터프리터가 32B 모델 수준으로 처리하면서 메모리는 약 1/50, 속도는 노트북 수준으로 확보되어 반복 API 호출 의존을 낮춘다. goose 같은 오픈 소스 에이전트가 다중 공급사 연동을 넓히며 로컬 중심 자동화 도구 체계가 성숙해지고 있다. ²³

이번 주 시도해볼 것

1. goose 설치·실행: GitHub 저장소에서 데스크톱 앱 또는 CLI를 받아 선호하는 LLM 제공자(OpenRouter, Fireworks 등)를 연결해 간단한 코드·운영 작업을 자동화해본다: https://github.com/aaif-goose/goose