한 줄 요약

능동 메모리로 긴 작업 에이전트의 기억을 붙잡고, 선형 어텐션·온디바이스 오디오·비디오 추론 연구가 실전 선택지를 구체화했다.

Research Papers

Remember When It Matters: 긴 작업에서 상태 소실을 막는 능동 메모리 에이전트

길게 이어지는 작업에서 별도의 메모리 에이전트가 행동 에이전트와 나란히 동작하며, 중요한 사실·부분 목표·실패 원인 등을 언제 짧게 상기시킬지 스스로 결정한다. Terminal-Bench 2.0과 τ^2-Bench에서 이 방식은 행동 에이전트를 바꾸지 않고도 pass@1을 각각 8.3포인트, 6.8포인트 끌어올렸다. ¹

이 시스템은 메모리를 단순 노출이 아닌 개입으로 다룬다. 최근 수행 기록에서 구조화된 메모리 뱅크를 유지하고, 말할지 침묵할지 선택적으로 판단한다. 소거 실험에서 선택적 개입은 수동 노출, 항상 주입, 조언자(어드바이저)만의 안내, 일반 검색보다 일관되게 우수했다. ¹

작업이 길어질수록 결정에 필요한 상태가 문맥 창 밖으로 밀려나는 한계를 논문은 ‘행동 상태 붕괴(behavioral state decay)’라 부르며, 본 모듈은 기존 에이전트 하네스와 최신 행동 에이전트에 별도 변경 없이 붙여 쓸 수 있도록 설계되었다. ¹

오픈 가중치 메모리 정책을 탐색하기 위해, 연구진은 Qwen3.5-27B를 SETA 데이터셋으로 지도 미세 조정(SFT)과 그룹 상대 정책 최적화(GRPO)로 학습해 검증 보상을 끌어올렸고, Terminal-Bench로의 부분 전이를 확인했다. ¹

Linear Attention Architectures: 선형 어텐션 비교와 교차 계층 라우팅

이 논문은 DeltaNet, Gated DeltaNet, Kimi Delta Attention, Gated DeltaNet-2 등 4가지 순환형 선형 어텐션을 공통의 ‘순환 메모리’ 관점에서 정리하고 학습 속도·품질을 체계적으로 비교한다. 실험은 매개변수 3억5천만 규모 모델의 150억 토큰 학습을 중심으로, 13억·30억 규모 DeltaNet 추가 실험도 포함한다. ²

3억5천만/150억 토큰 범위에서 Muon 옵티마이저와 짝지은 Kimi Delta Attention이 최종 검증 손실을 가장 낮췄고, AdamW로 학습한 순수 Gated DeltaNet 스택이 정규화 학습 처리량이 가장 높았다. 하이브리드 스택은 보통 손실을 줄이는 대신 처리량을 희생했으며, 동일 구조 비교에서 Muon은 AdamW보다 일관되게 최종 손실을 낮췄다. 교차 계층 값 라우팅(CLVR)은 계층 간 ‘쓰기 값’을 전달해 DeltaNet·Gated DeltaNet 모두에서 손실을 소폭 낮췄다. ²

속도 수치는 학습 처리량과 이터레이션 시간만 보고하며, 추론 속도 벤치마크는 제공하지 않는다. 또한 옵티마이저·학습률 비교와 길어진 시퀀스에서의 런타임 변화를 함께 측정한다. ²

aria: 디펜던시 없는 온디바이스 텍스트-투-뮤직 런타임

aria는 파이썬이나 딥러닝 프레임워크 없이도 Stable Audio 3의 텍스트-투-뮤직 전 과정을 일반 그래픽 처리 장치(GPU), 중앙 처리 장치(CPU)만 있는 PC, 라즈베리 파이 5에서 구동하는 작고 의존성 없는 네이티브 런타임이다. ³

핵심은 양자화(정밀도 낮추기) 연구다. 8비트 정밀도는 메모리를 크게 줄이면서도 3가지 독립 지표(프롬프트 부합, 전체 음질, 취향 보존)에서 측정 가능한 품질 저하가 없었고 GPU에서 가장 빨랐다. 4비트는 작은 품질 비용이 생기지만 12억 매개변수 모델을 8GB 파이 5에 올릴 만큼 발자국을 줄였다. 공식 구현과 비교해 aria는 생성 속도를 맞추거나 앞서면서 시작 속도는 약 7배 빠르다. ³

런타임이 내부 텐서를 모두 소유해 ‘활성화 스티어링’을 노출하는데, 이는 생성 결과를 가볍게 유도하는 기능으로 ‘소닉 시즈닝’ 사례를 통해 보여준다. 코드는 공개되어 있어 사물인터넷 기반의 온디바이스 의미론적 오디오 응용에 실용적 기반이 된다. ³

OpenCoF: 영상 생성으로 프레임 간 추론 학습

OpenCoF는 11개 과제 계열에 걸친 1만7천 개 영상의 추론 데이터셋과, 이를 통해 프레임 연결 추론(CoF, Chain-of-Frame)을 강화하도록 미세 조정한 Wan-CoF 모델을 제시한다. 프레임을 따라 추론이 전개된다는 점에서 단계별 추론(CoT, Chain-of-Thought)의 영상 대응 개념이다. 4개 영상 추론 벤치마크 전반에서 Wan-CoF는 Wan2.2-I2V-A14B 기준선을 유의미하게 앞섰다. ⁴

연구진은 저수준 시각 단서와 고수준 의미 프라이어를 각각 담는 ‘시각·텍스트 추론 토큰’을 도입해, 계층 깊이·디노이징 단계·공간·시간 차원에서 어디서 도움이 되는지도 분석했다. 데이터·모델·코드를 공개해 추론 중심 비디오 생성 연구를 지원한다. ⁴

Open Source & Repos

LiteLLM: 100+ LLM을 하나의 게이트웨이로 호출

LiteLLM은 하나의 오픈AI 호환 인터페이스로 100개가 넘는 대형 언어 모델(LLM) 애플리케이션 프로그래밍 인터페이스(API)를 호출하도록 돕는 오픈소스 소프트웨어 개발 키트(SDK) 겸 프록시 ‘AI 게이트웨이’다. Bedrock, Azure, OpenAI, Vertex AI, Cohere, Anthropic, SageMaker, Hugging Face, vLLM, Nvidia NIM 등을 지원하며 비용 추적, 가드레일, 로드밸런싱, 로깅을 내장한다. ⁵

2026-07-11 배포된 v1.91.2 릴리스는 공급망 보안을 강조한다. 모든 Docker 이미지를 cosign으로 서명했고, 릴리스는 커밋 0112e53에서 도입된 동일 키로 서명한다. Render, Railway, AWS CloudShell, Google Cloud Shell로의 원클릭 배포 옵션도 안내한다. ⁵

왜 중요한가

긴 작업에서 에이전트는 진행 기록 속 결정 핵심 정보를 잊기 쉽다. 메모리를 ‘선택적 개입’으로 재구성하면 행동 에이전트를 바꾸지 않고도 정확도를 회복한다(pass@1 +8.3·+6.8포인트). ¹

여기에 선형 어텐션의 실무적 트레이드오프 지도, 12억 모델을 8GB 파이에 올리는 양자화 런타임, 프레임 간 추론 강화를 위한 토큰 설계가 더해지며, 효율적 어텐션 선택·온디바이스 생성·중간 추론 상태의 명시화라는 엔지니어링 패턴이 구체화되고 있다. ²

이번 주 시도해볼 것

1. LiteLLM 빠른 시작: README를 보고 OpenAI 호환 게이트웨이로 호출을 라우팅해 비용 추적과 로그를 확인해본다. https://github.com/BerriAI/litellm
2. 메모리 에이전트 논문 훑어보기: ‘Remember When It Matters’의 초록과 소거 실험 도표를 통해 선택적 개입이 항상 주입보다 왜 유리한지 확인한다. https://arxiv.org/abs/2607.08716