한 줄 요약

샘플을 많이 뽑는 것보다 어떻게 묶어서 실행하느냐가 속도·에너지·정확도를 좌우한다는 시스템 관점 연구들이 나왔고, 에이전트 학습을 다듬는 강화 학습 기법과 맥에서 바로 쓰는 LLM 서버가 공개됐다.

Research Papers

테스트타임 스케일링: 후보 배치가 속도·에너지를 좌우

AI에게 여러 답안을 만들어 고르거나 결합하게 할 때, 한 번에 모두 생성하는 것과 한 개씩 순차로 생성하는 것은 전혀 다르다. 대형 언어 모델(LLM) 연구는 샘플 수를 1에서 8로 늘리면 500개 GSM8K 문제에서 Phi-3-mini는 정확도가 8.4포인트, Qwen2.5-1.5B는 18.4포인트 오르지만, 샘플 수를 8로 고정해도 배치 방식에 따라 비용이 크게 달라진다고 보고한다. A100 그래픽 처리 장치(GPU)에서 일괄 1회(8개 후보) 대비 순차 8회는 총 GPU 디바이스 에너지가 4.64–4.86배, 95퍼센타일(P95) 지연시간이 5.77–6.12배 높았다. ¹

연구는 1×8, 2×4, 4×2, 8×1 네 가지 스케줄을 비교하며, 샘플 수를 같게 유지한 채 지연시간, 처리량, GPU‑시간, 총 GPU 에너지를 측정했다. 동일 모델에 대해 서로 독립된 A100 노드 3대 환경에서도 같은 패턴이 재현되었고, 짧은 출력의 SciQ 과제를 V100 GPU에서 측정해도 일관됐다. 결론은 명확하다. 정확도와 샘플 수만이 아니라, 생성 스케줄과 GPU 수준의 시스템 메트릭을 함께 보고해야 한다. ¹

또 다른 논문은 원격 모델 호출과 로컬 도구 실행을 섞는 LLM 기반 AI 에이전트의 자원 동학을 분석한다. 검색 증강 생성(RAG) 질의응답, 웹 검색, 코딩과 같은 작업에서 동시 처리는 중앙 처리 장치(CPU), 디스크 I/O, 메모리의 병목을 드러내며, 모델 응답이 빨라지거나 CPU 코어를 늘려도 에이전트가 항상 빨라지지는 않는다. CPU 인지형 도구 수락과 작업 인지형 CPU 할당이라는 두 스케줄러로 CPU 민감 작업의 지연시간을 약 5.4배 줄이고, 여러 작업 평균 지연시간을 약 32% 낮췄다. ²

요컨대 “샘플 수 N”만으로는 예산을 설명할 수 없다. 배치 정책과 자원 스케줄링이 비용과 반응성을 실질적으로 바꾼다. 평가는 정확도 옆에 P95 지연시간, GPU 에너지, 스케줄을 함께 기록해야 한다. ²

관찰 감독과 이중 축 최적화: 에이전트 행동이 달라진다

에이전트를 행동 토큰만으로 학습하면 “무엇을 할지”는 배우지만 “무슨 일이 일어날지”는 약해질 수 있다. ActObs는 경로에 이미 들어 있는 관찰 토큰에도 감독을 추가해, 데이터나 전방 연산을 늘리지 않고 결과를 예측하도록 정책을 훈련한다. 지도 학습 기반 미세튜닝(SFT)에서는 비슷했지만, 그룹 상대 정책 최적화(GRPO)로 강화 학습(RL)을 진행하면 Qwen3‑4B에서 모든 샘플링 예산에서 pass@k가 더 높고, Qwen3‑8B에서는 pass@1 일부를 양보하는 대신 pass@k가 커졌다(pass@16에서 +3.4포인트). 미학습 영역인 aider‑polyglot 코드 편집에서도 4B 기준 pass@1이 +4.2포인트 상승했고, RL 동안 엔트로피를 더 유지하면서도 정책 이동이 적었다. ³

다른 연구는 LLM 에이전트의 RL을 두 축으로 정식화했다. 경로 내 피드백을 어떻게 귀속할지와, 경로들 간 목표를 어떻게 합칠지를 분리해, 베이즈 피드백 귀속과 경로 질량 정규화를 결합한 BATON을 제안한다. ALFWorld, WebShop, SearchQA에서 GRPO 기반 학습과 결합해 두 축이 각각 이득을 주고 함께 쓸 때 가장 강한 성능을 보였다. ⁴

도구 사용에서는 MATCH가 커리큘럼과 보상을 폐쇄 루프로 묶는다. 모델 인지형 커리큘럼은 정책의 현재 능력 경계 근처 난이도를 유지하고, 위계형 도구 호출 게이트 보상은 도구 이름→인자 키→인자 값 순으로 전제가 충족될 때만 점수를 준다. API‑Bank와 BFCL V3에서 각각 72.19%, 62.87% 정확도를 기록하며 지도·강화 학습 기준선을 앞섰고, 두 모델 계열의 네 가지 백본에서 일관된 개선을 보였다. ⁵

장애물 인지 하네스: 로봇 코딩 에이전트의 안전성 향상

“코딩 에이전트”는 로봇 제어기를 코드로 작성한다. 하지만 “이 장애물은 절대 건드리지 말라”는 안전 제약이 붙으면, 기존 에이전트는 대체로 충돌한다. 관찰이나 지시 해석이 아니라, 계획 단계에서 안전 제약이 우선순위가 되지 않는 것이 원인으로 드러났다. SafeHarness는 두 가지 장애물 인지 하네스를 더한다. 경계 상자에 기반한 경로 후보를 웨이포인트로 그리고 검증·재계획하며, 접촉 단계에서는 안전한 접촉 위치를 고른다. 그 결과 작업 성공 71.9%, 충돌 회피 87.5%를 달성해 이전 최고치를 각각 6.5, 27.0포인트 앞지르고, 같은 에이전트 대비 2.3배·1.5배의 성적을 보였다. ⁶

핵심은 안전 제약을 목표까지의 경로와 접촉 순간 모두에서 일급 요소로 삼는 것이다. 명시적 장애물 인지 경로·접촉 계획은 로봇 전용 사전학습 없이도 충돌을 크게 줄인다. ⁶

스코어 센터링: 학습–추론 불일치에서도 RL을 안정화

언어 모델의 RL은 한 엔진으로 학습하고 다른 엔진으로 배치하는 경우가 많아 학습–추론 불일치가 생기고, 이는 불안정을 부른다. 본 논문은 불안정의 원인을 학습 엔진과 추론 엔진 사이에 학습 단계마다 축적되는 편향(드리프트)으로 규명하고, 이를 상쇄하는 가법 “스코어 센터링” 보정항을 유도한다. 매개변수 0.6B~30B 모델에서 양자화 환경의 중요도 샘플링 기법을 스코어 센터링만으로 따라잡거나 앞질렀고, 불일치가 심할수록 격차가 커졌다. 또한 중요도 샘플링과 조합하면 스테일니스 실험에서 순수 중요도 샘플링 기준선을 능가했다. ⁷

실무적으로는 학습과 서비스 스택의 완전한 일치를 강제하지 않아도 안정적인 RL이 가능하다. 가벼운 가법 보정만으로도 롤아웃 오버헤드를 크게 늘리지 않고 견고성을 얻을 수 있다. ⁷

Open Source & Repos

mlx-serve: 애플 실리콘용 네이티브 LLM 서버

mlx‑serve는 애플 실리콘에서 대형 언어 모델(LLM)을 로컬로 실행하며, OpenAI·Anthropic 호환 응용 프로그램 인터페이스(API) 엔드포인트를 제공한다. 파이썬이나 클라우드 없이 동작하고, 채팅·에이전트 모드·도구 호출을 포함한 macOS용 MLX Core 앱을 제공한다. ⁸

프로젝트는 동일 MLX 가중치 기준 LM Studio보다 더 빠르다고 밝힌다. 2026년 9월 18일 프리릴리스(v26.9.5‑pre‑release.1)는 텍스트+비전을 지원하는 2비트 Qwen3.8‑27B 변형(Ternary‑Bonsai‑2‑27B‑mlx‑2bit)을 일반 Qwen 27B처럼 로드·서빙하는 사례를 소개한다. 기존 클라이언트 코드를 그대로 쓰려는 맥 개발자에게 유용한 대안이 될 수 있다. ⁸

왜 중요한가

추론에서 샘플을 늘리거나 에이전트를 쌓아 가면서 성능을 끌어올릴수록, 배치 스케줄·CPU 예산·보상 설계 같은 시스템 선택이 정확도만큼이나 에너지와 비용을 가른다. 정확도 옆에 P95 지연시간과 에너지, 스ケ줄을 함께 보는 평가지표가 요구되고, mlx‑serve 같은 도구가 이런 트레이드오프를 로컬에서 측정하기 쉽게 만든다. ¹

이번 주 시도해볼 것

1. mlx‑serve 설치: 최신 프리릴리스를 내려받아 OpenAI 호환 로컬 엔드포인트를 띄워보자. https://github.com/ddalcu/mlx-serve ⁸
2. “1×8 대 8×1” 비교: 동일 샘플 수로 일괄 한 번과 순차 8번을 실행해 P95 지연시간과 전력 지표를 기록해보자. https://arxiv.org/abs/2609.19499 ¹