테스트타임 기법으로 생성 모델 샘플을 더 다양화

한 줄 요약

테스트타임에서 출력 구성을 통제해 다양성을 끌어올리고, 에이전트 검증을 자동으로 보강하며, 사전학습 중 능력 ‘등장’의 시점을 새롭게 해석하는 연구와 35B 에이전트 모델, 그리고 셀프호스티드 에이전트 콘솔 업데이트가 나왔다.

Research Papers

Mine–Sample–Render: 생성 결과를 다양하게 만드는 테스트타임 파이프라인

대부분의 생성기는 한두 개의 품질 좋은 예시는 만들지만, 실제 데이터만큼 폭넓은 다양성을 놓치기 쉽다. Mine–Sample–Render(MSR)는 다양성 자체를 별도 샘플링 단계로 분리하는 테스트타임 절차로, 실제 산출물 코퍼스에서 해석 가능한 범주 스키마를 채굴하고 그 통계로 속성 조합을 샘플링한 뒤, 베이스 모델을 해당 사양을 조건으로 렌더링하는 역할만 하도록 사용한다. ¹

이 파이프라인은 날씨 보고서 생성, 사용자 시뮬레이션, 웹페이지 디자인, 텍스트-투-이미지, 에이전트가 만든 3D 자산 등에서 평가되었다. 코퍼스 분포와의 정렬이 개선되고 출력 다양성이 증가했으며, 베이스 생성기를 재학습하지 않아도 되는 점이 특징이다. ¹

비유하자면, 배치에 포함할 ‘종류’(레이아웃, 톤, 속성)를 데이터에 맞춰 미리 정하고, 생성기는 그 틀을 채우는 촬영 팀에 가깝다. 테스트타임에서 작동하기 때문에 기존 시스템을 그대로 감싸 적용할 수 있고, 다양성 확보를 위해 별도의 미세튜닝을 하는 비용과 위험을 줄인다. ¹

주목할 점은 각 도메인에서 속성 스키마를 어떻게 정의하는지, 그리고 앞서 제시된 과제들에서 생성 세트가 코퍼스 통계를 얼마나 가깝게 재현하는지다. 본 논문은 해당 도메인 평가 결과를 바탕으로 MSR을 일반적 래퍼로 제시한다. ¹

Weak-to-Strong Verifier Hardening: 보상 해킹에 강한 에이전트 검증기

에이전트 환경은 대형 언어 모델(LLM) 개발에 필수적이지만, 프로그램 방식의 검증기는 의도한 작업을 완료하지 않고도 보상을 따내게 하는 취약점(보상 해킹)에 악용될 수 있다. 이 논문은 에이전트가 검증기를 직접 바꾸지 못하도록 샌드박스로 격리하고, 취약점을 찾아 고치는 해커–수정 루프를 반복하는 자동화된 ‘약→강(weak-to-strong)’ 보강 파이프라인을 제안한다. ²

Terminal Bench, KernelBench, SETA에 적용했을 때 공격 성공률이 크게 줄었고, 반복 횟수가 늘어날수록 방어가 강해지며, 정적인 기준선보다 우수한 결과를 보였다. 이 루프의 초기 버전은 공식 Terminal Bench 저장소의 익스플로잇 감사용 방법으로 채택되어, 벤치마크 유지관리자에게 즉시 활용 가능성이 있음을 보여준다. ²

Learning to Read Out: 출력보다 먼저 학습되는 표현 읽기

사전학습 중 모델의 ‘능력’이 언제 생기는지 보통 출력으로 판단하지만, 은닉 상태를 토큰으로 바꾸는 리드아웃(언임베딩 행렬) 자체도 학습 중이다. 저자들은 활성화 기록 없이 체크포인트 가중치만으로 리드아웃의 모든 행을 시점별로 분석하는 파라미터-궤적 크로스코딩을 제안한다. ³

Pythia 사전학습에서 학습 진행의 0.4–1.1% 구간이라는 매우 이른 시점에 리드아웃이 재조직되고, WordNet 범주가 리드아웃 행에서 복원 가능해지는 현상이 관찰되었다. 이때 모델의 출력에는 아직 능력이 나타나지 않지만, 은닉 상태에 대한 선형 프로브는 이미 정보를 복원한다. 리드아웃의 학습률을 높이면 리드아웃이 더 일찍 발달해 이 격차가 빨리 줄고, 최종 손실에는 큰 영향이 없다. 이는 일부 ‘돌연 등장’ 시점이 표현의 첫 습득이 아니라 리드아웃이 그것을 표현하게 된 때일 수 있음을 시사한다. ³

MLExpert: 자율 머신러닝을 위한 35B MoE 에이전트

이 연구는 장기 머신러닝 실험을 스스로 설계·실행·평가·적응하는 에이전트형 모델을 학습한다. 이는 ‘AI를 위한 AI(AI4AI)’ 맥락에서 재귀적 자기개선(RSI)을 지향하며, 도구 사용과 코딩 능력을 이전하는 계층형 에이전트 지도형 미세튜닝(SFT)과, 연속 실험 결과 사이의 의사결정 구간에 결과 기반 보상을 부여하는 윈도우 상호작용 강화학습(RL)을 결합한다. 전체 궤적을 기다리지 않고 정책을 갱신할 수 있도록 비동기 수집과 정책 보정도 포함한다. ⁴

MLExpert는 35B 매개변수의 전문가 혼합(MoE) 모델이다. MLE-Bench Lite에서 기준 모델의 평균 메달 획득률을 37.9%에서 72.7%로 끌어올렸고, Kimi-K3와 GLM-5.3 같은 더 큰 프런티어 모델에 견줄만한 성능을 보였다. NatureBench Lite, 에이전트 스캐폴드 최적화, 알고리즘 최적화에서도 향상을 보고해, 학습된 최적화 능력이 초기 설정을 넘어 일반화될 가능성을 시사한다. ⁴

Open Source & Repos

OpenHands: 개발자용 셀프호스티드 코딩 에이전트 콘솔

OpenHands는 하나의 곳에서 코딩 에이전트와 자동화를 실행하는 개발자용 셀프호스티드 ‘컨트롤 센터’(Agent Canvas)를 제공한다. Claude Code, Codex, Gemini, Pi, OpenCode 같은 에이전트를 로컬·원격·클라우드 백엔드 전반에서 오케스트레이션할 수 있다. ⁵

저장소에는 베타 상태 배지, 지속적 통합(CI), 그리고 2026-10-12자로 버그 수정을 담은 1.27.1 릴리스가 보인다. 여기에는 도커 이미지에 MARS 웹 브리지 모듈을 복사하는 변경 같은 수정이 포함된다. 에이전트 워크플로를 실험하는 팀에게 셀프호스팅 콘솔은 실행과 로그를 한곳에 모아준다. ⁵

왜 중요한가

오늘의 결과는 무거운 재학습보다 똑똑한 오케스트레이션과 평가로 무게중심이 옮겨가고 있음을 보여준다. MSR은 배치 다양성을 테스트타임에서 통제할 수 있음을 보여주고, 리드아웃 분석은 출력만으로는 사전학습 중 능력 형성 시점을 잘못 날짜 매길 수 있음을 경고한다. ¹

에이전트 시스템에서는 신뢰성이 핵심 과제다. 자동 검증기 보강은 벤치마크의 보상 해킹 위험을 낮추고, MLExpert 같은 특화된 모델은 피드백 기반 최적화를 지속하는 한 경로를 제시한다. OpenHands 같은 콘솔은 이러한 루프를 실제 운영 가능하게 만든다. ²