한 줄 요약

이번 주 연구는 비용과 시행착오를 줄이는 방향으로 수렴한다: 로짓 없이 학생 모델을 맞추고, 실행 없이 모델을 고르고, 프레임워크 간 이식 가능한 안전한 스킬을 컴파일하며, 테스트 시간 전략을 자동으로 찾아낸다.

Research Papers

ROPD: 로짓 없이 루브릭으로 맞추는 온정책 증류

이 논문은 교사의 내부 확률값(로짓)에 접근하지 않고도, 교사가 쓴 답변만으로 학생 모델을 정렬하는 방법을 제시한다. 체크리스트(루브릭)로 학생의 시도를 채점하며 개선하는 방식으로, 온정책 증류(On-Policy Distillation, OPD)를 로짓이 아닌 채점 중심으로 재구성해 폐쇄형 대형 언어 모델(LLM)에도 적용 가능하게 만든다. ¹

ROPD(Rubric-based On-policy Distillation)는 교사와 학생의 출력 차이를 이용해 프롬프트별 루브릭을 유도하고, 그 루브릭으로 학생 롤아웃을 점수화해 온정책 최적화를 수행한다. 즉 교사의 확률값을 베끼는 대신, 학생이 “시험을 여러 번 보고” 교사 유도 체크리스트로 채점을 받아가며 실력이 오르는 구조다. ¹

실험에서 ROPD는 다수 상황에서 고급 로짓 기반 OPD 방법을 능가했고, 샘플 효율에서 최대 10배 향상을 보였다. 교사 응답만 있으면 되므로, 공개형과 폐쇄형 LLM 모두에 적용 가능한 블랙박스 정렬 절차로 쓸 수 있다. ¹

화이트박스 접근이 어려운 환경에서 간단하고 확장 가능한 정렬 기준선으로 자리매김하며, 저자들은 재현을 위한 코드 공개도 언급한다. 보상 모델이나 선호 학습과 비교해 비용–품질 균형을 가늠하려는 팀에 현실적인 대안이 된다. ¹

ModelLens: 실행 없이 새 데이터셋에 맞는 모델 추천

수많은 후보 중에서 좋은 모델을 고르기는 어렵다. ModelLens는 공개 리더보드 상호작용에서 학습해, 대상 데이터셋에서 모델을 직접 실행하지 않고도 유망 후보를 추천한다. 모델–데이터셋–평가지표 튜플 전반에 성능 인지 잠재 공간을 구성해, 보지 못한 데이터셋에서 보지 못한 모델을 순위화한다. ²

핵심은 흩어져 있고 잡음이 많은 리더보드 기록이 실제로는 풍부한 “능력 지도”를 그린다는 점이다. ModelLens는 이 신호에서 직접 학습함으로써 실제 환경의 모델 추천을 통합하고, 많은 후보를 한 번씩 돌리거나 좁은 후보 풀만 다루는 기존 AutoML·라우팅 방식의 비용과 한계를 줄인다. ²

1.62백만 건의 평가 기록(47,000개 모델, 9,600개 데이터셋)으로 구축한 벤치마크에서, 메타데이터만 쓰거나 대상 데이터셋에서 각 후보를 실행하는 기준선을 능가했다. 추천된 Top-K 풀은 여러 라우팅 방법의 성능을 질의응답(QA) 벤치마크 전반에서 최대 81%까지 더 끌어올렸고, 텍스트와 비전-언어 과제 양쪽으로의 일반화도 사례 연구로 확인됐다. ²

SkCC: 프레임워크를 넘나드는 이식성과 보안을 갖춘 스킬 컴파일러

에이전트 스킬은 통상 하나의 SKILL.md로 배포되지만 프레임워크마다 프롬프트 포맷 민감도가 달라 성능이 크게 흔들린다. SkCC는 컴파일러 설계를 도입해 스킬을 중간 표현으로 바꿔 담고, 프레임워크별·보안 점검을 거친 타깃 버전을 산출해 대형 언어 모델(LLM) 에이전트의 이식성과 안정성을 높인다. ³

핵심은 의미를 포맷과 분리하는 강타입 중간 표현(IR) SkIR이며, 배포 전 컴파일 단계에서 Analyzer가 Anti-Skill Injection 제약을 강제한다. 이 4단계 파이프라인은 적응 복잡도를 O(m×n)에서 O(m+n)으로 낮춰, 스킬을 한 번 작성해 다수 플랫폼에 맞게 산출하도록 한다. ³

SkillsBench에서 컴파일된 스킬은 원본을 꾸준히 앞섰다. Claude Code는 합격률이 21.1%→33.3%로, Kimi 명령줄 인터페이스(CLI)는 35.1%→48.7%로 상승했다. 컴파일 지연은 10ms 미만, 사전적 보안 트리거율은 94.8%, 런타임 토큰 절감은 10~46% 범위를 보였다. 표준화와 보안을 함께 추구하는 팀에 유의미한 지표다. ³

AutoTTS: 모델이 스스로 테스트 시간 전략을 찾아내게 하기

테스트 시간 확장(Test-Time Scaling, TTS)은 추론 때 연산을 더 써 정확도를 높이는 방법이다. AutoTTS는 미리 수집한 추론 경로와 저비용 프로브 신호로 만든 환경 안에서, 분기·연속·프로브·가지치기·중단 시점을 고르는 컨트롤러를 탐색해 TTS 전략 설계를 자동화한다. 탐색 과정에서 반복적인 LLM 호출이 거의 들지 않도록 설계한 점이 특징이다. ⁴

핵심은 개별 휴리스틱 설계에서 “발견 환경” 설계로의 전환이다. 베타 파라미터화로 탐색 공간을 다룰 수 있게 만들고, 세밀한 실행 추적 피드백으로 에이전트가 실패 원인을 진단하며 전략을 개선하도록 돕는다. 연구자 노력은 전략 고안에서 환경 설계로 옮겨간다. ⁴

수학적 추론 벤치마크에서 발견된 전략은 강력한 수작업 기준선 대비 정확도–비용 균형을 개선했고, 보지 못한 벤치마크와 모델 규모에도 일반화했다. 전체 발견 비용은 39.9달러와 160분으로, 큰 예산 없이 테스트 시간 최적화를 시도할 실용적 경로를 시사한다. ⁴

Open Source & Repos

Activepieces: MCP 통합 AI 에이전트 자동화 오픈소스

Activepieces는 워크플로 자동화를 위한 오픈소스로, 에이전트와 모델 컨텍스트 프로토콜(Model Context Protocol, MCP) 통합을 전면에 내세워 에이전트가 도구와 서비스를 안정적으로 호출하도록 돕는다. 비개발자·운영팀도 시각적으로 모델과 액션을 연결해 재사용 가능한 흐름을 만들 수 있다. ⁵

레포지토리는 AI 에이전트를 위한 약 400개 MCP 서버, MIT 라이선스, 문서, 커뮤니티 채널을 명시한다. 저장소의 최신 태그 릴리스는 2026-05-07의 0.82.2다. 단일 모델 종속보다 실용적 에이전트-도구 생태를 넓히는 데 초점을 둔 구성이 눈에 띈다. ⁵

이미 에이전트를 시험 중인 팀은 Activepieces로 트리거·액션·MCP 엔드포인트를 한곳에 모아, 프로토타입에서 감사 가능한 워크플로로 전환할 수 있다. 기존 자동화와의 비교를 통해 MCP 기반 스킬이 커스텀 연결 코드를 얼마나 줄이는지 확인해 볼 수 있다. ⁵

커뮤니티 반응

Hacker News (218↑) — 실무 지향적 논의가 중심: 최신성 가중 재정렬과 RWKV 같은 대안 구조·학습 실험이 공존한다. ⁶

"혹시 이 스레드를 보는 사람이 남아있나 모르겠지만, 저는 실제로 RWKV를 가지고 희생적(sacrificial) 학습 기법을 적용해 보았고, 적어도 초기 학습 단계에서는 결과가 유망해 보였습니다." — Hacker News ⁶

"이건 재정렬(reranking) 단계에서 이루어집니다. 역시 맞춤형입니다. 변수는 두 가지입니다 — 1/ 관련성(대부분의 알고리즘이 여기에 집중합니다) 2/ 날짜. 관련성과 날짜에 대한 가중치를 조합하여 새로운 점수를 만드세요. 예: 날짜에 50%를 줄 수 있습니다. 문서의 관련성이 70%이지만 어제 발행된 경우, 전체 점수는 85%가 됩니다. (개념적 아이디어). 이는 어디서나 가중 정렬을 하는 방식과 유사합니다." — Hacker News ⁶

왜 중요한가

로짓 없이 정렬하고, 실행 없이 모델을 고르고, 프레임워크 간 스킬을 안전하게 이식하며, 테스트 시간 전략을 자동으로 찾는 흐름은 공통적으로 비용을 낮추고 배포 마찰을 줄인다. 예산과 시간이 빠듯한 팀에 연구–프로덕션 간 왕복 시간을 단축하는 실질적 선택지를 제공한다. ¹

이번 주 시도해볼 것

1. Activepieces로 작은 에이전트 워크플로 만들기: 저장소를 클론해 MCP 서버를 간단한 액션에 연결해 본다. ⁵
2. ModelLens 논문 훑어보기: 리더보드 데이터로 실행 없이 Top-K 후보를 고르는 아이디어에 주목한다. ²