모델이 개선안 제안을 학습하며 데이터 생성 비용 33% 절감

한 줄 요약

오늘의 논문들은 모델이 직접 만드는 개선안과 연습 과제를, 그 효과가 실제로 유지되는지 확인하는 더 엄격한 평가와 결합한다.

Research Papers

LM2LM: 다른 모델의 개선안을 제안하는 능력 학습

LM2LM은 언어 모델이 다른 언어 모델을 개선할 변경안을 제안하도록 학습시키고, 실제 실험 결과로 그 방향이 적절한지 확인하는 방법이다. 제안한 행동에 부여되는 점수로 배우는 강화학습 (Reinforcement Learning, RL)을 활용해, 실험 피드백을 반복해서 활용할 수 있는 연구 능력으로 바꾼다. ¹

수만 개의 제안을 모두 실제로 시험하면 비용이 크다. 학습 실험 한 번에 그래픽 처리 장치(Graphics Processing Unit, GPU) 사용 시간 10시간만 필요해도 피드백 수집에만 수십만 GPU 시간이 든다. LM2LM은 대신 학습된 설정을 고정한 모델에 실제 실험 기록을 제공해 개선 효과를 예측하며, 저자들은 이 예측기를연구 세계 모델 (Research World Model, RWM)이라고 부른다. ¹

제안하는 모델이 예측기가 과대평가하는 아이디어를 선호하도록 학습되면, 예측 결과도 지나치게 낙관적으로 변할 수 있다. 이를 막기 위해 시스템은 높은 점수를 받은 제안을 주기적으로 실제 실험에 적용하고, 측정 결과를 예측기의 참고 자료에 추가한다. 예측기 자체를 다시 학습시키는 대신, 예측기가 볼 수 있는 근거를 갱신하는 방식이다. ¹

텍스트를 순서대로 생성하는 모델과 반복적으로 다듬는 모델을 포괄하는 8개 개발 환경에서, LM2LM으로 학습한Qwen3.8-27B는 학습에서 제외한 과제에서GPT-6-sol보다 높은 성능을 보인다. GPT-6-sol에실제 실험 기록 300개를 제공한 경우에도 앞서며, 저자들은데이터 생성 비용 33% 절감과 학습에서 보지 못한 모델 계열로의 능력 전이도 보고한다. 이는 시험한 모델 개발 환경에서의 결과이지, 제한 없는 자기 개선을 입증한 결과는 아니다. ¹

FrontierCS 2: 논문의 핵심 기여를 복원하는 연구 능력 평가

FrontierCS 2는 자동화된 연구 도우미가 컴퓨터과학 논문에서 빠진 핵심 기여를 다시 구현할 수 있는지 평가한다. 데이터베이스·보안·로봇공학 등 13개 분야의 개방형 과제 48개로 구성되며, 연구 도우미는 핵심 기여가 제거된 작동 가능한 코드 저장소에서 변경안을 제출하고 개발용 점수를 받는다. 최종 시험과 사람이 작성한 비교 기준은 공개하지 않는다. ²

평가한 AI 에이전트 12개 가운데Claude Opus 5.5의 통과율이**실행 횟수 기준 58%**로 가장 높으며,16개 과제에서는 통과한 실행이 없다. 사람의 구현보다 종합 점수가 높은 실행도 대부분 일부 지표나 작업 조건에서는 기준에 못 미친다. 따라서 평균 점수가 높다는 것과 모든 통과 조건을 충족한다는 것은 다르다. ²

논문은 공개 벤치마크 외에 100개가 넘는 비공개 과제도 소개한다. 확인할 핵심 지표는 눈에 띄는 평균 점수보다 비공개 시험에서 과제 전체를 통과하는 비율이다. 논문이 제시한 공통 난도 척도에서 중간값에 해당하는 과제는 가장 강한 AI 에이전트가 처리할 수 있는 수준과 비슷하다. ²

LongZero: 스스로 만든 과제로 긴 문서 추론 학습

LongZero는 외부 문서나 더 강한 교사 모델에 의존하지 않고, 언어 모델이 직접 학습 과제를 만들어 긴 문서에 걸친 추론을 연습하도록 돕는다. 먼저 질문·근거·정답을 짧게 작성한 다음 근거를 문서 8개로 확장하며, 다른 유형의 과제에서는 직접 만든 긴 대화에서 앞서 나온 특정 응답을 찾아 재현하게 한다. 시험지를 만들기 전에 정답표부터 작성하듯, 긴 글이 생기기 전에 의도한 정답을 확정하는 순서다. ³

학습에는 같은 과제에 대한 여러 답변을 비교하는 강화학습 방법인 그룹 상대 정책 최적화 (Group-Relative Policy Optimization, GRPO)를 사용하며, 맞히기도 하고 틀리기도 하는 질문이 학습 신호를 제공한다. 논문에 따르면언어 모델 2개를 장문 추론 벤치마크 5개에서 평가한 결과, LongZero는 외부 문서 모음으로 과제를 만든비교 방법 2개보다 높은 성능을 보인다. 여기서 ‘데이터 없음’은 새 학습 과제를 외부 데이터 없이 만든다는 뜻이지 언어 모델을 처음부터 학습한다는 뜻은 아니며, 짧은 근거를 긴 글로 확장하는 과정은 여전히 오류가 들어갈 수 있는 지점이다. ³

왜 중요한가

결과를 해석할 때는 두 가지를 구분해야 한다. 스스로 만든 학습 데이터가 곧 독립적으로 검증된 성공은 아니며, 높은 종합 점수가 모든 요구 조건의 충족을 뜻하지도 않는다. LM2LM의 실제 실험 확인, LongZero의 사전에 확정한 정답, FrontierCS 2의 비공개 시험은 모델이 이끄는 개선을 그럴듯한 주장에 그치지 않고 측정 가능한 결과로 만드는 서로 다른 장치다. ^{1 2 3}