한 줄 요약

더 큰 모델보다 더 똑똑한 설계와 데이터 재활용에 집중: 데이터 혼합을 실험 설계로 다루고, 비문자 기억 검색을 정밀 측정하며, 전문가 릴레이로 코딩 과제를 풀고, 실패 로그를 학습 신호로 바꾼다.

Research Papers

Data Mixing as Mixture Experiment: LLM 사전학습 데이터 배합을 혼합 실험으로 설계

대형 언어 모델(LLM) 사전학습에서 웹·코드·도서 등 각 도메인 데이터를 얼마나 섞을지를 이 논문은 전통적 ‘혼합 실험’으로 다시 정의한다. 응답 표면 방법론(RSM)으로 검증 손실을 혼합 단순체 위의 표면으로 보고, 희박 2차 Scheffé 모델을 적합해 규모 확장 전 어떤 소형 프록시 학습을 돌릴지 알려주는 정보 최적(I-optimal) 설계를 제안한다. ¹

RegMix 사례에 적용하면, 도메인 가치는 관계적이라는 점이 드러난다. 단독으로는 약해 보이는 도메인도 쌍(pairwise) 상호작용, 특히 웹 기반 텍스트와의 조합에서 강점을 보인다. 이 희박 Scheffé 모델은 규모가 달라져도 혼합 순위를 보존하고, 유연한 머신러닝 예측기와 견줄 성능을 내면서도 가법 효과와 상호작용 효과를 분해해 해석 가능성을 제공한다. ¹

관측된 프록시 학습 반응에 맞춘 시뮬레이션에서, 정보 최적 설계는 원래 프록시 실행의 약 25%를 덜어낸 뒤에도 관련 혼합 순서를 회복한다. 예측 문제에 그치지 않고, 프록시 혼합 자체를 설계점으로 두는 실험 설계 문제로 다뤄야 한다는 주장을 수치로 뒷받침한다. ¹

실무적으로는 응답 표면을 먼저 그리기 위해 적고 잘 고른 프록시 학습을 수행하고, 도메인 간 상호작용을 진단하는 방식이 유효함을 시사한다. 앞으로 사전학습 파이프라인에서 RSM 도입과, 단일 도메인 제거 실험만이 아닌 혼합 효과 보고가 늘어나는지 주목할 만하다. ¹

Wontopos Tablet 2: 어휘 일치 없이 다국어·이미지 기억 검색 측정

Tablet-2는 어휘 일치나 키워드 점수, 자체 언어 모델 없이 동작하는 실사용 장기 기억 엔진으로, 텍스트 벤치마크와 자막 없는 사진의 교차언어 검색으로 평가된다. LongMemEval-S(500문항)에서 95.7%[93.4, 97.1], BEAM-1M(700문항, 221만 저장 메모리)에서 67.5%[64.8, 70.2]를 보고하며, 리더(reader)만 바꿔도 LongMemEval-S가 2.0포인트, 재질문(re-ask) 예산만 바꿔도 BEAM-1M이 8.9포인트 움직여 결과를 ‘순위’가 아닌 ‘배치(placement)’ 표로 제시한다. ²

멀티모달 축에서는 70개 언어 셀 평균 recall@5가 95.2%로, 강한 어휘 기반 기준선인 BM25는 19.0%에 그치고 54개 셀에서는 정확히 0%다(자막 없는 사진은 점수화할 텍스트가 없다). Crossmodal-3600에서 공개 밀집 임베딩 기준선은 언어별 편차가 크다(동일 이미지 벡터로 영어 91.0%, 러시아어 4.7%), 반면 Tablet-2의 언어 간 분산은 14.0으로 기준선 27.5·27.7보다 작다. 다만 저자원 언어 성능 하락(스와힐리 53.0%, 텔루구 64.0%), 캡션 추가 시 교차언어 검색 11.4포인트 하락, 설정 누락으로 한국어 Top-1 정확도 37포인트 손실 등 한계도 동등 비중으로 보고한다. ²

핵심 교훈: 비문자 기반 기억은 언어와 모달리티를 넘어 작동할 수 있지만, 리더나 재시도 예산 같은 평가 설정에 점수가 민감하다. 엔진·코퍼스·평가를 고정하거나, 민감도 변화를 함께 보고하는 비교가 필요하다. ²

MARS: 경쟁 프로그래밍을 위한 주제별 LLM 릴레이

MARS는 프롬프트만으로 작동하는 파이프라인으로, 동적 계획법·그래프·문자열·기하 등 주제별 전문가 대형 언어 모델(LLM)이 차례로 바통을 이어받아 문제를 푼다. 알고리즘 이론 말뭉치에 대한 검색 증강 생성(Retrieval-Augmented Generation, RAG)으로 근거를 확보하고, 검색으로 소수 전문가 팀을 꾸린 뒤 시작 에이전트가 C++17 해를 작성한다. 각 턴마다 공개 예제로 샌드박스 실행을 하고, 현재 전문가는 초안을 유지·수정·인계하며, 구조화 패킷을 다음 전문가에게 전달하고 마지막에 정리 패스가 보일러플레이트를 표준화한다. ³

CodeContests 테스트 분할에서 Gemma 4로 0.624 ± 0.006 통과율, 작업당 2.3단계를 달성해 직접 프롬프트 대비 +14.4포인트 향상했다. 더 강한 0.731 기준선에 대부분 근접하면서 경과 시간은 3.3배 절약하고, 작업별 토큰 지출 분산도 더 작다. 소스 코드는 GitHub에 공개돼 있다. ³

PROOF-Gen: 실패 실행을 정답 시나리오로 바꾸는 도구 호출 증류

도구 호출 에이전트를 배포형 모델로 증류할 때 보통은 교사 생성 경로로 지도 미세조정을 하지만, 표준 ‘생성-필터’ 절차는 실패를 버린다. τ2-bench에서 교사 시도의 57%가 실패하고 그중 3분의 2는 거의 성공에 근접한 ‘근접 실패’다. PROOF-Gen(Per-scenario Reflective Optimization to Overcome Failed Generation)은 실패한 각 과제의 실행 추적과 평가 피드백을 분석해 교사를 정답 경로로 유도하는 교정 가이드를 작성하고, 학습 전 이 가이드를 제거해 학생이 과제 특유의 비법 없이 깔끔한 시연만 학습하게 한다. ⁴

시나리오별 최적화로 실패 시나리오의 93%를 복구한다. 결합 데이터로 미세조정하면 Qwen3-4B-Instruct-2507이 Pass^1 0.132에서 0.529로 향상되고, Gemma 4 E4B-it는 다중 턴 벤치마크에서 +7.2포인트 오른다. 배포 파이프라인에서도 목표 달성률이 +6.3포인트 개선되고, 온디바이스 모델로 전이 시 목표 달성률 +1.5포인트 및 응답 품질 지표 +1.7~+5.0포인트 향상, 모든 로케일에서 긍정 전이(비영어 평균 +1.48포인트)가 보고된다. ⁴

실무 메시지: 실패를 버리지 말고 금 표본으로 회수해 다음 증류 주기에 재투입하면 반복적인 고가 교사 호출 비용을 낮출 수 있다. 앞으로는 반영기 자동화와, 독립 심사 기준에서도 개선이 유지되는지 검증이 중요하다. ⁴

왜 중요한가

공통 주제는 기존 모델에서 더 많은 가치를 끌어내는 설계·평가·데이터 재활용이다. 데이터 혼합을 명시적 실험 설계로 바꾸고, 메모리 점수에 영향을 주는 설정 요인을 밝혀 보고하며, 어려운 코딩 과제는 전문가 릴레이로 풀고, 실패한 도구 호출은 반영 최적화로 학습 신호로 전환한다. ¹

한정된 자원에서도 성과를 극대화하려면 잘 고른 프록시 학습, 측정 규율, 전문가형 프롬프트 구성, 실패 로그 재활용 같은 설계가 핵심이며, 예산을 가장 유망한 규모 확장 실행에 재배치하는 데 도움을 준다. ¹