한 줄 요약

오늘의 논문들은 “큰 모델”보다 “어떻게 재고·어디에 연산을 쓰는가”에 초점을 맞춘다: 픽셀 단위 지구 관측 모델의 스케일링 규칙, 코딩 에이전트의 과정 중심 평가, 더 안정적인 에이전트 학습, 외부 지식 조회형 언어 모델이 이를 뒷받침하고, PyTorch의 꾸준한 릴리스가 기반을 제공한다.

Research Papers

TESSERA v2: 픽셀 단위 지구 관측 모델의 스케일링 규칙

이 연구는 픽셀 단위 지구 관측 모델에서 실제 성능을 높이기 위해 연산 예산을 어떻게 쓰고 체크포인트를 어떻게 고를지에 대한 실전 규칙을 제시한다. 동일한 픽셀 단위 Barlow Twins 설정으로 GH200 슈퍼칩 1,024개에서 395회 훈련을 수행하고 15개 다운스트림 과제로 모두 평가했는데, 사전학습 손실은 성능을 거의 예측하지 못했다(피어슨 상관계수 절대값 0.2 미만). 즉 손실로 모델을 고르면 연산의 상당 부분이 낭비된다. ¹

저자들은 간단한 배분 규칙을 제안한다. 예산이 늘어날수록 인코더와 데이터를 함께 키우되 프로젝터는 고정하라는 것이다. 이 규칙으로 0.5B와 1B 파라미터 모델을 학습했고 2B 모델도 학습 중이며, 이어서 임베딩‑애즈‑데이터 배치를 위해 컴팩트한 “학생” 모델로 증류했다. ¹

그 결과 2,100만 매개변수 학생 모델(TESSERA v2-1B-M)이 테스트한 모든 공개·상용 기준선을 능가했으며, 일부는 규모가 몇 자릿수나 더 컸다. 또한 Matryoshka 표현은 서빙 비용이 낮다. 16차원 프리픽스만으로 전체 128차원 대비 성능의 92%를 유지하면서 저장 용량은 1/8에 그친다. ¹

연구진은 2017–2025 전 세계 임베딩과 코드를 공개할 계획이라고 밝힌다. 실무 요약은 명확하다. 큰 인코더를 학습하고, 손실이 아니라 다운스트림 성능으로 선택하며, 유연한 학생 모델로 증류하라. ¹

AgentLens: 코딩 에이전트 전 과정 평가 벤치마크

AgentLens는 합격·불합격 한 비트로 끝내지 않고, 코딩 에이전트의 상호작용 전체를 평가하는 벤치마크다. 객관 검증이 가능한 경우에는 형식 검증을 적용하고, 대형 언어 모델(LLM)이 작성한 트래젝터리 리뷰와 나란히 비교를 결합해, 각 실행마다 왜 그런 점수를 받았는지 읽을 수 있는 설명을 제공한다. ²

이 방식은 순위 매김을 넘어 유용하다. 모델 행동을 진단하고, 연속 버전을 비교하며, 야간 평가 파이프라인에서 제품 성능 퇴행을 포착할 수 있도록 설계됐고, 오픈 소스로 공개된다. ²

Single-rollout Asynchronous Optimization: 단일 롤아웃 비동기 최적화로 에이전트 강화학습 안정화

이 논문은 동기식 배치를 기다리지 않고 경험이 도착하는 즉시 갱신하면서도 학습 안정성을 유지하는 훈련법을 제시한다. 대형 언어 모델(LLM)의 사후 학습에 쓰이는 강화학습(RL)을 대상으로, 비동기 학습과 그룹 상대 정책 최적화(GRPO) 사이의 부조화를 해소한다. ³

단일 롤아웃 비동기 최적화(SAO)는 그룹 단위 샘플링을 한 프롬프트당 한 롤아웃으로 대체하고, 실용적인 가치 모델 학습 설계를 더하며, 양측 토큰 단위의 엄격한 클리핑을 도입했다. SAO는 1,000단계 동안 안정적으로 학습했고 SWE‑Bench Verified, BeyondAIME, IMOAnswerBench 등 에이전트 코딩·추론 벤치마크에서 GRPO 및 변형들을 일관되게 앞섰다. ³

또한 시뮬레이션 온라인 학습 환경에서도 효과적이었으며, 공개 GLM‑5.2 모델(750B‑A40B)의 에이전트 RL 파이프라인에 도입됐다. 장기 과제 에이전트 튜닝의 단순한 규범으로 떠오를 수 있음을 시사한다. ³

CO-LMLM: 연속 벡터 질의로 지식 조회하는 LMLM

CO‑LMLM은 사실 지식을 가중치에 담지 않고 외부 지식 베이스(KB)에 저장한 뒤, 연속 벡터 키로 조회해 가져오는 언어 모델이다. 이 “제한 메모리 언어 모델(LMLM)” 설계는 비용이 낮은 벡터 질의를 생성하면서도 사람이 읽을 수 있고 출처를 명시할 수 있는 지식을 생성에 통합한다. ⁴

주석 파이프라인은 위키피디아에 한정되지 않은 자유 형식의 사실 구간을 태깅하며, 위키피디아와 FineWeb‑Edu로 사전학습했다. 여러 규모에서 CO‑LMLM은 기존 LMLM과 일반 대형 언어 모델(LLM)보다 퍼플렉서티와 사실 정밀도에서 우수했고, 3억6천만 매개변수 규모에서는 40배 더 많은 데이터로 학습한 모델들보다도 낮은 퍼플렉서티를 보였다. ⁴

SimpleQA에서는 gpt‑4o‑mini와 비슷하거나 Claude Sonnet 4.5보다 높은 성능을 보여, 외부화된 지식이 작은 상용 보조 모델과 견줄 수 있으면서도 투명성과 근거 제시를 유지할 수 있음을 시사한다. ⁴

Open Source & Repos

PyTorch 2.13.0: 업데이트와 수정 사항 공개

PyTorch는 텐서 계산과 동적 신경망을 그래픽 처리 장치(GPU) 가속과 함께 제공하는 파이썬 라이브러리로, 2026-07-08 버전 2.13.0을 공개했다. 프로젝트의 두 축은 빠른 텐서 연산과 테이프 기반 자동 미분 시스템이다. ⁵

2.13.0 릴리스 노트에는 하이라이트, 지원 중단, 신규 기능, 성능 개선, 버그 수정을 포함하며, 개발자는 hud.pytorch.org에서 트렁크 상태를 모니터링할 수 있다. 이는 위의 새로운 학습·평가 아이디어를 실험할 수 있는 안정적 기반을 의미한다. ⁵

왜 중요한가

TESSERA v2의 스케일링 연구는 지구 관측 모델에 대한 데이터 기반 규칙을 제공한다. 인코더와 데이터를 함께 키우고, 손실이 아닌 다운스트림 평가로 모델을 선택하며, 학생 모델로 압축해 저비용 서빙을 달성하는 실무형 절차서다. ¹

여기에 과정 중심 평가와 더 안정적인 비동기 강화학습, 그리고 외부 지식 베이스에서 사실을 조회하는 언어 모델이 맞물리며, 정밀도와 효율을 모델 크기 증가가 아니라 평가 설계와 연산 배분에서 끌어내는 성숙한 기술 스택으로 이동하고 있음을 보여준다. ⁴