한 줄 요약

사이클론 예측용 AI가 공개되었고, 동시에 LLM을 라벨 없이 스스로 개선·기존 능력을 보존·긴 대화에서 핵심 증거를 기억·멀티모달 특징을 조절하게 하는 연구가 잇달아 나왔다.

LLM & SOTA Models

WeatherNext 2: 사이클론 예측 정확도 도약

WeatherNext 2는 사이클론의 이동 경로, 강도, 바람 구조를 예측하는 AI 예보 모델로, 재난 경보에 필요한 핵심 정보를 제공합니다. 구글은 이 모델이 진로·강도·풍 구조 예측에서 최신 최고 성능을 보였다고 밝혔고, 해당 결과는 Nature에 게재되었으며 “하나의 모델로 기상학의 약 10년 진전을 이뤘다”는 평가를 덧붙였습니다. ¹

실무적으로는 진로와 강도 예측의 정밀도가 높아질수록 경보를 더 일찍, 더 정확하게 낼 수 있다. 구글은 열대성 사이클론에서 경보 한 시간이 매우 중요하다고 강조하며, 허리케인과 사이클론과 같은 파괴적 기상 이벤트 대응에 도움이 된다고 설명한다. ¹

구글은 WeatherNext 2 모델을 전 세계 연구 커뮤니티에 공개한다고 밝혔다. 지켜볼 점은 기상 기관의 독립 검증, 해역별 일반화 성능, 공개가 극한 기상 예측 모델의 후속 연구를 얼마나 빠르게 촉진하는지 등이다. ¹

Research Papers

U-OPSD: 외부 감독 없이 자기 증류

이 연구는 모델이 더 큰 교사 모델, 환경 피드백, 라벨된 정답 없이도 자기 생성만으로 스스로 개선될 수 있음을 보인다. 비지도 온정책 자기 증류(Unsupervised On-Policy Self-Distillation, U-OPSD)는 여러 답안을 샘플링해 자기 일관성 임계값 하에서 다수결로 의사 해를 만들고, 그 결과에 조건을 걸어 모델이 불일치했던 부분을 집중적으로 바로잡는다. 이는 온정책 자기 증류(On-Policy Self-Distillation, OPSD)의 비지도 변형이다. ²

AIME24, AIME25, HMMT25, MATH500, AMC23 등 5개 수학 벤치마크에서, U-OPSD는 Qwen3 기준 모델의 비사고 모드 성능을 4B에서 8.5%, 8B에서 10.7% 끌어올리고, 감독 기반 OPSD를 각각 3.2%, 2.3% 앞선다. 사고 모드에서는 4B에서 OPSD 대비 +0.9%로 근소 우위, 8B에서는 동률이며, GRPO(그룹 상대 정책 최적화, Group Relative Policy Optimization) 대비 4B와 8B에서 각각 0.7%, 1.1% 상회한다. 요지는 대형 언어 모델(LLM)이 정답 라벨 없이도 자기 개선으로 감독 방식에 근접할 수 있다는 점이다. ²

Omega-S: 파인튜닝 후퇴(망각) 방지 위한 간단한 규제항

Omega-S는 가중치 행렬만으로 계산하는 간단한 규제항으로, 이전 작업 데이터·Fisher 행렬·이전 가중치 사본이 필요 없다. 학습 루프에 3줄로 넣을 수 있고 스텝 비용 증가는 4% 미만이다. LoRA(저랭크 적응, Low-Rank Adaptation)로 Llama‑3‑8B를 코드→산문으로 파인튜닝한 뒤 HumanEval로 10개 시드에서 측정한 결과, pass@1이 0.173→0.238로, 유지 비율이 62.9%→84.1%로 상승했다. 또한 동일 설정에서 튜닝된 가중치 감쇠보다 10/10, EWC(탄성 가중치 통합, Elastic Weight Consolidation)보다 8/10 시드에서 우수했다. ³

저자들은 메커니즘을 수치로 규명했다. Tr(A^3)에 기반한 위상적 목적이 구현상 노드 차수 분산에 대한 패널티로 귀결되며, 동일 구성·동일 시드·동일 하드웨어 반복에서 유지 비율 표준편차 0.104를 보고해 저랭크 파인튜닝 변동성을 정량화한다. 결론적으로 Omega-S는 데이터 없이 저비용으로 기존 능력 하락을 억제하는 안전장치가 될 수 있다. ³

ReMEMBER: 스트리밍 대화 요약을 위한 ‘빠진 증거’ 메모리

스트리밍 대화 요약은 매우 긴 대화에서 제한된 예산으로 핵심 증거만 기억하며 현재 창을 요약하는 과제를 뜻한다. 이 논문은 핵심이 “얼마나 많은 과거를 보느냐”가 아니라 “현재 창이 전제하는 증거를 메모리가 제대로 찾아냈느냐”라고 주장하고, 메모리가 간극을 메우는 증거를 담았는지와 생성 요약이 그것을 반영하는지를 분리 평가하는 벤치마크·프로토콜을 제안한다. ⁴

ReMEMBER는 현재 창의 미해결 의존성에 맞춰 검색을 조건화하고, 검색된 조각을 고증거 밀도의 메모리로 정제한다. 최대 160K 토큰 길이의 대화에서, 동일 예산 하에 기존 메모리 구성 기법 대비 메모리 회수율과 간극 해소 충실도를 개선했다. 장시간 지속되는 챗 제품 설계에 유용한 설계도다. ⁴

MMDiff: 멀티모달 특징 비교로 발견·제어

MMDiff는 희소 자동인코더(Sparse Autoencoder, SAE)를 학습해 멀티모달 대형 언어 모델(MLLM)의 내부 특징을 찾아내고 제어하는 도구다. 멀티모달 학습으로 변화된 특징을 분리하고, 특정 과제의 인과적 특징을 감지한 뒤, 해당 특징을 제거하거나 조향해 동작을 바꾼다. ⁵

LLaVA-MORE, PaliGemma 2, InternVL3.5에서, 발견된 특징을 제거하면 공간 과제가 평균 12%, 광학 문자 인식(OCR)이 17% 선택적으로 저하되고, 멀티모달 안전성 공격 성공률이 24% 감소하며 시각 질의응답(VQA) 성능 저하는 없다. 특징 조향은 단일 레이어 조향 기준선 대비 공간·OCR 정확도를 각각 +3.6%, +1.8% 높였다. 해석 가능 도구였던 SAE를 안전·디버깅을 위한 능동 제어장치로 확장하는 결과다. ⁵

왜 중요한가

특수 도메인 AI가 재난 대응 같은 고위험 현장(사이클론 예측)으로 들어오고, 동시에 일반용 모델은 라벨 없이 스스로 개선하고(자기 증류), 파인튜닝 중 기존 능력을 지키며(유지 규제항), 긴 대화에서 필요한 증거를 되짚고(증거 메모리), 내부 특징을 조절할 수 있게 된다. 이는 운영 현장에 더 실행 가능하고, 도입 조직에 더 점검 가능한 AI로 이어지는 흐름을 보여준다. ¹

오늘의 핵심 어휘: 온정책 자기 증류(모델이 자기 답만으로 개선), 유지 규제항(파인튜닝 중 기존 능력 보존용 항), 증거 밀도 메모리(현재 요약을 직접 뒷받침하는 단서 저장), 특징 수준 제어(해석 가능한 내부 특징을 켜고 꺼 행동을 바꿈). ²