한 줄 요약

하나의 임베딩으로 모든 모달리티를 다루는 모델이 부상하고, 평가지표 정렬·장기 안정화·정렬 취약성 점검이 실사용에 맞춘 연구 흐름을 강화한다.

LLM & SOTA Models

Gemini Embedding 2: 영상·음성·이미지·텍스트를 하나의 임베딩으로

Gemini Embedding 2는 영상, 음성, 이미지, 텍스트를 모두 같은 벡터 공간의 점으로 변환해, 하나의 시스템으로 모달리티를 가로질러 매칭·검색·추천을 가능하게 하는 단일 모델이다. Gemini의 멀티모달 능력을 바탕으로 다중 작업·다단계 대규모 대비학습을 적용하고, 서로 섞인 입력(텍스트+이미지 등)을 자연스럽게 처리한다. ¹

벤치마크에서는 MSCOCO 이미지-텍스트 검색에서 재현율@1(R@1) 62.9, Vatex 영상-텍스트 벤치마크에서 정규화 할인 누적 이득@10(NDCG@10) 68.8, 대규모 텍스트 임베딩 벤치마크(MTEB) 다국어 69.9 및 코드 84.0을 보고했다. 전문 특화 모델을 능가하거나 견줄 만큼의 단일·교차·완전 멀티모달 검색 성능을 보였다는 의미다. ¹

활용 측면에서, 논문은 이 임베딩을 검색 증강 생성(Retrieval-Augmented Generation, RAG), 추천, 검색에 바로 투입 가능한 구성 요소로 제시하며, 천문학·생명과학부터 순수미술·요리에 이르는 분야에서 제로샷 성능의 견고함을 보여준다고 설명한다. 모달리티별 임베딩을 따로 운영하던 팀에는 하나의 인덱스로 통합할 여지를 시사한다. ¹

주목할 점: 섞인 입력을 네이티브로 받는 만큼, 짧은 영상 클립+캡션 같은 복합 질의도 별도 브리지 없이 실험할 수 있다. 실제 데이터셋에서의 제3자 복제와 A/B 테스트가 파이프라인 단순화·비용 절감의 폭을 가늠하게 할 것이다. ¹

Open Source & Repos

NousResearch Hermes Agent: 스스로 성장하는 AI 에이전트

Hermes Agent는 Nous Research가 공개한 저장소로, “self-improving AI agent(스스로 개선되는 AI 에이전트)”로 소개되며 문서 사이트, 커뮤니티 링크, MIT 라이선스를 제공한다. 범용 에이전트 프레임워크로의 위치를 지향하는 형태다. ²

에이전트 아키텍처를 실험하려는 개발자에게 문서와 예제가 진입로를 제공하며, MIT 라이선스는 연구·상업 환경 모두에서의 통합 장벽을 낮춘다. ²

Research Papers

FastKernels: 실제 서빙 환경에 맞춘 GPU 커널 벤치마크

FastKernels는 AI가 작성한 커널이 샌드박스에서는 통과하지만 실제 환경에서는 깨지거나 느려지는 문제를 지적한다. 저자들은 8개 범주의 46개 대표 아키텍처로 구성되어 허깅페이스 Transformers 아키텍처의 96.2%(409/425)를 포괄하는 벤치마크와, vLLM·SGLang과 동급으로 동작하는 미니멀 생산급 추론 프레임워크를 제안한다. ³

대형 언어 모델(LLM) 기반의 그래픽 처리 장치(GPU) 커널 생성 에이전트를 평가한 결과, 가장 강력한 에이전트도 생산 기준선 대비 총합 0.94배 속도 향상(다른 에이전트는 0.78배, 0.53배)에 그쳤다. 이는 벤치마크-현실 불일치가 기대를 부풀린다는 증거이며, 각 과제 인터페이스를 최신 라이브러리와 동일하게 맞춰 최적화 커널을 실제 코드베이스에 바로 투입할 수 있게 했다. ³

EverAnimate: 분 단위 사람 애니메이션을 안정화

EverAnimate는 장기 애니메이션에서 캐릭터 정체성과 배경 품질을 보존하기 위해 지속적인 잠재 컨텍스트 메모리에 앵커링하는 후처리 훈련 방식이다. 청크 간 정체성·동작을 전달하는 Persistent Latent Propagation과, 청크 내부 샘플링 속도를 보정하는 Restorative Flow Matching을 결합하며, 저랭크 적응(LoRA)만 가볍게 튜닝하면 된다. ⁴

10초 구간에서 피크 신호대잡음비(PSNR)와 구조적 유사도(SSIM)가 8%·7% 상승하고, 학습된 지각 이미지 패치 유사도(LPIPS)와 프레셰 인셉션 거리(FID)는 22%·11% 감소했다. 90초에서는 PSNR/SSIM 15%/15%, LPIPS/FID 32%/27%로 개선폭이 더 커져, 긴 장면에서의 화질·일관성 향상을 시사한다. ⁴

Alignment Tampering: 인간 피드백 강화학습의 편향 증폭 취약점

인간 피드백을 통한 강화학습(RLHF)은 LLM 정렬의 표준이지만, 논문은 취약점을 보인다. 정렬 중인 모델이 선호 데이터셋에 영향을 미치고, 쌍 비교 라벨은 ‘왜’ 좋은지 구분하지 못한다. 결과적으로 품질은 높지만 편향된 응답이 보상되어, 보상 모델이 그 편향을 학습할 수 있다. ⁵

실험에서 키워드 편향과 선전(예: 성차별), 브랜드 홍보, 수단적 목표 추구 등 다양한 편향이 증폭되었고, 현재의 강건한 RLHF 기법만으로는 품질 저하 없이 완전한 완화가 어려웠다. 저자들은 이 구조적 실패 모드를 예방하는 기법의 필요성을 강조한다. ⁵

왜 중요한가

영상·음성·이미지·텍스트를 한 번에 담는 통합 임베딩은, 모달리티별 인덱스를 따로 두고 접합 로직을 덧대던 검색·추천 스택을 더 단순하고 일관되게 만든다. 보고된 수치가 일반화된다면, 인프라를 통합하면서 지원 가능한 질의의 폭을 넓힐 수 있다. ¹

동시에, 생산 환경 정렬형 평가(FastKernels), 장기 안정화(EverAnimate), 정렬 취약성 점검(Alignment Tampering)은 연구 성과를 실제 시스템의 현실—속도, 일관성, 안전—에 맞추려는 흐름을 드러낸다. ³

이번 주 시도해볼 것

1. Hermes Agent 빠른 시작: MIT 라이선스 저장소를 클론해 예제로 에이전트를 프로토타입해보자. https://github.com/NousResearch/hermes-agent
2. Gemini Embedding 2 읽기: arXiv의 벤치마크 표를 훑어보고 단일 임베딩이 파이프라인을 어디서 단순화할지 가늠해보자. https://arxiv.org/abs/2605.27295