검색 에이전트, 어떤 단계가 성공에 기여했는지 배운다

한 줄 요약

인공지능(Artificial Intelligence, AI) 연구는 유용한 행동을 가려내고, 더 나은 근거를 검색하며, 검증 전에 작성할 텍스트 분량을 조절해 모델과 AI 에이전트 내부의 낭비를 줄이는 데 초점을 맞춘다.

Research Papers

Self-Credit: 긴 검색 과정에서 기여한 단계에 학습 보상

Self-Credit는 검색 AI 에이전트가 최종 결과뿐 아니라 앞선 행동 중 무엇이 정답에 기여했는지 학습하도록 돕는 방법이다. 많은 AI 에이전트는 답이 맞는지 검증할 수 있을 때만 보상을 받는 검증 가능한 보상을 활용한 강화학습 (Reinforcement Learning with Verifiable Rewards, RLVR) 방식으로 훈련된다. 검색 과정이 길어지면 최종 보상만으로는 중간의 어떤 단계에 공을 돌려야 하는지 파악하기 어렵다. ¹

이 방법은 모델이 검색 과정을 요약하면서 중요한 근거가 담긴 앞선 대화 차례를 인용하도록 한다. 이어 같은 질문에 성공한 시도와 실패한 시도에서 인용한 행동을 비교해 부당하게 부여된 기여도는 낮추고 중요한 행동의 기여도는 높인다. 이렇게 조정한 가중치는 해당 단계가 학습에 미치는 강도를 바꾼다. 즉 모델의 자기평가를 여러 시도의 실제 결과와 대조하는 구조다. ¹

BrowseComp-Plus에서 Self-Credit는 매개변수가 80억 개와 320억 개인 Qwen3 모델의 성적을 각각 시작 모델보다37.0점과 36.2점 높인다. 가장 강력한 AI 에이전트 훈련 비교 방법과 견주면 개선 폭은 각각8.5점과 5.6점이다. 이는 해당 훈련을 적용하기 전 모델과의 비교보다 더 까다로운 기준이다. ¹

논문은 다른 두 벤치마크에서도 가장 강력한 기준선보다 각각 4.9점과 4.7점 높은 성적을 보고한다. 분석에서는 모델 크기와 관계없이 실패한 시도의 기여도를 조정하는 과정이 특히 중요하게 나타난다. 다음 확인 지점은 보고된 평가 범위 밖에서도 유용한 단계를 가려내는 방식이 효과를 유지하는지다. ¹

BiDex-100: 두 손 로봇의 낯선 상황 대응 능력 평가

BiDex-100은 정교한 두 손으로 물체를 다루는 로봇을 위한 시뮬레이션 평가 도구다. 106개 과제를 낯선 상황 대응, 지시 따르기, 적은 시연으로 학습하기, 긴 작업 수행, 이전 정보 기억이라는 다섯 능력으로 나눈다. 각 과제에는 시각적 조건과 공간 배치를 통제해 바꾼 변형도 있어, 환경이 달라져도 학습한 기술을 유지하는지 확인할 수 있다. ²

이 벤치마크는 두 가지 로봇 구성을 지원하며, 사람이 원격 조작해 성공을 확인한 시연8,080건, 총625만 프레임을 제공한다. 연구진은 시각 정보와 언어 지시를 움직임으로 바꾸는시각·언어·행동(Vision-Language-Action, VLA) 모델 7개를 동일한 절차로 평가한다. 전체 성공률 하나만 제시하는 대신 능력별 성적과 환경 변화에 대한 견고함을 구분해 측정하는 공통 시험을 제공한다는 데 의미가 있다. ²

관련 벤치마크인 HandsOn은 사람이 검증한66개 과제와 선별한 인간 시연18,000건을 제공한다. 여러 과제를 함께 학습한 모델 중 최고 성적은**Core-50 성공률 29.1%이며, 벤치마크 전용 추가 학습을 하지 않은 GPT-6는660회 시도에서 Core-50 5.2%, Transfer-16 1.9%**를 기록한다. 이는 별도의 시뮬레이션 벤치마크 결과이므로 BiDex-100과의 직접 비교나 실제 로봇의 신뢰성을 나타내는 수치로 읽어서는 안 된다. ³

적응형 초안 생성: 검증 전에 쓸 텍스트 분량 조절

새로운 텍스트 생성 방법은 검증 전에 미리 작성하는 분량을 조절해, 거절될 초안에 쓰는 연산을 줄인다. 기반 기술인 다중 토큰 예측 (Multi-Token Prediction, MTP)은 토큰이라는 텍스트 조각 여러 개를 제안하고 본 모델이 한꺼번에 검증하도록 한다. 긴 초안은 채택될 때 시간을 아끼지만 뒷부분이 버려지면 연산을 낭비한다.적응형 다중 토큰 예측 (Adaptive Multi-Token Prediction, AMTP)은 이전 검증 결과를 활용해 다음 초안 길이를 고르며, 모델 재학습이나 검증기 변경이 필요하지 않다. ⁴

두 수학 벤치마크에서 초안 모델과 본 모델의 조합 5개를 평가한 결과, 일반적인 순차 생성보다최대 4.1배 빠르게 텍스트를 생성한다. 초안 길이를 고정한 방식과 비교하면10개 설정 중 8개에서 같거나 나은 성적을 보이며, 처리량 개선 폭은**최대 10%**다. 두 수치는 비교 기준이 다르다. 큰 수치는 초안 생성 방식 전체를 일반 생성과 비교한 값이고, 작은 수치는 초안 길이 조절의 추가 이득을 나타낸다. 실제 적용에서는 최대 속도보다 사용하는 모델 조합과 작업에서 얻는 개선 폭을 확인하는 것이 중요하다. ⁴

LLM & SOTA Models

NVIDIA Nemotron 3.5: 문서에서 더 나은 근거를 찾는 모델 공개

NVIDIA는 텍스트와 문서 이미지에서 근거를 찾고, 검색 결과 순서를 다시 매기며, 문서 내용을 추출하는 모델을 공개한다. 대형 언어 모델 (Large Language Model, LLM)을 지원하는 모델군이며,최고 수준 (State of the Art, SOTA)이라는 성적은 일반 대화 능력이 아니라 특정 검색 평가에서 보고된다. Nemotron 3.5 제품군에는 매개변수가80억 개와 10억 개인 Embed,80억 개인 Rerank,6억 3,100만 개인 Parse 모델이 포함된다. ⁵

임베딩 모델은 문서 내용을 숫자로 표현해 검색할 수 있게 만들고, 재순위화 모델은 검색 후보 중 질문에 더 적합한 항목을 위로 올린다. NVIDIA가 다른 조건을 고정한 AI 에이전트 실험에서 Rerank를 추가하면 검색 정확도가 높아지는 동시에, 질문당 전체 입력·출력 토큰이 Embed 8B에서는 약 14%, Embed 1B에서는 약 13% 줄어든다. ViDoRe v3.1에서 Embed 8B는61.17점, Embed 1B는58.38점을 기록한다. 지표는 유용한 근거가 상위 검색 결과에 얼마나 잘 배치되는지 나타내는상위 10개 결과의 정규화 할인 누적 이득 (normalized discounted cumulative gain at 10, nDCG@10)이다. ⁵

숫자 표현의 정밀도를 낮춘 경량 Embed 1B 버전은 NVIDIA GB200에서 초당 128.8개 문서를 처리한다. 비교 버전의101.3개보다 처리량이27.1% 높고, 보고된 시험에서 검색 정확도의99.85%를 유지한다. 이는 특정 하드웨어와 평가 조건에서 나온 결과이지 모든 문서 모음에서 같은 절감 효과를 뜻하지는 않는다. 사내 보고서를 검색하는 팀이라면 올바른 근거를 찾는지와 그 근거에 도달하기까지 AI 에이전트가 얼마나 많은 처리를 수행하는지를 함께 비교해야 한다. ⁵

왜 중요한가

더 나은 결과가 답을 작성하는 모델의 크기에서만 나오는 것은 아니다. 기여도 할당은 어떤 단계에 학습 보상을 줄지 가려내고,재순위화는 더 강한 근거를 앞에 놓으며,적응형 초안 생성은 검증 전에 미리 수행하는 작업량을 제한한다. 이들 연구와 모델 공개는 답 자체뿐 아니라 그 주변의 학습·검색·검증 과정도 중요하다는 점을 보여준다. ^{1 4 5}

로봇 벤치마크는 낯선 상황 대응과 긴 작업 수행처럼 능력을 나눠 평가해야 한다는 주의점도 더한다. 통제된 벤치마크 하나에서의 개선은 해당 시험에 대한 근거이지, 모든 업무 문서나 물리적 작업에서 안정적인 성능을 보장하는 것은 아니다. ^{2 3 5}