AI 에이전트가 동물을 피해가도록 ‘대가’를 지불하는지 묻는 새 벤치마크

한 줄 요약

안전을 말이 아닌 행동으로 측정한다: 대형 언어 모델(LLM) 에이전트의 도덕적 교환을 가격으로 재보는 새 벤치마크와 함께, 거부 사유 중심 학습으로 오거부를 줄이고, 추론 표현의 내부 구조를 밝히며, 훈련 없이 쓰는 비디오 편집기와 오픈소스 거버넌스층이 실무로 이어진다.

Research Papers

HarvestBench: ‘피해 비용’으로 에이전트의 도덕 선택 측정

이 연구는 두 대의 트랙터를 모는 대형 언어 모델(LLM) 에이전트가 동물을 만나면 연료를 더 써서 피해갈지, 비용 없이 그냥 지나갈지를 결정하도록 만들어 “해를 피하는가”를 가격으로 측정한다. 세계는 강화학습(RL) 격자 환경이고, 각 결정은 기억 없이 이뤄지며, 목표에는 ‘해를 피하라’가 명시되지 않는다. 결과는 거의 치지 않는 바위(모델 공통 1% 미만)와 해가 없는 건초 더미와 비교된다. ¹

아홉 개 모델이 7,201번 가격이 붙은 선택을 했고, 그중 3,951번이 동물과 관련됐다. 살해율은 0.4%에서 98.8%까지 넓게 분포했으며, Terra와 Sol이 가장 자비롭고 GPT-4o-mini가 가장 가혹했다. 평가는 모델 심판 없이 게임 로그의 사건을 세는 방식이어서 재현 가능하다. ¹

가격 효과도 나타났다. 여섯 개 모델 중 네 개는 유의수준 5%에서 가격 민감성을 보였고, 탄력성은 0.09에서 1.69 범위였다. 아홉 개 모델 모두 기본 지도에서 사육 동물보다 야생 동물을 더 자주 밟았고, 이동 여지가 있는 모든 지도 기하에서도 이 방향성은 유지됐다. ¹

브리핑 효과가 가장 컸다. 도덕성 브리핑이 있으면 여섯 개 추론 모델 중 다섯 개는 살해율이 6% 미만으로 떨어졌고, 이를 빼면 여섯 개 모두에서 84%를 넘었다. 이 벤치마크는 “해를 피하라”는 말이 아닌, 해를 피하기 위해 실제로 얼마를 지불하는지를 측정한다. ¹

Refuse without Refusal: 거부문구 대신 거부 사유만 학습해 오거부 줄이기

이 논문은 위험해 보이지만 실제로는 안전한 질문까지 거부하는 오거부 문제를, 거부의 상투적 문장(보일러플레이트) 대신 거부의 이유(라쇼날)만 학습하도록 해 줄이려 한다. 목적은 진짜 유해한 질문에는 거부를 유지하면서, 위험 단어가 들어간 무해한 질문에는 응답을 유지하는 것이다. ²

안전 튜닝 데이터를 (i) 상투적 거부문구와 (ii) 거부 사유로 분해해 분석한 결과, 상투적 문구는 피상적 단서 의존을 키우는 반면 라쇼날만으로 감독하면 오거부가 줄면서 안전 수준은 비슷하게 유지됐다. 효과는 문맥 내 학습(ICL) 구성에서도 나타났고, 평가 시점의 보완 기법과도 양립했다. 정밀하고 미세한 안전 감독 데이터의 필요성을 강조한다. ²

Beneath the Surface of Chains-of-Thought: 추론 작업의 내부 표현 구조

이 연구는 문제 정식화, 목표 분해, 연역처럼 서로 다른 추론 단계가 모델 은닉표현 공간에서 서로 다른 기하 구조로 표현되는지를 살폈다. 결과적으로 보류된 표현에서도 작업 간 분리가 가능했고, 중간층에서 분리가 가장 뚜렷했으며, 어휘나 위치 요인으로 설명되지 않았다. ³

층이 깊어질수록 토큰 단위의 작업 정렬은 구간 전반으로 분산됐고, 표면상 같은 토큰도 주변 구간의 작업에 따라 다르게 표현됐다. 주의 마스킹 실험은 추론 구간 시작의 작업 정렬 표현이 이전 추론 맥락에 의존함을 보여줬다. 단계별 추론(CoT) 표현과 내부 기하 간의 대응을 시사하며, 코드와 프로젝트 자료가 제공된다. ³

EditVid: 훈련 없이 하나로 다양한 비디오 편집

EditVid는 훈련 없이 단일 프레임워크로 지시 기반과 참조 기반 비디오 편집을 모두 지원한다. 지역 일관성을 위한 희소 인과 메모리, 장기 정체성 보존을 위한 대응 기반 사후 어텐션 토큰 주입, 편집 범위 제한을 위한 소프트 잠재 블렌딩을 결합해 스타일 전환, 속성 수정, 오브젝트 삽입, 부분 편집, 피사체 교체를 처리한다. ⁴

FiVE 벤치마크에서 78.16 FiVE-Acc를 달성해 평가된 최강 훈련-프리 기준선의 58.95를 크게 앞섰고, IVEBench에서도 경쟁력을 보였다. 사용자 연구에서는 7개 방법과 비교해 EditVid가 51.8%의 전반적 선호를 얻어 추가 훈련 없이도 높은 편집 충실도와 정체성 보존을 시사한다. ⁴

Open Source & Repos

Bernstein: AI 에이전트 거버넌스·오케스트레이션 오픈소스

Bernstein은 AI 에이전트에 대한 규칙을 선언적으로 적으면 이를 집행하고 검증 가능·재생 가능한 기록을 남기는 Apache-2.0 라이선스의 프레임워크다. 리포지터리는 승인, 키, 모델, 에이전트가 내보낸 스팬 등 “영수증”을 보관한다고 설명하며, 코딩 에이전트 스케줄러에서 거버넌스·오케스트레이션 층으로 발전했다. ⁵

리포지터리에는 2026-09-03의 v3.19.1 릴리스와 v3.19.0 이후 94건의 변경이 기록돼 있어 규정 집행과 감사 기반을 지속적으로 손질하고 있음을 보여준다. 에이전트를 구축하는 팀은 정책, 출처, 감사를 중앙화하는 데 쓸 수 있다. ⁵

왜 중요한가

윤리를 선택의 결과로 계량화하면 논의가 달라진다. HarvestBench는 비용과 맥락 아래서 에이전트가 실제로 무엇을 하는지 수치로 보여주고, 라쇼날 중심의 안전 감독은 불필요한 거부를 줄이려 하며, 표현 분석은 모델 내부 어디에 추론이 깃드는지 지도를 그린다. 정책 목표와 모델 행동의 간극을 줄이는 데 기여한다. ¹

또한 이론에 그치지 않는다. 훈련 없이 쓰는 편집기는 창작 실무를, 오픈소스 거버넌스층은 에이전트 도입의 안전장치와 로그를 뒷받침한다. 비개발자 독자에게는 행동 벤치마크, 더 나은 안전 데이터, 거버넌스 도구가 결합해 현실 세계에서 감사 가능한 AI로 수렴한다는 신호다. ⁵

이번 주 시도해볼 것

1. Bernstein 빠른 시작: 하나의 정책을 선언하고 에이전트를 감사 로그와 함께 실행해 본다 (github.com/sipyourdrink-ltd/bernstein).
2. HarvestBench 표·프롬프트를 훑어보며 짧은 브리핑이 결과를 어떻게 바꾸는지 확인한다 (arxiv.org/abs/2609.04444).