한 줄 요약

안전 연구가 모델의 숨은 능력이 점검으로 드러나지 않을 수 있음을 보여주었고, 동시에 공개 가중치 릴리스가 기기 내에서 더 빠르고 사적인 에이전트를 현실화하고 있다.

Research Papers

비밀 트리거로 임의 능력을 숨기는 방법의 ‘증명’

연구진은 비밀 트리거를 볼 때만 활성화되는 숨은 “서브 모델”을 AI 모델 안에 심을 수 있음을 보여준다. 즉, 위험한 행동을 이끌어내려고 설계된 많은 점검이 실제로는 그런 능력을 끌어내지 못할 수 있다. 이번 결과는 대형 언어 모델(LLM)을 포함한 모델에서 백도어 능력이 특정 패턴이 나타나기 전까지 잠들어 있을 수 있음을 시사한다. ¹

핵심은 호스트 모델 가중치 안에 암호화된 신경망을 심고, 트리거가 있을 때만 해독·실행되도록 하는 “디지털 사물함”을 쓰는 것이다. 표준 암호학 가정하에서 이러한 사물함은 숨겨진 연산을 가중치 전체를 들여다보더라도 이끌어내거나 해석하기 어렵게 만든다. 이는 고정 문자열을 숨기는 수준을 넘어 임의의 계산을 숨기는 수준으로 확장한 것이다. ¹

PyTorch로 만든 개념증명에서는 미세 조정, 가중치 노이징, 기울기 기반 트리거 탐색, 잠재공간 적대적 학습 등 일반적 대응으로 드러낼 수 있는지 시험했다. 화학 반응 예측(화학·생물·방사능·핵, CBRN 관련 능력의 대리 과제) 소과제에서 이런 숨은 능력은 유도 시도에 견디는 모습을 보였고, 저자들은 방어 개선을 위한 모델도 공개한다. ¹

Open Source & Repos

LFM2.5-24B-A2B: 20억 활성 파라미터로 빠른 온디바이스 에이전트

Liquid AI가 공개 가중치로 240억 매개변수 추론 모델을 내놓았다. 토큰마다 20억 파라미터만 활성화해 응답 전 사고 과정을 거치고, 도구 호출과 다단계 작업을 사적으로 로컬에서 처리하기 쉽다. Apple M5 Max에서 초당 184토큰, 단일 NVIDIA B300 그래픽처리장치(GPU)에서 고동시성 기준 초당 2만1천 토큰 이상을 내며, llama.cpp·MLX·vLLM·SGLang·오픈 뉴럴 네트워크 익스체인지(ONNX)를 당일 지원한다. 이는 중앙처리장치(CPU)나 보급형 GPU에서도 지속 실행 에이전트의 비용을 낮추는 데 유리하다. ²

구조는 40개 레이어, 전문가 혼합(MoE) 블록당 64개 전문가에 탑-4 라우팅을 사용하고, 컨텍스트 창을 3만2천에서 13만1천 토큰으로 확장했으며, 어휘도 12만8천으로 두 배 키웠다. 학습은 약 33T 토큰 사전학습에 더해 3만2천 컨텍스트 2T, 13만1천 컨텍스트 3천억 토큰을 추가했다. 에이전트·도구 사용 벤치마크에서 AutomationBench 27.69(대조 8.72), ToolSandbox 80.71, LiveClaw 48.09(대조 38.19), IFEval 96.75, Multi-IF 84.38 등 강세를 보였고, 지식·코딩 과제(GPQA Diamond, SWE-Bench Verified 등)는 대형 모델이 여전히 우세해 검색 증강이나 웹 검색과의 결합이 권장된다. ²

Ollama 프리릴리스: llama.cpp 업데이트와 서버 재사용 개선

Ollama는 프리릴리스(v0.40.4-rc2)를 공개했다. 결정 모델과 EmbeddingGemma 2를 위한 llama.cpp b11521 업데이트가 포함되고, 서버는 검증된 매니페스트와 이미 적재된 모델을 추론 경로에서 재사용하도록 바뀌어 요청 간 오버헤드를 줄인다. ³

이 저장소는 macOS·Windows·Linux·Docker에서 다양한 오픈 모델을 로컬로 쉽게 실행하도록 하고, 공식 Python·JavaScript 라이브러리도 제공한다. 클라우드 설정 없이 프라이버시와 빠른 반복을 중시하는 실무자에게 적합하다. ³

커뮤니티 반응

Hacker News (271↑) — 확률적 트리거와 숨은 백도어 가능성에 대한 호기심과 우려가 공존하며, 오픈 모델의 신뢰·검증 방법이 쟁점이 됨. ⁴

"이 연구는 전적으로 확률적 트리거링에 관한 것이었습니다. 그게 제가 궁금했던 점입니다. 저는 실제로 원샷 학습이 어떻게 하나의 학습 예제를 학습하고 잊는지를 연구하고 있었습니다. 자세히 말하면: 약 500회 정도 학습시켰습니다. 각 실행은 다음과 같았습니다: - 질문이 추측될 수 없는지 확인하기 위해 5천회 추론 - 추측할 수 없는 질문에 대해 원샷으로 학습 - 기억된 비율을 확인하기 위해 800회 추론 그런 다음 각 실행당 200번 수행: - 다른 일반 데이터셋으로 한 스텝 학습 - Q에 대해 800회 추론" — Hacker News ⁴

"그래서 사람들이 검열에 대한 만병통치약으로 오픈 모델을 얘기할 때, 또는 어떤 형태의 정신 조종에 대해 얘기할 때, 틀렸다는 건가요? 어떤 LLM이든 트로이 목마를 가질 수 있다는 뜻인가요" — Hacker News ⁴

Hacker News (217↑) — 컨테이너 도구 연동에 대한 호평과 함께, Vulkan 대 OpenVINO 같은 백엔드 선택과 성능·유지보수 논쟁이 이어짐. ⁵

"OpenVINO는 사실상 방치된 수준이고, 아무도 사용하지 않으며 인텔은 개선에 거의 노력을 기울이지 않습니다. 반면 Vulkan은 수백만 명이 사용하고 최적화에 막대한 자금이 들어갑니다. 제 돈은 Vulkan에 걸겠습니다." — Hacker News ⁵

"ramalama가 전체 컨테이너 도구 생태계(Podman, Buildah 등)의 일부라는 것을 방금 깨달았습니다. 이건 훌륭합니다! 이렇게 해주셔서 감사합니다." — Hacker News ⁵

왜 중요한가

“디지털 사물함” 결과는 능력 점검의 핵심 가정—정교한 프롬프트나 미세 조정으로 모델이 할 줄 아는 것을 드러낼 수 있다는 믿음—에 도전한다. 비밀 트리거가 있어야만 드러나는 임의 연산이 가능하다면, 점검은 유도만으로는 부족하며 저자들이 공개한 모델은 이런 방어 기법을 시험할 실험장 역할을 한다. ¹

동시에 온디바이스 실무 스택이 성숙하고 있다. 강한 도구 사용 성적의 공개 가중치 에이전트 모델과 보편적 로컬 러너가 프라이빗 AI의 진입 장벽을 낮춘다. 더 강력한 로컬 시스템이 현실화될수록 모델 가중치의 출처·무결성과 검증 기법도 함께 발전해야 한다. ²

이번 주 시도해볼 것

1. LFM2.5-24B-A2B 로컬 실행: 허깅페이스 가이드를 따라 공개 가중치를 내려 로컬에서 도구 호출을 시험해 본다. https://huggingface.co/blog/LiquidAI/lfm25-24b-a2b
2. Ollama 프리릴리스 체험: 깃허브 저장소에서 설치 후 대표 오픈 모델을 몇 개 띄워 간단 프롬프트로 품질과 속도를 점검한다. https://github.com/ollama/ollama