한 줄 요약

감사와 평가가 한층 정밀해졌다: 법률 AI는 오류의 ‘방향’까지 드러내 45% 허위 검출을 줄였고, 병원용 에이전트형 검색 시스템은 96.5% 검증률을 보고했으며, 이미지 모델 평가와 4비트 학습법도 재정의됐다.

Research Papers

LegalHalluLens: 법률 AI 환각 유형 감사와 방향 지표

LegalHalluLens는 법률 워크플로에서 쓰는 AI의 환각을 유형별로 분류하고, 오류가 ‘누락’으로 치우치는지 ‘창작’으로 치우치는지까지 측정하며, 그 결과에 맞춰 다중 에이전트 토론을 조정하는 감사 프레임워크다. ¹

계약 이해 애티커스 데이터셋(Contract Understanding Atticus Dataset, CUAD)에서 510개 계약과 249,252개 조항 단위 사례를 분석한 결과, 숫자·시간·의무/권리·사실 네 범주별 프로파일은 같은 모델 내부에서도 의무/숫자 대 시간 청구 간에 약 38–40 퍼센트포인트(pp)의 격차가 있음을 보여준다. 이는 평균 약 52% 환각률이 숨기는 차이이며, 제안된 위험 방향 지수(Risk Direction Index, RDI)는 누락 대 창작 편향을 하나의 스칼라로 요약해 같은 52%라도 서로 반대 방향의 위험을 가질 수 있음을 드러낸다. ¹

감사에서 드러난 실패 양상에 맞춰 의문 제기자(Skeptic)가 답변을 반박하고 비대칭 게이트로 걸러내는 보정된 토론 파이프라인은 허위 검출을 45% 줄였고, 범주별 이득도 진단과 일치했다. 특히 40억(4B) 활성 파라미터 백본으로 상용 애플리케이션 프로그래밍 인터페이스(Application Programming Interface, API) 서비스와 견줄 성능을 보였다. ¹

규정 준수와 조달 담당자에게 RDI와 유형별 프로파일은 기존 총점 지표에 없는 ‘방향 인지’ 신호를 제공하므로, 실제 위험에 맞춘 도입·설계 결정을 돕는다. 향후 공급사 평가와 법률 AI 서비스 수준 문구에 방향 인지 감사가 반영되는지 지켜볼 만하다. ¹

ACIE: 병원 온프레미스 에이전트형 RAG, 96.5% 검증

ACIE(Agentic Clinical Information Extraction)는 수백 개 이질적 문서에서 환자 정보를 추출하고, 임상의가 검증할 수 있도록 항상 출처 문단을 제시하는 온프레미스 검색 증강 생성(Retrieval‑Augmented Generation, RAG) 파이프라인이다. ²

University Medicine Essen에 도입해 림프종 레지스트리 후향 평가와 함께 검증한 결과, 총 7,326건의 판단 중 전체 수용률 96.5%(항목별 80%~99%)를 기록했다. 임상 데이터에서 표준 RAG가 취약한 누락·불완전 메타데이터 문제를 핵심 설계 과제로 규정하고 해결책을 제시했다. ²

FID Lottery: 이미지 생성 평가 점수의 숨은 랜덤성

FID Lottery는 프레셰 인셉션 거리(Frechet Inception Distance, FID) 점수가 학습 시드와 생성 시드에 따라 달라지는 확률변수임을 보여주며, 단일 수치 보고가 오해를 부를 수 있음을 지적한다. ³

ImageNet 256×256 조건부 생성에서 수백 개 모델을 측정한 결과, 같은 레시피를 다른 학습 시드로 재학습하면 고정 모델에서 샘플만 다시 뽑을 때보다 FID가 인셉션 특징 공간에서 3.2배 더 크게 변했다. 분산의 주 원인은 무작위 초기화, 데이터 순서, 플로 매칭 손실(flow‑matching loss)의 단계별 가우시안 노이즈였다. 연산량이나 모델 크기를 늘려도 퍼짐이 크게 줄지 않아 변동계수(Coefficient of Variation, CoV)는 1~2% 범위에 머물렀고, 셀 단위 분류기 없는 가이던스는 퍼짐을 절반으로 줄이지만 ‘잘된 시드’가 바뀐다. ‘운 좋은’ 학습 시드는 최대 2배 적은 연산으로 같은 FID에 도달할 수 있었다. 저자들은 셀 단위 최적 가이던스, 약 1.3% CoV 미만 격차는 결론 불가, 여러 학습 시드에 대한 오차 막대 보고를 권고한다. ³

UFP4: FP4 사전학습 수축 편향 해결 레시피

이 연구는 대형 언어 모델(Large Language Model, LLM) 사전학습에 쓰이는 비균일 4비트 부동소수점(FP4) 형식(예: E2M1, 지수 2비트·가수 1비트)에 ‘수축 편향’이라 부르는 체계적 음의 반올림 오차가 존재함을 보인다. 표현 가능한 구간의 기하학적 비대칭이 원인이며, 계층을 지날수록 곱셈적으로 누적되고 랜덤 아다마르 변환(Random Hadamard Transform, RHT)으로 증폭된다. ⁴

이에 반해 E1M2(지수 1비트·가수 2비트)나 4비트 정수(INT4) 같은 균일 격자는 이런 기하학 유래 오류를 피하고, RHT로 개선된 버킷 활용도를 양자화 품질로 더 잘 전환한다. 제안하는 UFP4는 학습 단계의 일반 행렬 곱(General Matrix Multiplication, GEMM) 세 곳 모두에 RHT를 적용하고, 확률적 반올림은 출력 기울기(dY)에만 제한한다. 그 결과 Dense 15억(1.5B), 전문가 혼합(Mixture of Experts, MoE) 79억(7.9B), MoE 1,240억(124B) 장기 사전학습에서 강력한 E2M1 기준선 대비 bfloat16(BF16) 기준 손실 열화를 더 낮게 유지했다. 저자들은 향후 가속기가 E1M2/INT4 기반 균일 4비트 격자를 1급 학습 프리미티브로 지원해야 한다고 제안한다. ⁴

Open Source & Repos

LocalAI: GPU 없이 로컬에서 다양한 모델 실행

LocalAI는 일상적 하드웨어에서 언어·비전·음성·이미지·비디오 모델을 실행할 수 있는 오픈소스 엔진으로, 그래픽 처리 장치(graphics processing unit, GPU) 없이도 동작한다. ⁵

저장소는 MIT 라이선스와 다운로드용 릴리스 페이지를 제공한다. ⁵

왜 중요한가

규제가 강한 영역에서 요구되는 신뢰성을 위해, 오늘의 연구는 총점 대신 위험과 실무를 바로 읽을 수 있는 신호로 시선을 돌린다. 계약에서는 방향 인지 감사, 의료에서는 출처가 딸린 추출, 이미지 생성 평가는 오차 막대, 4비트 학습은 기하학 편향을 피하는 격자 선택이 핵심임을 보여준다. ¹

AI 도입팀은 벤더에 위험 방향 지수 같은 방향 인지 지표를 요구하고, 임상 시스템에는 항목별 출처 제시를 기대하며, FID 보고에는 시드별 오차 막대를 포함하고, 학습 레시피나 가속기 평가에서는 균일 FP4 격자를 우선 검토할 수 있다. ³

이번 주 시도해볼 것

1. LocalAI 설치: GitHub 릴리스에서 바이너리를 내려받아 CPU만으로 작은 모델을 실행해 본다 — https://github.com/mudler/LocalAI
2. 계약 점검 실습: 숫자·시간·의무/권리·사실 네 범주로 질문을 분리하고, 각 답변에 근거 문단 제시를 요구해 환각 방향을 체감해 본다.