한 줄 요약

고품질 문헌 기반 데이터 구축, 더 똑똑한 양자화, 시각 사전학습이 모델을 키우지 않고도 성능을 끌어올린다는 증거가 나왔다.

Research Papers

MedPMC: PMC를 1,100만 의료 이미지-텍스트 쌍으로 전환

MedPMC는 퍼브메드 센트럴(PubMed Central, PMC)의 완화된 라이선스 논문을 자동으로 처리해, 멀티모달 모델 학습에 쓸 수 있는 고품질 의료 이미지-텍스트 쌍을 만드는 지속 업데이트 파이프라인이다. 610만 편의 PMC 논문을 적용해 1,100만 개의 이미지-텍스트 쌍을 구축했다. ¹

품질 검증 지표는 다음과 같다: 초기 스크리닝 F1 = 93.2, 다중 패널 그림 탐지 F1 = 96.5, 그림 분리 평균 정밀도 평균(mAP, mean Average Precision) = 89.8, 캡션 정렬 F1 = 81.4, 의료 그림 분류 F1 = 96.5. 의료 교육을 받은 3명을 포함한 5명의 수작업 검토에서 MedPMC 이미지의 95.3%가 의학적으로 관련 있는 것으로 평가됐고, 이전 PMC 기반 데이터셋의 19.7%와 비교해 현저히 깨끗하다. ¹

MedPMC로 학습한 대조적 언어-이미지 사전학습(CLIP, Contrastive Language–Image Pretraining) 계열 모델은 11개 전문과 26개 벤치마크에서 제로샷 수신자 조작 특성(Receiver Operating Characteristic, ROC) 곡선 아래 면적(Area Under the Curve, AUC) 평균을 7.1포인트 끌어올렸고, 동일 구조의 바이오메디컬 CLIP 기준선을 절반 이하의 데이터로 앞질렀다. 멀티모달 대형 언어 모델(LLM, Large Language Model)의 비전 인코더로 넣으면 의료 시각 질의응답 성능이 두 벤치마크에서 각각 1.9, 16.9포인트 개선됐고, 예일 뉴헤이븐 헬스 시스템의 피부과 사진 10,524장에서는 상위 5개 내 정답 포함 비율(Recall@5)이 11.7포인트 올랐다. ¹

연구진은 프레임워크, 코퍼스, 벤치마크, 사전학습 모델을 공개했다. 임상 기록에 직접 접근하지 않고도 재현 가능한 방식으로 의료 멀티모달 시스템을 학습·평가할 수 있는 경로를 제공한다. ¹

KronQ: 70B 모델 2비트 양자화 안정화

KronQ는 사후 양자화(PTQ, Post‑Training Quantization) 기법으로, 크로네커 분해 헤시안 근사 하에서 활성 통계뿐 아니라 그래디언트 공분산을 함께 활용해 재학습 없이 대형 언어 모델(LLM, Large Language Model)을 압축한다. 기존의 2차 PTQ(예: GPTQ(a post‑training quantization method))는 입력 활성에만 의존하고 출력 채널의 기여를 동일하게 가정하는 경향이 있다. ²

KronQ의 핵심은 둘이다. 첫째, 그래디언트 공분산을 이용해 출력 차원까지 무작위 회전을 확장하는 양방향 비동질화 처리로, 입력과 출력 양쪽의 가중치 크기 분산을 줄인다. 둘째, 활성·그래디언트 헤시안의 트레이스를 이용해 층 간 혼합 정밀도를 배분하는 새로운 민감도 지표를 도출한다. ²

LLaMA‑3‑70B의 2비트 가중치 전용 양자화에서 GPTQ 및 GPTAQ(another second‑order quantization method)는 발산하거나 WikiText‑2에서 퍼플렉서티가 2000을 넘는 열화가 발생했지만, KronQ는 퍼플렉서티 7.93을 달성해 극저비트에서도 안정적인 압축을 보였다. ²

시각 사전학습: 텍스트만 학습보다 문서 데이터에서 우위

이 연구는 그림, 조판된 수식, 지면 레이아웃처럼 시각적 요소가 풍부한 문서를 텍스트로 추출하지 않고 그대로 사용해 사전학습하면, 동일한 데이터 원천에서 텍스트만으로 학습하는 것보다 효율적으로 지식을 학습할 수 있다고 주장한다. 여러 백본과 벤치마크를 체계적으로 비교한 결과, 비지도 시각 사전학습이 동일 코퍼스 기준으로 텍스트 전용 사전학습을 일관되게 앞섰다. ³

핵심은 “페이지를 이미지 그대로 읽는다”는 발상으로, 텍스트 추출 과정에서 사라지는 레이아웃 정보를 보존한다는 점이다. PDF와 과학 논문, 웹페이지를 다루는 조직이라면, 모든 것을 평문으로 바꾸기보다 시각적 문맥을 유지하는 더 단순한 파이프라인을 고려할 수 있다. ³

왜 중요한가

의료 AI는 데이터 접근성과 품질의 제약을 받아왔다. MedPMC는 공개 문헌에서 재현 가능하게 고충실도 이미지‑텍스트 데이터를 만들면, 환자 기록에 손대지 않고도 이미지‑텍스트 모델과 임상 태스크 성능(예: 제로샷 AUC 평균 +7.1포인트)을 유의미하게 끌어올릴 수 있음을 보여준다. ¹

배포 관점에서는 KronQ가 2비트 가중치 전용 양자화를 안정적으로 달성(퍼플렉서티 7.93)함을 보여주며, 문서 이미지를 그대로 활용하는 사전학습 흐름과 맞물려 ‘더 크게’가 아니라 ‘더 효율적으로’ 성능을 내는 전략을 뒷받침한다. ²

이번 주 시도해볼 것

1. MedPMC 훑어보기: 초록과 도해를 보며 이미지‑텍스트 쌍 생성·검증 과정을 파악한다. ¹
2. KronQ 방법 읽기: 양방향 비동질화와 혼합 정밀도 배분 아이디어가 2비트 안정성을 어떻게 만드는지 살핀다. ²