vLLM 업데이트, AMD Zen CPU 추론 가속·Mellum v2 지원
패치 v0.22.1이 AMD Zen CPU에서 양자화 추론 속도를 높이고 새 모델 호환을 추가했다. 동시에 두 편의 논문은 전문가 라우팅과 저랭크 모델을 경쟁력 있게 압축하는 실용적 경로를 제시한다.
비즈니스 데스크는 이렇게 봤어요 → 애플, Xcode 27에 에이전틱 코딩 도입·AI 모델 접점 통합30초 브리핑
- vLLM v0.22.1, AMD Zen 양자화 선형 가속 추가
- CPU 추론 비용 절감과 지원 모델 확대 가능
- 벤치마크 변화와 프로덕션 안정성 보고서 주시
한 줄 요약
대형 모델을 더 싸고 빠르게 돌리기 위한 실무 해법이 모였다: vLLM이 CPU 추론을 가속하고, 두 논문이 전문가형과 조밀 모델을 압축하는 새로운 경로를 제시한다.
Open Source & Repos
vLLM v0.22.1: Mellum v2 지원과 AMD Zen CPU 가속
vLLM은 대형 언어 모델(LLM)을 빠르고 메모리 효율적으로 실행·제공하는 엔진이다. 2026-06-05 공개된 패치 v0.22.1은 표적 버그 수정과 함께 JetBrains의 Mellum v2 신규 모델 지원, 그리고 AMD Zen 중앙처리장치(CPU)에서 zentorch로 가속되는 양자화 선형 추론을 추가했다. 1
왜 중요하나: vLLM은 “누구에게나 쉽고, 빠르고, 저렴한 LLM 서빙”과 “고처리량·메모리 효율적 추론·서빙 엔진”을 표방한다. CPU 측 가속은 가속기 의존을 낮추며 더 넓은 환경에서 모델을 운영할 수 있게 하고, 신규 모델 지원은 통합 비용을 줄인다. 1
살펴볼 점: AMD Zen 서버에서는 새 양자화 선형 경로의 체감 이득을 검증할 수 있고, Mellum v2를 사용하는 프로젝트는 기본 호환의 이점을 얻는다. 이번 릴리스는 6명의 기여자(신규 1명)의 8개 커밋으로 구성되어 점진적 유지·보수 흐름을 보여준다. 1
Research Papers
MoE를 조밀 모델로: 가지치기와 증류 프레임워크
이 논문 ‘Pruning and Distilling Mixture-of-Experts into Dense Language Models’는 훈련된 전문가 혼합(MoE) 언어 모델을 표준 조밀 모델로 변환하는 체계적 프레임워크를 제시한다. 전문가를 점수화·선정·그룹화해 조밀 피드포워드 네트워크(FFN)로 이어 붙이고, MoE 교사 모델로부터 지식 증류로 성능을 다듬는다. 저자들은 Qwen3‑30B‑A3B에서 7개 점수화, 5개 그룹화, 2개 크기 스케일링을 조합한 350개 구성을 평가했으며, 제안한 다양성 인지 점수화가 Qwen3‑30B‑A3B, DeepSeek‑V2‑Lite, GPT‑OSS‑20B에서 기존 방법을 일관되게 앞선다고 보고한다. 2
동일 파라미터 수로 통제 비교할 때, 제안한 MoE→조밀 변환은 약 40억 토큰 증류 후 평균 다운스트림 정확도에서 조밀→조밀 가지치기보다 +6.3포인트 높았고 학습 벽시계 시간은 1.6배 빨랐다. MoE는 모든 전문가 파라미터를 메모리에 적재해야 하므로 메모리 제약 환경에 불리한데, 단일 조밀 학생 모델로의 변환은 이런 운영 복잡도를 줄일 수 있다. 2
SigmaScale: 학습 스케일로 SVD 압축 향상
SigmaScale은 잘린 특이값 분해(SVD)를 쓰는 저랭크 분해에 학습된 보조 스케일 행렬을 더해 대형 언어 모델(LLM)을 압축하는 기법이다. 행·열 대각 스케일 변환을 두 개의 벡터 집합으로 활성화 인지형 손실 하에 최적화하고, 유효 랭크 엔트로피를 낮추며 그 감소가 압축 손실과 강하게 연관됨을 보인다. Llama 3.1 8B Instruct와 Qwen3‑8B에서 관련 최신 SVD 기반 방법과 비교해 퍼플렉시티와 제로샷 벤치마크에서 대등한 성능을 보였다. 3
실무 관점의 함의: 가중치 행렬마다 구조에 맞춘 활성화 인지형 변환을 학습해 더 유연한 저랭크 LLM 압축을 구현한다. 추론 계산 비용을 줄여야 하는 응용에서 실용적 선택지가 될 수 있음을 결과가 시사한다. 3
왜 중요한가
동일 하드웨어에서 더 많은 성능을 끌어내는 도구는 도입 리스크와 비용을 낮춘다. vLLM의 CPU 가속은 하드웨어 선택지를 넓히고, 두 압축 연구는 모델을 더 작게 또는 단순하게 만들어도 정확도를 크게 잃지 않는 실행 경로를 보여준다. 1
지연, 메모리, 예산을 동시에 관리해야 하는 팀에겐 MoE 교사를 조밀 학생으로 바꾸는 방법과 저랭크 분해에 학습 스케일을 더하는 방법이 vLLM 같은 서빙 엔진을 보완한다. 하나는 모델 발자국을 줄이고, 다른 하나는 서빙 효율을 높인다. 2
이번 주 시도해볼 것
- vLLM 빠른 시작: GitHub의 vLLM README를 따라 CPU에서 소형 모델을 띄워 성능 차이를 확인한다 (https://github.com/vllm-project/vllm).
- MoE→조밀 변환 논문 훑어보기: 초록과 그림으로 점수화·그룹화 아이디어를 파악하고 실무 적용 가능성을 메모한다 (https://arxiv.org/abs/2605.28207).
이 기사의 용어
- vLLMvLLM
vLLM은 PagedAttention으로 KV 캐시를 비연속 블록처럼 관리해 메모리 단편화를 줄이고, 연속 배치 스케줄러로 진행 중인 생성 배치에 새 요청을 동적으로 합류시켜 GPU 활용도를 높이는 오픈소스 LLM 서빙 엔진이다.
- 추론Inference
추론은 학습이 끝난 모델에 새 입력을 넣어 예측, 분류, 생성 결과를 계산하는 실행 단계다. LLM에서는 prompt를 token으로 바꾸고, prefill과 decode 과정을 거쳐 다음 token을 반복 생성하며, latency·throughput·메모리 사용량이 핵심 운영 지표가 된다.
- 대규모 언어 모델LLM
대규모 언어 모델은 대규모 텍스트 말뭉치로 사전학습되어 자연어를 이해·생성하는 딥러닝 계열 모델로, 주로 Transformer를 기반으로 한 자기-어텐션으로 토큰 간 관계를 병렬로 포착하고(디코더 중심일 경우 다음 토큰을 순차 예측), 필요에 따라 인코더·디코더 구성이나 멀티모달 입력을 통해 범용성을 확장한다.
이 소식, 두 데스크의 시선
vLLM 업데이트, AMD Zen CPU 추론 가속·Mellum v2 지원
애플, Xcode 27에 에이전틱 코딩 도입·AI 모델 접점 통합
애플이 Xcode 27에서 에이전트 코딩과 새 인텔리전스 프레임워크를 공개해 Anthropic·Google·OpenAI 모델을 통합했다. 사양 제한으로 온디바이스 기능이 갈리는 가운데, 자격 조건에 따라 Private Cloud Compute를 통한 Apple 모델 무료 접근이 비용 레버로 작동한다.
댓글 (0)