제01권 · 제10호 CS · AI · Infra 2026년 4월 6일

AI 용어집

용어 사전레퍼런스학습
딥러닝 ML 기초 인프라 · 하드웨어

GPU그래픽 처리 장치

Graphics Processing Unit

GPU(그래픽 처리 장치)는 수천 개의 작은 코어로 대량의 계산을 동시에 처리하도록 설계된 하드웨어로, 본래 그래픽 렌더링을 위해 태어났지만 현재는 병렬 연산이 많은 AI·머신러닝 같은 데이터 집약적 작업을 가속하는 데 널리 사용된다. 고급 메모리 구조와 병렬 처리 능력을 바탕으로 신경망 학습과 추론 시간을 크게 단축한다.

난이도

30초 요약

컴퓨터가 한 번에 아주 많은 계산을 해야 할 때, 보통 방식으로는 너무 느리다. GPU는 이 많은 계산을 여러 손으로 동시에 나눠서 처리해 시간을 크게 줄여준다. 마치 큰 빨래를 한 사람 대신 세탁기 수십 대로 동시에 돌리는 것과 같다. 다만 전력 소모와 비용이 커서 어디에 쓰는지가 중요하다. -> 그래서 대규모 AI 모델 학습과 빠른 데이터 처리 뉴스에 GPU가 자주 등장한다.

쉽게 이해하기

예전에는 컴퓨터가 일을 줄줄이 줄을 세워 하나씩 처리했습니다. 그런데 AI처럼 수많은 숫자를 한꺼번에 곱하고 더해야 하는 일에서는 이 방식이 병목이 됩니다. GPU는 같은 작업을 잘게 쪼개 수천 개의 작은 일꾼(코어)이 동시에 처리하도록 만든 장치입니다. 큰 피자를 한 명이 천 조각 자르는 대신, 천 명이 한 조각씩 동시에 자르는 그림을 떠올리면 됩니다. 구체적으로 GPU는 행렬·벡터 연산처럼 똑같은 계산을 데이터 조각들에 반복 적용하는 데 특화되어 있습니다. 내부에는 수천 개의 코어가 병렬로 작동하며, 메모리도 이를 뒷받침하도록 설계되어 있습니다. 예를 들어 공유 메모리, L1/L2 캐시, 메모리 코얼레싱 같은 구조가 데이터를 읽고 쓰는 순서를 똑똑하게 묶어 지연 시간을 줄여 줍니다. 이 덕분에 신경망 학습처럼 동일한 수식을 대량의 데이터에 반복 적용하는 작업이 훨씬 빨라집니다. 반면 CPU는 복잡한 분기나 다양한 종류의 일을 유연하게 처리하는 데 강점이 있지만, 대규모 반복 연산을 대량 병렬 처리하는 데는 GPU가 훨씬 효율적입니다. 또한 NVIDIA가 2006년에 공개한 CUDA 같은 소프트웨어 스택을 통해, 개발자는 GPU의 병렬 계산 능력을 일반 목적 계산에도 활용할 수 있게 되었습니다.

예시와 비유

  • 실시간 영상 분석 대시보드: 공장이나 매장에서 카메라 수십 대의 영상을 동시에 받아 이상 상황을 찾아내야 하는 경우가 있습니다. GPU는 프레임마다 같은 연산을 병렬로 수행해, 여러 화면을 거의 지연 없이 분석하도록 도와줍니다.

  • 대규모 텍스트 임베딩 생성: 수백만 문서를 숫자 벡터로 바꾸는 작업은 같은 계산을 문서마다 반복해야 합니다. GPU는 이 반복 연산을 한꺼번에 처리해 하루 걸릴 일을 몇 시간 수준으로 단축시킵니다.

  • 제조 설비 예지 보전: 센서에서 들어오는 시계열 데이터를 모아 고장을 미리 예측하려면, 많은 데이터를 빠르게 가공하고 모델을 자주 재학습해야 합니다. GPU는 이런 대용량 행렬·벡터 연산을 가속해 실시간에 가까운 대응을 가능하게 만듭니다.

  • 대화형 분석 서비스의 응답 지연 축소: 사용자가 질문을 보내면 모델이 수많은 곱셈·덧셈을 수행해 답을 만듭니다. GPU는 이 연산을 병렬화해 응답 시간을 줄여, 체감 성능을 개선합니다.

한눈에 보기

구분CPUGPUAI 가속기(전용)
연산 방식소수의 강력한 코어로 순차 처리에 강점수천 개 코어로 동일/유사 연산 병렬 처리특정 AI 연산(예: 신경망) 최적화된 전용 회로 중심
적합 작업분기 많은 일반 목적 작업, 운영체제, 소규모 계산대규모 행렬·벡터 연산, 그래픽 렌더링, 딥러닝 가속특정 모델/연산에 매우 높은 효율, 범용성은 상대적 제한
소프트웨어 생태계광범위, 표준화CUDA 등 병렬 컴퓨팅 생태계 발달전용 SDK/툴체인, 호환성은 제품별 상이
전력/비용 특성보통높은 성능과 함께 전력/비용 상승용도 맞으면 최고 효율, 하지만 초기 비용·적용 범위 고려 필요

왜 중요한가

  • GPU 없이 대규모 신경망을 학습하면 시간이 과도하게 늘어나 프로젝트 일정이 지연된다.

  • 병렬 처리 최적화가 없으면 데이터 전송과 메모리 병목으로 비용만 늘고 성능은 나아지지 않는다.

  • 전력 소모를 간과하면 운영 비용이 급격히 상승해 비즈니스 모델이 흔들릴 수 있다.

  • CPU와의 역할 분담을 설계하지 않으면 시스템 자원이 낭비되고 응답 지연이 늘어난다.

▶ 이런 것도 궁금하지 않으세요?
  • 실제로 어디서 쓰여요?
  • 직군별 활용 포인트
  • 자주 하는 실수가 뭐예요?
  • 회의에서 어떻게 말해요?
  • 다음에 뭘 공부하면 좋아요?
  • 다음에 읽을 것

실제로 어디서 쓰이나

  • NVIDIA CUDA: 2006년에 공개된 API로, GPU의 병렬 처리 능력을 일반 목적 계산에 활용하도록 해준다. 이를 통해 데이터센터 최적화, 로보틱스, 제조, 암호화폐 채굴 등 수많은 사용 사례가 가능해졌다. (출처: IBM)

  • 대규모 언어 모델(LLM) 학습과 추론 가속에 활용될 수 있다. 병렬 처리와 확장 가능한 GPU 시스템, 풍부한 소프트웨어 스택이 이를 뒷받침한다. (출처: NVIDIA)

  • 영상 처리, 가상화, 고성능 컴퓨팅 환경에서 워크로드 가속에 활용될 수 있다. (출처: Scale Computing)

  • 멀티디멘셔널 배열 등 대형 데이터 구조를 효율적으로 다루는 메모리 구조 덕분에 AI/ML 데이터 처리 파이프라인에 활용될 수 있다. (출처: Telnyx)

직군별 활용 포인트

주니어 개발자: 작은 행렬 연산부터 시작해 병렬 처리의 이점을 체감해 보세요. 데이터 이동과 메모리 접근 패턴을 바꾸면 성능이 어떻게 달라지는지 실험 일지를 남기세요. PM/기획자: 성능 목표(예: 응답 지연, 처리량)와 비용/전력 제약을 먼저 수치로 정의하세요. GPU 투입이 필요한 구간과 아닌 구간을 명확히 나누는 게 ROI를 좌우합니다. 시니어/리드 엔지니어: CPU–GPU 파이프라인을 재설계하고, 배치 크기·메모리 코얼레싱·캐시 전략으로 병목을 줄이세요. 스케일업/스케일아웃 전략과 모니터링 지표를 함께 설계하세요. 데이터 사이언티스트: 모델 구조나 배치 전략이 하드웨어 활용도에 미치는 영향을 실험하세요. 학습/추론 시간, 전력 사용량을 함께 기록해 비용까지 최적화하세요.

주의할 점

  • ❌ 오해: GPU는 그래픽 전용이라 AI에는 맞지 않는다 → ✅ 실제: 본래 그래픽용이었지만, 병렬 연산 구조 덕분에 AI/ML 가속에 매우 적합하다.

  • ❌ 오해: GPU만 쓰면 무조건 빠르다 → ✅ 실제: 데이터 이동과 메모리 접근이 비효율적이면 병목이 생겨 기대 성능이 나오지 않는다.

  • ❌ 오해: GPU는 전력 효율이 좋다 → ✅ 실제: 성능 대비 효율은 높을 수 있지만 고성능 GPU는 전력 소모가 크고 비용도 높다.

  • ❌ 오해: CPU를 버리고 GPU만 쓰면 된다 → ✅ 실제: 분기 처리·제어 로직 등은 CPU가 효율적이며, CPU–GPU 역할 분담이 중요하다.

대화에서는 이렇게

  • 이번 분기 모델 재학습은 GPU 병렬 처리를 극대화하려면 배치 크기와 메모리 코얼레싱 패턴부터 점검합시다.

  • 로봇 비전 파이프라인에서 CPU 전처리가 병목이네요. 일부 연산을 CUDA 커널로 옮기면 지연을 줄일 수 있어요.

  • 전력 예산이 빡빡합니다. GPU 수량 늘리기 전에 데이터 전송 오버헤드부터 최적화하죠.

  • 대시보드 SLA 맞추려면 추론 latency를 더 깎아야 해요. 배치 처리와 캐시 전략을 조정해봅시다.

  • PoC에서는 한 장비에 몰았지만, 운영은 GPU 스케일아웃으로 가야 합니다. 모니터링 지표 정의부터 합시다.

함께 알면 좋은 용어

  • CPU — 분기/제어가 많은 일반 업무엔 강하지만, 대규모 반복 연산은 GPU보다 느릴 수 있다. 어떤 부분을 CPU에 남길지가 성능·비용을 좌우한다.

  • AI 가속기 — 특정 AI 연산에 더 특화되어 효율이 좋을 수 있다. 다만 범용성·생태계는 GPU 대비 제한될 수 있다.

  • CUDA — NVIDIA가 공개한 병렬 컴퓨팅 API. GPU를 일반 목적 계산에 쓰게 만든 결정적 전환점으로, 생태계의 두께가 차별화 포인트다.

  • 병렬 처리 (Parallel Processing) — 큰 작업을 쪼개 동시에 처리하는 개념. GPU의 가치를 이해하는 핵심 배경 지식이다.

  • 메모리 계층 (공유 메모리/L1/L2, 코얼레싱) — 같은 계산이라도 접근 패턴 최적화에 따라 성능 차이가 크게 난다.

  • 대규모 언어 모델 (LLM) — 학습·추론 모두에 막대한 행렬 연산이 필요해 GPU의 강점을 직접 체감할 수 있는 대표 워크로드다.

다음에 읽을 것

  1. 병렬 처리 (Parallel Processing) — GPU 성능의 근본 원리. 일을 어떻게 쪼개 동시 실행하는지 이해가 필요함
  2. CUDA — GPU를 일반 목적 계산과 AI에 활용하게 만든 핵심 소프트웨어 스택
  3. AI 가속기 — GPU와 무엇이 다르고 언제 대체/보완하는지 비교하며 시스템 설계 관점을 확장
도움이 되었나요?