딥러닝

어텐션은 현재의 질의 표현과 입력 요소들의 키·값 표현 사이의 유사도를 통해 가중합을 계산해 중요한 정보에 더 큰 비중을 두는 신경망 메커니즘으로, 토큰 간 거리에 무관하게 전역 의존성을 모델링하며 트랜스포머에서는 …

클로드는 Anthropic이 제공하는 대형 언어 모델 제품군과 이를 사용하는 개발·운영 플랫폼으로, Messages API와 관리형 Agents 같은 표면을 통해 텍스트·코드 중심 작업을 수행하며 모델·요금·레이트리…

크로스 인코더는 쿼리와 문서를 하나의 입력으로 결합해 Transformer의 층별 self-attention으로 모든 토큰을 교차 상호작용시키고 [CLS] 등에서 관련성 점수를 산출하는 상호작용 기반 랭킹 모델로, …

CUDA는 NVIDIA GPU에서 대규모 병렬 계산을 실행하기 위한 프로그래밍 모델과 런타임 플랫폼이다.

확산 모델은 인공지능에서 무작위 노이즈를 점진적으로 제거해가며 새로운 데이터를 생성하는 딥러닝 기반 생성 모델입니다. 이 모델은 실제 데이터에 노이즈를 반복적으로 추가한 뒤, 그 과정을 역으로 따라가면서 의미 있는 …

임베딩은 이산적인 대상이나 고차원 입력을 연속적인 벡터 공간의 좌표로 표현해, 의미·관계·유사도를 거리 계산으로 다룰 수 있게 하는 표현 학습 결과다. LLM·검색 시스템에서는 텍스트나 문서를 임베딩한 뒤 neare…

파인튜닝은 이미 사전학습된 모델을 특정 task, domain, 스타일, 출력 형식에 맞게 추가 학습하는 과정이다. 전체 파라미터를 업데이트할 수도 있고 LoRA 같은 parameter-efficient 방법으로 일…

제미나이는 구글의 멀티모달 생성 모델 제품군으로 Gemini API와 Vertex AI를 통해 제공되며, 텍스트·코드·이미지·오디오·비디오 입력을 처리하고 Pro·Flash·Flash‑Lite 같은 변형을 선택해 긴…

GPU는 대규모 병렬 스레드와 전용 메모리 계층을 통해 행렬 중심의 동일 패턴 계산을 고처리량으로 실행하는 가속 프로세서로, 고대역폭 메모리와 고속 인터커넥트를 활용해 AI 학습·추론 같은 데이터 병렬 워크로드의 처…

그룹 쿼리 어텐션은 대규모 언어 모델(LLM)이나 트랜스포머 모델에서 여러 쿼리(query)를 그룹으로 묶어 효율적으로 어텐션 연산을 처리하는 기술이다. 이 방식은 계산량과 메모리 사용을 줄이면서도 기존 어텐션 구조…

Hugging Face는 AI 모델·데이터셋·데모 앱을 저장, 문서화, 배포, 실행할 수 있는 Hub와 Transformers·datasets·huggingface_hub 같은 오픈소스 라이브러리를 중심으로 구성된 …

추론은 학습이 끝난 모델에 새 입력을 넣어 예측, 분류, 생성 결과를 계산하는 실행 단계다. LLM에서는 prompt를 token으로 바꾸고, prefill과 decode 과정을 거쳐 다음 token을 반복 생성하며…

대규모 언어 모델은 대규모 텍스트 말뭉치로 사전학습되어 자연어를 이해·생성하는 딥러닝 계열 모델로, 주로 Transformer를 기반으로 한 자기-어텐션으로 토큰 간 관계를 병렬로 포착하고(디코더 중심일 경우 다음 …

LoRA는 큰 모델의 원래 가중치는 고정하고 작은 low-rank adapter만 학습해 fine-tuning 비용을 줄이는 방법이다.

모델 증류는 큰 teacher 모델의 출력 분포, 응답, 판단 패턴을 작은 student 모델이 모방하도록 학습해 추론 비용과 지연 시간을 줄이는 최적화 방법이다.

MoE(전문가 혼합)는 입력 토큰마다 게이팅/라우팅 함수가 소수의 ‘전문가’ 네트워크를 선택해 계산하는 희소 조건부 연산 아키텍처로, 주로 Transformer의 FFN을 여러 전문가로 대체해 전체 파라미터 용량을 …

멀티모달 모델은 텍스트, 이미지, 오디오, 비디오 등 둘 이상의 데이터 모달리티를 입력이나 출력으로 처리하도록 설계된 AI 모델이다.

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 해석하고 생성하도록 하는 인공지능 분야로, 대규모 언어 데이터에서 토큰 단위 패턴과 문맥을 학습한 모델을 통해 번역·요약·감정 분류 같은 과업을 수행해 비정형 텍스트를 …

양자화는 신경망의 가중치와 활성값을 부동소수 대신 저비트 정수로 근사해 저장·메모리 트래픽을 줄이고 저정밀 연산 하드웨어로 처리량을 높이는 기법으로, 보정된 값 범위를 기준으로 스케일과 오프셋을 선택해 균일 격자에 …

순환 메커니즘은 인공지능 모델 내부에서 이전 단계의 출력을 다음 단계의 입력으로 다시 사용하는 구조를 의미합니다. 이 방식은 모델이 과거 정보를 기억하거나 반복적으로 처리해야 하는 작업에서 효율성과 성능을 높이는 데…

RLHF는 사람의 선호 비교로 학습한 보상모델을 기준으로 언어모델을 확률적 정책으로 보고 기대 보상을 높이도록, 보통 SFT 이후의 사후학습 단계에서 최적화해 도움이 되고 무해한 행동으로 정렬시키는 방법이다.

RoPE(회전 위치 인코딩)는 Transformer attention의 query/key 벡터를 위치별 각도로 회전시켜, 내적 점수에 상대 위치 정보를 직접 반영하는 위치 인코딩 방식입니다.

셀프 어텐션은 입력 안의 각 요소가 같은 입력의 다른 모든 요소를 비교해, 무엇에 더 집중해야 하는지 가중치를 계산한 뒤 그 정보를 종합해 새로운 표현을 만드는 메커니즘이다. 트랜스포머에서 핵심 역할을 하며, 멀리 …

자기지도 사전학습 과제는 라벨이 없는 입력에서 구조적 단서를 이용해 학습 목표를 정의하고, 그 목표를 풀며 일반화 가능한 표현을 학습하는 자기지도 학습의 훈련 목적들이다. 마스킹·셔플·증강 등으로 입력을 변형해 ‘가…

소라 비디오 모델은 OpenAI가 개발한 인공지능 기반 비디오 생성 모델로, 텍스트로 입력한 설명을 바탕으로 고화질의 동영상을 자동으로 만들어내는 기술이다. 이 모델은 창작, 광고, 영화 등 다양한 분야에서 창의적인…

트랜스포머는 recurrence나 convolution 대신 self-attention과 feed-forward block을 쌓아 sequence 내부의 관계를 병렬로 학습하는 신경망 아키텍처다. 토큰 간 의존성을 …

비전-언어 모델은 이미지, 그림, 차트 등 시각 정보와 텍스트(언어) 정보를 동시에 이해하고 처리할 수 있도록 설계된 인공지능 모델이다. 이 모델은 사진을 보고 설명을 하거나, 차트 이미지를 분석해 답을 내는 등 다…

시각 지시 학습은 이미지-텍스트 지시-응답 예시를 이용해 비전 인코더와 대형 언어 모델을 연결한 멀티모달 LLM을 지시 따르기(task following)에 맞춰 미세조정하는 기법이다. 대표적으로 GPT-4가 생성한…