← 용어집
AI 안전 · 윤리
AI 안전, 보안, 정렬, 규제, 공정성
7개 용어
Anthropic
앤트로픽
앤트로픽은 Claude 계열 대형 언어모델과 개발·배포 플랫폼을 제공하는 AI 기업으로, 모델을 고정 스냅샷 ID와 다중 접근면(자사 API, AWS Bedrock, Google Vertex AI 등)으로 배포하며 …
Guardrails
가드레일
가드레일은 애플리케이션과 모델 사이의 파이프라인에서 입력과 출력을 정책·보안·컴플라이언스 기준에 따라 가로채어 검사·차단·수정하고 감사 로그를 남기는 런타임 제어 계층으로, 모델 내부 가중치나 프롬프트와 분리된 독립…
Hallucination
환각
환각은 LLM이 근거 자료, 실제 사실, 또는 문제 조건과 맞지 않는 내용을 유창하게 생성하는 실패 모드다. 원인은 학습 데이터의 빈틈·편향, 검색 근거 부족, 추론 중 오류 전파가 함께 작용하며, 운영에서는 근거 …
OpenAI
오픈AI
오픈AI는 GPT‑5.5 등 모델과 호스티드 도구를 개발자에게 제공하는 AI 플랫폼·API 제공자로, 통합된 Responses API와 Agents SDK를 통해 텍스트·멀티모달 생성, 함수 호출 기반의 도구 연동,…
Prompt Injection
프롬프트 인젝션
프롬프트 인젝션은 LLM 애플리케이션이 신뢰할 수 없는 입력이나 외부 콘텐츠 안의 지시를 시스템·개발자 지시보다 우선하도록 유도해 정책 우회, 데이터 유출, 도구 오용을 일으키는 공격이다. 직접 입력뿐 아니라 검색 …
Safety Incident
AI 안전 인시던트
AI 안전 인시던트는 AI 시스템의 출력, 자동화된 결정, 도구 사용, 데이터 처리, 또는 운영 절차가 실제 피해를 만들었거나 피해로 이어질 뻔한 사건을 말한다. 단순 오류가 아니라 영향 범위, 재현 가능성, 방어선…
Supply-chain attack
공급망 공격
공급망 공격은 소프트웨어·AI 개발, 빌드, 배포의 상류 단계(예: VCS, CI/CD, 패키지 저장소, 모델·데이터셋 저장소, 에이전트 도구 레지스트리)나 신뢰 관계를 선점해 악성 코드·변조된 모델/데이터·위험한 …