CS 기초

BM25는 질의와 문서의 관련도를 계산해 순위를 매기는 정보검색 점수 함수로, 단어 빈도를 포화함수로 완만하게 반영하고 문서 길이를 정규화한 뒤 역문헌빈도(IDF)로 가중해 각 질의어의 기여도를 합산하며, k1·b …

역색인은 각 용어를 포함하는 문서들의 목록(포스팅 리스트)으로 용어를 연결하는 검색용 색인 구조로, 토큰화된 단어를 사전(dictionary)에 정렬·압축해 저장하고 항목이 가리키는 리스트의 바이트 오프셋으로 직접 …

오픈AI 코덱스는 소프트웨어 엔지니어링 업무를 수행하도록 설계된 코딩 에이전트로, 기능 구현·버그 수정·코드 설명·리팩터링·PR 제안 등을 처리한다. 코덱스는 저장소가 사전 로드된 클라우드 샌드박스에서 작업을 수행하…

RoPE(회전 위치 인코딩)는 Transformer attention의 query/key 벡터를 위치별 각도로 회전시켜, 내적 점수에 상대 위치 정보를 직접 반영하는 위치 인코딩 방식입니다.

토큰은 LLM이 텍스트를 직접 글자나 단어로 보지 않고 처리하기 위해 나누는 기본 입력 단위다.