검색하는 AI 는 어떻게 작동할까

LLM을 처음 이해하면 자연스럽게 다음 질문이 생긴다.
“그런데 이 모델은 모르는 정보에 대해서는 어떻게 답하지?”
혹은 “최신 정보가 필요한 질문에도 잘 답할 수 있을까?”

이 질문은 아주 중요하다.
왜냐하면 많은 사람들이 AI를 처음 쓸 때 기대하는 것은 단순히 말을 잘하는 모델이 아니라, 필요한 정보를 바탕으로 정확하고 유용한 답을 주는 도구이기 때문이다. 그런데 여기서 LLM만으로는 분명한 한계가 드러난다. 그리고 그 한계를 보완하기 위해 자주 등장하는 개념이 바로 RAG, Retrieval-Augmented Generation이다.

이름은 다소 어렵지만, 핵심 아이디어는 생각보다 직관적이다.
RAG는 AI가 머릿속 기억만으로 말하게 두는 대신, 필요할 때 관련 정보를 먼저 찾아보고 그걸 바탕으로 답하게 만드는 방식이다.

LLM만으로는 왜 한계가 생기는가

LLM은 매우 자연스럽게 말할 수 있다.
질문을 이해하는 것처럼 보이고, 정리도 잘하고, 문장도 그럴듯하게 이어간다. 하지만 그 능력만으로는 실제 서비스나 실무에서 충분하지 않은 경우가 많다.

가장 큰 이유는 LLM이 기본적으로 학습된 패턴을 바탕으로 답을 생성하기 때문이다.
즉, 이미 배운 언어와 정보의 흐름 안에서는 강하지만, 지금 이 순간 필요한 특정 문서나 회사 내부 자료, 방금 업데이트된 정책 같은 것까지 자동으로 아는 것은 아니다.

예를 들어 회사의 사내 문서를 기반으로 답해야 하는 챗봇을 만든다고 해보자.
사용자는 “우리 팀의 휴가 정책이 뭐야?”라고 물을 수 있다.
이 질문은 언어적으로 어려운 질문이 아니다. 하지만 LLM은 그 회사의 실제 최신 휴가 정책을 기본적으로 알고 있지 않다. 그냥 언어 능력만으로는 정확한 답을 보장할 수 없다.

즉, LLM만으로는 말은 잘할 수 있어도, 특정한 근거를 바탕으로 답해야 하는 상황에서는 한계가 생긴다.
이 지점이 바로 많은 AI 제품이 RAG를 필요로 하는 출발점이다.

모델이 모르는 최신 정보 문제

LLM의 한계를 더 쉽게 이해하려면 “최신 정보”를 떠올리면 된다.
모델은 학습이 끝난 시점 이후의 세상 변화를 자동으로 계속 반영하지 않는다. 어떤 모델이 특정 시점까지의 데이터를 바탕으로 학습되었다면, 그 이후에 생긴 뉴스나 문서 업데이트, 제품 정책 변경은 기본적으로 직접 알지 못한다.

이건 AI 뉴스에서도 자주 나오는 문제다.
사람들은 종종 “왜 이 모델은 방금 발표된 내용을 모르지?” 혹은 “왜 최신 가격 정책을 잘못 말하지?”라고 묻는다. 그 이유는 단순하다. 모델이 그 정보를 학습 과정에서 갖고 있지 않기 때문이다.

게다가 최신 정보만 문제가 아니다.
최신이 아니더라도 특정 조직 안의 정보, 특정 서비스의 비공개 문서, 특정 사용자의 개인 데이터처럼 공개 학습 데이터에 포함되지 않는 정보는 애초에 모델이 알 수 없다. 즉, 문제는 단순히 시간이 지난 정보가 아니라, 원래 모델의 기억 바깥에 있는 정보 전반이다.

그래서 실제 제품에서는 “말을 잘하는 것”보다 “필요한 정보를 바탕으로 말하게 하는 것”이 더 중요해진다.
이 요구가 커질수록 RAG 같은 구조가 자연스럽게 필요해진다.

RAG는 무엇을 해결하려고 나왔는가

RAG는 이런 문제를 해결하려는 시도다.
이름 그대로 보면 Retrieval, 즉 검색과 Generation, 즉 생성이 결합된 방식이다. 쉽게 말하면 AI가 답을 만들기 전에 관련 자료를 먼저 찾아오고, 그 자료를 참고해서 답변을 생성하도록 만드는 구조다.

핵심은 모델의 머릿속 기억에만 의존하지 않게 하는 것이다.
기존 LLM이 “내가 학습한 범위 안에서 가장 그럴듯한 답을 만든다”에 가까웠다면, RAG는 여기에 “먼저 관련 자료를 찾아보고, 그 자료를 바탕으로 답한다”는 단계를 추가한다.

예를 들어 어떤 서비스의 도움말 문서를 바탕으로 고객 질문에 답해야 한다면,
RAG 시스템은 사용자의 질문과 관련된 문서를 먼저 찾는다. 그리고 그 문서 일부를 LLM에게 함께 전달해 답변을 생성하게 한다. 이렇게 하면 모델은 막연한 일반 지식 대신, 실제 문서에 근거한 답을 내놓을 가능성이 높아진다.

즉, RAG는 LLM을 더 똑똑하게 바꾸는 마법이라기보다,
LLM이 답할 때 참고할 자료를 함께 주는 방식에 가깝다.
그리고 바로 그 점 때문에 실무와 제품 환경에서 매우 중요해졌다.

검색과 생성이 함께 작동하는 흐름

RAG를 이해할 때는 “검색”과 “생성”이 어떤 순서로 이어지는지 감을 잡는 것이 중요하다.

가장 단순한 흐름은 이렇다.
먼저 사용자가 질문을 한다.
그다음 시스템이 이 질문과 관련 있는 문서나 데이터 조각을 찾는다.
그리고 찾은 내용을 LLM에게 함께 넘긴다.
마지막으로 LLM이 그 자료를 참고해 답을 만든다.

즉, 답변은 처음부터 허공에서 나오는 것이 아니라,
어떤 근거 문서를 바탕으로 만들어진다.
이 구조 덕분에 모델은 최신 정보나 특정 도메인 정보가 필요한 상황에서도 훨씬 유용해질 수 있다.

물론 실제 구현은 더 복잡할 수 있다.
어떤 문서를 어떻게 쪼개서 저장할지, 어떤 자료를 얼마나 많이 가져올지, 질문과 가장 관련 있는 문서를 어떻게 찾을지 같은 문제들이 있다. 하지만 초보자 입장에서는 우선 큰 흐름만 잡아도 충분하다.

RAG는 결국 “먼저 찾고, 그다음 답한다”는 구조다.
이 한 문장만 이해해도 뉴스나 제품 설명에서 RAG가 왜 자꾸 등장하는지 훨씬 쉽게 보인다.

RAG를 알면 AI 제품 뉴스를 어떻게 읽게 되는가

RAG를 알고 나면 AI 제품 뉴스가 다르게 읽히기 시작한다.
예전에는 “자사 데이터 연동”, “문서 기반 답변”, “최신 사내 정보 검색”, “근거 기반 생성” 같은 표현이 다 비슷하게 들렸다면, 이제는 그것이 대부분 모델 자체의 능력보다 RAG 구조와 관련된 이야기일 수 있다는 점이 보인다.

예를 들어 어떤 기업이 “우리 AI 어시스턴트는 사내 위키를 읽고 답한다”고 말한다면,
그 핵심은 모델이 갑자기 회사 내부를 다 이해하게 되었다는 뜻이 아니라, 필요한 정보를 검색해서 답변 생성에 활용하는 구조를 만들었다는 의미로 읽을 수 있다.

또 “환각을 줄였다”는 표현도 조금 더 비판적으로 볼 수 있다.
정말 모델 자체가 더 좋아진 것인지, 아니면 외부 문서를 잘 가져오도록 만들어서 사실 기반 답을 더 잘하게 된 것인지 구분해볼 수 있기 때문이다. 이 차이는 제품을 이해할 때 꽤 중요하다.

결국 RAG를 안다는 것은 기술 용어 하나를 더 외우는 것이 아니다.
AI 제품이 실제로 어떤 방식으로 정확도와 유용성을 높이려 하는지 읽어내는 감각을 갖는 것에 가깝다. 그리고 그 감각이 생기면 뉴스에서 나오는 많은 발표가 훨씬 구체적으로 보이기 시작한다.

마무리

LLM은 말을 잘하지만, 필요한 정보를 항상 알고 있는 것은 아니다.
그리고 실제 제품에서는 바로 그 한계가 자주 문제로 드러난다. 최신 정보, 특정 조직의 문서, 근거가 필요한 답변처럼 현실의 질문은 대부분 모델의 기본 기억만으로 해결되지 않기 때문이다.

RAG는 그 문제에 대한 매우 실용적인 답이다.
AI가 머릿속 기억만으로 말하게 두는 대신, 먼저 관련 정보를 찾아보고 그걸 바탕으로 답하게 만드는 방식. 그래서 RAG는 단순한 기술 유행어가 아니라, 많은 AI 서비스가 실제로 동작하는 핵심 구조 중 하나가 되었다.

초보자에게 중요한 것은 복잡한 구현 세부사항을 전부 아는 것이 아니다.
우선 “RAG는 AI가 찾아보고 답하게 만드는 구조”라는 감각을 잡는 것이다.
이 한 줄을 이해하면 AI 제품 뉴스, 챗봇 설명, 검색 기반 서비스 이야기가 훨씬 덜 낯설어진다.

LLM 다음에 RAG를 이해해야 하는 이유도 여기에 있다.
AI가 단지 말을 잘하는 것에서 끝나지 않고, 실제 정보에 근거해 유용한 답을 하게 만들려면 무엇이 필요한지 보여주는 개념이기 때문이다.