구글 딥마인드, 임베딩 기반 검색의 한계 발견: RAG 시스템의 미래는?

벡터 임베딩이란 무엇인가?

텍스트와 이미지를 벡터로 변환하는 과정

인공지능(AI) 검색과 생성 시스템의 핵심 기술 중 하나는 벡터 임베딩(Vector Embedding) 입니다. 임베딩은 텍스트, 이미지, 오디오와 같은 비정형 데이터를 고차원 공간의 숫자 벡터로 변환하는 과정을 뜻합니다. 예를 들어 “사과”라는 단어와 “배”라는 단어는 과일이라는 의미적 유사성을 공유하기 때문에, 임베딩 공간에서는 두 벡터가 서로 가까운 위치에 배치됩니다.

이렇게 변환된 벡터를 활용하면 단순히 문자가 일치하는 검색이 아니라, 의미 기반 검색(Semantic Search) 이 가능해집니다. 이는 자연어 처리(NLP)와 검색 증강 생성(RAG: Retrieval-Augmented Generation) 시스템에서 폭넓게 사용되는 방식입니다.

검색 증강 생성(RAG)에서 임베딩의 역할

최근 각광받는 RAG 시스템은 쿼리(Query, 질문) 를 벡터로 변환하고, 데이터베이스에 저장된 문서 벡터들과 비교하여 가장 가까운 문서를 찾아냅니다. 이후, 검색된 문서를 LLM(대규모 언어 모델)에 전달해 더 정확한 답변을 생성하도록 돕습니다.
대표적으로 ChatGPT의 기업용 검색 기능이나 다양한 엔터프라이즈 AI 솔루션들이 이 구조를 활용합니다.

딥마인드가 발견한 수학적 한계

단일 벡터 방식의 구조적 문제

구글 딥마인드 연구팀은 최근 발표한 논문 “On the Theoretical Limitations of Embedding-Based Retrieval” 에서 임베딩 기반 검색의 근본적인 수학적 한계를 지적했습니다.
연구진에 따르면 단일 벡터로 문서의 의미를 표현하는 구조는, 복잡한 질문과 다중 연관성을 가지는 문서 조합을 정확히 포착할 수 없습니다.

예를 들어 “사과를 좋아하는 사람은?”이라는 질문에 대해 여러 문서가 동시에 관련성을 가진다면, 하나의 벡터로 모든 조합을 표현하기엔 한계가 발생합니다. 이는 단순한 성능 저하가 아니라 구조적으로 해결 불가능한 제약이라는 점에서 주목할 만합니다.

임베딩 차원과 문서 수의 임계점

연구팀은 자연어 제약을 제거하고, 벡터 자체를 최적화하는 자유 임베딩 최적화(Free Embedding Optimization) 실험을 통해 이 문제를 검증했습니다. 결과는 명확했습니다.

• 512차원 임베딩: 약 50만 개 문서까지만 안정적으로 표현 가능
• 1024차원 임베딩: 약 400만 개 문서
• 4096차원 임베딩: 최대 2억 5천만 개 문서

이 수치를 넘어서는 순간, 검색 성능은 급격히 붕괴했습니다. 즉, 차원을 무한히 늘리더라도 대규모 데이터베이스를 완벽히 다루는 것은 불가능하다는 것이 입증된 셈입니다.

LIMIT 데이터셋 실험 결과

이를 검증하기 위해 연구진은 LIMIT(Limitations of Embeddings for Retrieval) 라는 새로운 데이터셋을 제작했습니다. 이 데이터셋은 간단한 질문과 명확한 답변 구조를 가지면서도, 문서들이 여러 쿼리에 동시에 연관되도록 설계되었습니다.

놀라운 점은 단 46개의 문서만 포함된 아주 작은 데이터셋에서도 한계가 드러났다는 사실입니다. 구글과 스노우플레이크의 최신 임베딩 모델조차 정답을 찾는 비율이 20% 이하에 그쳤습니다. 반면, 전통적인 키워드 기반 검색 알고리즘인 BM25 는 훨씬 안정적인 성능을 보였습니다.

기존 검색 방식과의 비교

임베딩 모델 vs BM25 성능 차이

이번 연구는 최신 임베딩 모델보다 수십 년 된 BM25가 오히려 더 나은 성능을 보일 수 있다는 점을 보여주었습니다. 이는 AI 업계에 상당한 충격을 준 결과입니다.
BM25는 단어의 등장 빈도와 역문서 빈도를 기반으로 검색을 수행하는 전통적인 희소(Sparse) 검색 알고리즘입니다. 임베딩처럼 의미 공간을 활용하지 않음에도 불구하고, 특정 상황에서는 오히려 더 정확한 검색 결과를 제공합니다.

왜 전통적 키워드 검색이 여전히 강력한가

그 이유는 BM25와 같은 희소 검색 모델은 차원 수의 제약이 사실상 무한대이기 때문입니다. 특정 단어가 등장하면 그 자체로 하나의 차원으로 취급할 수 있어, 문서와 쿼리의 조합이 복잡해도 이를 수학적으로 표현하는 데 문제가 없습니다. 따라서 대규모 데이터베이스에서 안정적인 검색 성능을 유지할 수 있습니다.

RAG 시스템에 주는 경고

대규모 데이터베이스에서의 한계

RAG 시스템은 최근 다양한 기업용 AI 솔루션에 채택되면서 큰 인기를 끌고 있습니다. 그러나 딥마인드의 연구에 따르면, 데이터베이스가 웹 규모로 확장될 경우 단일 벡터 임베딩 방식은 신뢰성을 보장할 수 없습니다.

복잡한 쿼리와 지침 기반 검색의 취약성

또한 사용자가 던지는 질문이 복잡해지고, 여러 조건이 동시에 충족되어야 하는 검색에서는 성능이 더욱 악화됩니다. 단일 벡터 구조로는 “조건 A이면서 조건 B도 만족하는 문서” 같은 복합 논리를 충분히 표현하기 어렵기 때문입니다.

제시된 대안과 미래 방향

크로스 인코더(Cross-Encoder)

쿼리와 문서를 각각 벡터로 변환해 독립적으로 비교하는 것이 아니라, 쿼리-문서 쌍을 직접 입력해 연관성을 평가하는 방식입니다. 정확도는 높지만 계산량이 많아 대규모 검색에는 부담이 큽니다.

멀티 벡터 모델(ColBERT)

문서 하나를 단일 벡터로 표현하는 대신, 여러 개의 벡터로 분해해 저장하는 방식입니다. 이렇게 하면 더 정교한 검색이 가능하며, 최근 많은 연구에서 각광받고 있습니다.

희소 검색 기반 모델(BM25, TF-IDF 등)

차원이 사실상 무제한인 희소 표현을 사용하는 방식은 대규모 데이터베이스에서도 안정성을 보장합니다. 최근에는 신경망 기반 희소 검색기도 활발히 개발되고 있어, 전통과 현대 기술이 결합된 형태로 발전하고 있습니다.

하이브리드 검색 아키텍처

가장 현실적인 해법으로 제시된 것은 하이브리드 검색입니다. 즉, 임베딩 기반 검색과 BM25 같은 전통적 검색 방식을 결합해, 두 방식의 장점을 함께 활용하는 것입니다. 이를 통해 정확성과 확장성을 동시에 확보할 수 있습니다.

결론 – AI 검색의 패러다임 전환 필요성

이번 구글 딥마인드의 연구는 “임베딩 기반 검색이 만능 해결책은 아니다”라는 사실을 분명히 보여주었습니다.
단일 벡터 임베딩 구조는 근본적으로 수학적 제약을 가지고 있으며, 이는 데이터 규모가 커질수록 명확하게 드러납니다.

따라서 앞으로의 AI 검색 엔진과 RAG 시스템은 단순히 모델을 키우거나 데이터를 늘리는 방식이 아니라, 검색 아키텍처 자체를 혁신해야 합니다. 크로스 인코더, 멀티 벡터, 희소 검색, 그리고 하이브리드 방식이 그 대안으로 떠오르고 있습니다.

결국 기업과 연구자는 “현재의 임베딩 패러다임에 안주할 것이냐, 아니면 새로운 패러다임으로 전환할 것이냐”라는 선택 앞에 서게 될 것입니다. 이번 연구는 그 전환점을 알리는 중요한 이정표라 할 수 있습니다.