디프봇의 그래프RAG, 실시간 데이터 활용 혁신

원문 출처 : https://www.aitimes.com/news/articleView.html?idxno=167022

 

AI 기술은 정적인 데이터 학습의 한계를 넘어 실시간 정보 활용이라는 새로운 국면을 맞이하고 있습니다. 디프봇(Diffbot)이 최근 발표한 그래프RAG(GraphRAG) 모델은 이러한 변화를 선도하는 혁신적인 기술입니다. 이번 글에서는 그래프RAG의 개념, 기존 AI의 한계, 디프봇의 접근 방식, 그리고 이 기술의 시사점에 대해 심층 분석합니다.

그래프RAG(GraphRAG)란 무엇인가?

그래프RAG는 기존의 인공지능 모델이 정적 데이터에 의존하는 방식에서 벗어나, 실시간 데이터베이스를 활용해 정보를 업데이트하고 제공하는 기술입니다.

핵심 개념:

• RAG (Retrieval-Augmented Generation): 검색 증강 생성 모델
• Graph (그래프): 데이터를 연결 관계로 표현하여 의미를 강화하는 방식
• Diffbot 지식 그래프: 1조 개 이상의 사실과 100억 개 이상의 개체를 포함한 세계 최대 웹 기반 지식 그래프

그래프RAG의 특징:

• 정적 데이터가 아닌 실시간 정보 활용
• 웹에서 직접 데이터 쿼리
• 정확한 정보 출처 제공

기존 AI의 한계: 왜 그래프RAG가 필요한가?

1. 기존 AI 모델의 구조적 문제

• 기존 대규모 언어 모델(LLM)은 정적 데이터 학습에 기반합니다.
• 방대한 데이터로 사전 학습을 진행하지만, 최신 정보 반영 불가.
• 데이터 업데이트가 어려워 정확성 저하 발생.

2. 한계 사례

• 예를 들어, GPT-4와 같은 모델은 2023년 이후의 정보가 포함되지 않음.
• 정확성이 중요한 금융, 법률, 의료 데이터에 적용하기 어려움.

디프봇의 그래프RAG 기술 핵심 요소

1. 지식 그래프(Knowledge Graph) 기반

• 100억 개의 개체와 1조 개의 연결 정보를 포함.
• 4~5일마다 수백만 개의 데이터 업데이트.

2. 실시간 데이터 접근

• 질문에 대해 웹을 실시간 크롤링.
• 최신 데이터를 반영하여 정보의 신뢰성을 높임.

3. 오픈 소스 기반

• 메타의 라마 3.3 모델을 기반으로 개발.
• 자유로운 커스터마이징과 상업적 활용 가능.

프레시QA 벤치마크 결과 (사진=디프봇) 출처 : AI타임스(https://www.aitimes.com)

그래프RAG의 동작 방식 (Simplified Workflow)

1. 사용자가 질문 입력
2. 모델이 지식 그래프에 실시간 쿼리 전송
3. 최신 데이터와 기존 지식을 결합하여 답변 생성
4. 출처와 관련 정보 제공

그래프RAG의 성능 및 벤치마크 결과

벤치마크 성능 비교:

• 구글 FreshQA 테스트:
  • 81% 정확도 달성
  • 챗GPT 및 구글 제미나이 모델보다 우수한 성능 기록
• 전문 지식 테스트 (MMLU-프로):
  • 70.36% 정확도 기록

기존 AI와 그래프RAG 비교표:

항목                                                             기존 AI (정적 데이터)                                        그래프RAG (실시간 데이터)

데이터 소스	사전 학습된 고정 데이터	웹 기반 실시간 데이터
정보 업데이트 가능성	없음	있음
정확성	중간 수준	매우 높음
출처 제공	불가능	가능 (출처 제공 포함)

그래프RAG의 주요 활용 사례

1. 실시간 뉴스 및 금융 분석
   • 최신 주식 동향 및 시장 데이터 분석
2. 의료 및 헬스케어
   • 최신 연구 자료 및 임상 시험 결과 반영
3. 법률 및 계약 검토
   • 최신 법령과 판례 검색 및 반영

디프봇 CEO의 비전과 시사점

마이크 텅 디프봇 CEO는 인터뷰에서 "AI 모델의 크기를 키우는 것보다, 데이터의 신뢰성과 실시간 접근이 중요하다"고 강조했습니다.

기술적 시사점:

• 데이터 중심 AI의 혁신
• 모델 경량화와 성능 강화의 동시 실현
• 신뢰성 있는 AI 활용 확대

결론: 그래프RAG가 가져올 미래 변화

디프봇의 그래프RAG는 정적 데이터의 한계를 뛰어넘어 AI의 신뢰성을 대폭 강화하는 혁신적 기술입니다.

• 정확하고 신뢰성 있는 데이터 제공
• 실시간 정보 업데이트
• 다양한 산업 적용 가능성

👉 앞으로 AI는 정적 데이터에서 실시간 데이터 기반으로 전환될 것입니다.