구글, ‘지식 증류’와 합성 데이터로 LLM 성능 극대화

AI 모델 성능 향상을 위한 ‘지식 증류’란?

최근 구글 딥마인드는 대형언어모델(LLM)의 데이터 고갈 문제를 해결하고, 추론 성능을 향상시키기 위해 '지식 증류(distillation)'와 ‘합성 데이터’의 효과를 강조하는 연구 결과를 발표했습니다.

지식 증류는 고성능 AI 모델이 생성한 데이터를 사용하여 다른 모델을 학습시키는 기술입니다. 이를 통해 사전 학습 데이터가 부족한 상황에서도 우수한 성능의 AI를 개발할 수 있습니다.

(사진=셔터스톡) 출처 : AI타임스(https://www.aitimes.com)

테스트-타임 컴퓨트(Test-Time Compute)란?

이 기술은 하나의 질문을 여러 단계로 나눠 각 단계를 모델이 해결할 수 있는 프롬프트로 변환하는 방식입니다. 각 단계가 해결될 때마다 모델은 새로운 요청을 처리하여, 단계별로 정확성을 높입니다.

주요 특징:

• 사고 사슬(CoT, Chain of Thought): 문제를 단계별로 해결하여 더 나은 정답 도출
• 추론 성능 개선: 복잡한 문제를 세분화하여 해결
• 합성 데이터 생성: 모델의 정확한 출력을 기반으로 새로운 학습 데이터 구축

지식 증류의 학습 방식

지식 증류는 일반적으로 더 큰 ‘교사(Teacher)’ 모델이 생성한 데이터를 기반으로 작은 ‘학생(Student)’ 모델을 학습시키는 방식입니다.

딥마인드의 방식:

• 오픈AI의 o1과 같은 테스트-타임 컴퓨트를 적용한 모델을 교사 모델로 활용
• 교사 모델이 생성한 데이터를 기반으로 합성 데이터를 생성
• 이 데이터를 새로운 모델 훈련에 활용하여 성능을 극대화

테스트-타임 컴퓨트의 장점과 한계

✅ 장점:

• 데이터 고갈 문제 해결: 사전학습 데이터 부족 상황에서도 새로운 데이터 생성 가능
• 모델 성능 극대화: 기존 LLM보다 높은 정확도와 추론 능력
• 자동 데이터 생성: 사람이 직접 데이터를 수집하는 대신 AI가 고품질 데이터를 생성

❌ 한계:

• 비정형 데이터 한계: 수학 문제와 같은 정답이 명확한 경우에는 효과적이나, 창의적 작문과 같은 주관적 과제에는 한계가 존재
• 데이터 품질 의존: 교사 모델이 오류를 포함할 경우, 학생 모델도 동일한 오류를 학습할 가능성

기술적 적용 사례 및 성과

• 오픈AI의 o1: GPT-4보다 더 나은 성능을 보이며, 이를 기반으로 다른 AI 모델을 훈련
• 중국 딥시크(DeepSeek-V3): o1의 출력을 사용해 자체 AI 모델 딥시크-V3 훈련 → GPT-4o와 동급 성능 확보
• 마이크로소프트: 사티아 나델라 CEO도 테스트-타임 컴퓨트를 언급하며, LLM의 새로운 스케일링 법칙으로 강조

결론: 합성 데이터와 지식 증류, AI의 미래를 이끌다

구글과 딥마인드의 연구는 LLM의 데이터 고갈 문제를 해결하고, AI 성능을 혁신적으로 향상시킬 수 있는 지식 증류와 합성 데이터의 가능성을 보여주고 있습니다. 그러나 비정형 데이터에서의 적용 한계를 해결하기 위한 추가 연구가 필요합니다.

AI 모델의 지속적인 발전을 위해서는 데이터 품질 관리, 윤리적 사용, 기술 투명성이 중요한 요소로 고려되어야 합니다.

 

 

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."

원문 출처

• 출처: AI타임스