반응형 딥마인드3 구글, ‘지식 증류’와 합성 데이터로 LLM 성능 극대화 AI 모델 성능 향상을 위한 ‘지식 증류’란?최근 구글 딥마인드는 대형언어모델(LLM)의 데이터 고갈 문제를 해결하고, 추론 성능을 향상시키기 위해 '지식 증류(distillation)'와 ‘합성 데이터’의 효과를 강조하는 연구 결과를 발표했습니다.지식 증류는 고성능 AI 모델이 생성한 데이터를 사용하여 다른 모델을 학습시키는 기술입니다. 이를 통해 사전 학습 데이터가 부족한 상황에서도 우수한 성능의 AI를 개발할 수 있습니다.테스트-타임 컴퓨트(Test-Time Compute)란?이 기술은 하나의 질문을 여러 단계로 나눠 각 단계를 모델이 해결할 수 있는 프롬프트로 변환하는 방식입니다. 각 단계가 해결될 때마다 모델은 새로운 요청을 처리하여, 단계별로 정확성을 높입니다.주요 특징:사고 사슬(CoT, C.. 2025. 1. 7. 딥마인드가 제시하는 AI의 미래 – 시스템 2 사고로 더 똑똑해진 토커-리즈너 최근 구글 딥마인드(Google DeepMind)는 AI의 추론 능력을 크게 향상시키는 새로운 프레임워크를 공개했습니다. 바로 ‘시스템 2 사고(System 2 thinking)’ 개념을 도입해 복잡한 문제 해결 능력을 강화한 토커-리즈너(Talker-Reasoner) 프레임워크입니다. 이 프레임워크는 AI가 즉각적인 반응과 신중한 추론을 동시에 수행할 수 있도록 설계되어 AI 에이전트의 효율성과 정확성을 크게 높여줍니다. 이번 글에서는 토커-리즈너 프레임워크와 그 중요성, 실제 활용 방안에 대해 쉽게 설명하겠습니다.시스템 2 사고란 무엇인가? ‘시스템 2 사고’는 노벨 경제학상을 수상한 심리학자 다니엘 카너먼(Daniel Kahneman)이 제안한 개념으로, 인간의 두 가지 사고 방식을 설명합니다. 인.. 2024. 10. 30. 구글 딥마인드, AI 훈련 속도 13배 빠르고, 10배 저렴한 ‘제스트’ 공개 구글 딥마인드가 AI 훈련의 속도를 대폭 개선하고 비용을 크게 절감할 수 있는 새로운 훈련 방법 ‘제스트(JEST)’를 공개했습니다. 이 새로운 기법은 이미지 및 텍스트 처리를 위한 멀티모달 AI 모델의 성능을 높이고 비용을 줄이는 데 초점을 맞추고 있습니다. 제스트(JEST)의 혁신적 접근일반적으로 AI 모델의 성능을 결정짓는 핵심 요인은 데이터의 품질입니다. 잘 선별된 데이터셋을 활용하면 적은 데이터로도 강력한 성능을 달성할 수 있습니다. 멀티모달 AI 모델은 이미지와 텍스트 쌍의 매핑을 최대화하고 관련이 없는 쌍의 매핑을 최소화하는 방식으로 학습합니다.기존에는 훈련 데이터를 무작위로 선택하거나, 개별 관련성을 기반으로 선택하는 방식을 사용했습니다. 반면, 제스트는 데이터를 개별적으로 선택하는 대신 .. 2024. 7. 8. 이전 1 다음 반응형
