반응형 ai추론2 구글, ‘지식 증류’와 합성 데이터로 LLM 성능 극대화 AI 모델 성능 향상을 위한 ‘지식 증류’란?최근 구글 딥마인드는 대형언어모델(LLM)의 데이터 고갈 문제를 해결하고, 추론 성능을 향상시키기 위해 '지식 증류(distillation)'와 ‘합성 데이터’의 효과를 강조하는 연구 결과를 발표했습니다.지식 증류는 고성능 AI 모델이 생성한 데이터를 사용하여 다른 모델을 학습시키는 기술입니다. 이를 통해 사전 학습 데이터가 부족한 상황에서도 우수한 성능의 AI를 개발할 수 있습니다.테스트-타임 컴퓨트(Test-Time Compute)란?이 기술은 하나의 질문을 여러 단계로 나눠 각 단계를 모델이 해결할 수 있는 프롬프트로 변환하는 방식입니다. 각 단계가 해결될 때마다 모델은 새로운 요청을 처리하여, 단계별로 정확성을 높입니다.주요 특징:사고 사슬(CoT, C.. 2025. 1. 7. AI 스케일링 법칙을 넘어선 새로운 패러다임: 오픈AI의 ‘시스템 2 사고’란? 최근 AI 연구의 선구자 중 한 명인 일리아 수츠케버 OpenAI 창립자가 AI 기술의 새로운 전환점을 공개했습니다. 그동안 AI 학습에서 중요한 개념으로 자리 잡았던 ‘스케일링 법칙’을 넘어서 새로운 방식으로 AI를 학습시키는 방법을 발견했다고 밝힌 것이죠. 이 발표는 AI 업계와 연구자들 사이에서 큰 화제가 되었습니다. 그렇다면 스케일링 법칙이 무엇이고, 이 법칙을 뛰어넘는 새로운 접근 방식은 어떤 의미를 가질까요?스케일링 법칙이란? 스케일링 법칙이란 AI 모델의 성능이 데이터와 컴퓨팅 자원이 늘어날수록 향상된다는 개념입니다. 즉, AI 모델을 더 많이 학습시키고, 더 강력한 컴퓨팅 파워를 활용할수록 더 똑똑한 AI를 만들 수 있다는 원칙이죠. 이 개념은 지난 10여 년간 AI 개발의 중요한 원동력이.. 2024. 10. 30. 이전 1 다음 반응형
