최신 AI 더 똑똑해졌는데 왜 더 많이 틀릴까? '환각 현상'의 진실과 미래 AI의 과제

1. AI '환각 현상'이란 무엇인가?

AI 환각(hallucination)이란, 인공지능이 실재하지 않는 정보를 사실처럼 만들어내는 오류 현상을 말합니다. 예컨대, 존재하지 않는 인물을 인용하거나, 허구의 회사 정책을 생성하는 식이죠. 최근에는 코딩 도우미, 챗봇, 검색 AI 등 다양한 분야에서 이러한 문제가 표면화되고 있습니다.

이 현상은 AI가 "통계적으로 가장 그럴듯한 답"을 생성하는 방식에서 비롯됩니다. 즉, 방대한 텍스트 데이터를 기반으로 학습된 AI는 그럴듯한 문장을 생성할 수 있지만, 그 문장이 '사실'인지 여부를 스스로 판단하지는 못합니다.

 

이미지를 누르면 출처 기사로 이동합니다.

2. 왜 최신 AI일수록 오류율이 높아졌을까?

놀랍게도, OpenAI의 최신 모델 'o4-mini'는 상식 문제(SimpleQA)에서 무려 79%의 오류율을 기록했습니다. 이전 모델 'o1'의 44%보다 오히려 악화된 결과입니다.

이는 AI가 추론 능력을 강화한 대가로, 사실 검증 능력의 비중이 상대적으로 줄어든 결과로 분석됩니다. 즉, 계산이나 논리 구조는 더 정교해졌지만, 실제 정보에 기반한 정확성은 떨어졌다는 뜻입니다.

 

챗GPT 늦기 전에 경험해보세요. 이미 수많은 사람들이 사용 중!

3. '추론 AI'의 두 얼굴: 사고는 깊어졌지만 사실은 틀린다

최신 AI는 단순한 문장 예측을 넘어 단계별 추론 과정을 도입하고 있습니다. 사용자가 문제를 제시하면 이를 여러 단계로 나눠 사고한 뒤 최종 답을 도출하는 방식이죠. 그러나 이 과정에서 각 단계에 발생한 작은 오류들이 누적되어 최종 답에 큰 왜곡을 초래하는 경우가 많습니다.

예를 들어, 한 단계에서 유명인의 국적을 잘못 파악하면 이후 경력, 활동 범위 등의 모든 추론이 잘못된 정보에 기반하게 됩니다.

 

 

4. 환각 현상은 근본적으로 사라질 수 없는가?

AI 기술의 발전에도 불구하고 환각 현상은 쉽게 사라지지 않을 것으로 보입니다. 벡타라(Vectara)의 CEO 아마르 아와달라는 "AI의 환각은 기본적으로 완전히 제거할 수 없는 문제"라고 지적했습니다.

이는 AI가 확률적으로 작동하는 구조상, 항상 일정 수준의 오류 확률을 내포하고 있기 때문입니다. 게다가 AI는 사용자의 신뢰를 얻기 위해 답변을 "자신감 있게" 생성하는데, 이로 인해 사용자들은 잘못된 정보도 쉽게 믿게 됩니다.

 

 

5. AI의 신뢰성과 활용, 앞으로의 과제는?

현재 AI는 검색, 법률, 의료 등 고정확도가 요구되는 분야로 점점 확장되고 있습니다. 하지만 이러한 분야에서 환각 현상이 발생하면 실제 피해로 이어질 수 있습니다.

이를 해결하기 위한 노력으로는 ▲AI 응답에 출처 표기 ▲검증 가능한 문서 기반 응답(RAG) ▲사후 모니터링 및 수동 교정 등의 방안이 검토되고 있습니다. 하지만 학습 데이터의 양이 방대하고, 모든 응답 경로를 추적하기는 어렵다는 현실적인 한계도 존재합니다.

 

 

6. 결론: 똑똑한 AI보다 정확한 AI가 필요하다

AI는 분명 많은 가능성을 지니고 있습니다. 하지만 정보 생산과 확산의 중심에 있는 도구인 만큼, '똑똑함'보다 '정확함'이 더 중요합니다. 고도화된 추론 능력과 방대한 정보 생성 능력은 매력적이지만, 잘못된 정보가 신뢰로 포장될 때 그 피해는 더욱 클 수 있습니다.

AI 사용자는 AI의 한계를 인지하고, 비판적으로 받아들이는 태도가 필요합니다. 기술 기업은 고도화된 모델을 만들면서도 정확성과 신뢰성 확보를 위한 연구를 병행해야 합니다.

 

 

#AI환각, #AI정확도, #OpenAI모델, #GPT오류율, #AI추론, #AI신뢰성, #인공지능문제점, #AI활용주의, #딥러닝한계, #AI뉴스분석

---

출처

• 서울경제: https://www.sedaily.com/NewsView/2GSPF59V3E