세종대왕 맥북 사건 같은 황당한 답변 없앤다···KAIST가 개발한 AI 신뢰성 개선 기술

'AI는 모른다'를 먼저 학습시킨다···KAIST의 획기적 해결책

최근 생성형 AI의 엉뚱한 답변들이 화제를 모으고 있다. 세종대왕의 맥북 소유 여부를 묻는 질문에 말도 안 되는 답을 내놓는 '세종대왕 맥북 사건'이 그 예다. 아무것도 학습하지 않은 상태에서도 높은 확신도를 보이는 현상이 생성형 AI에서 사실과 다른 내용이나 존재하지 않는 정보를 그럴듯하게 만들어내는 '환각' 현상으로 이어진다는 것이다.

이 문제를 근본적으로 해결할 수 있는 방법이 등장했다. KAIST는 백세범 뇌인지과학과 석좌교수 연구팀이 AI가 스스로 모른다는 것을 인식하도록 하는 학습 방법을 개발했다고 27일 밝혔다.

딥러닝의 근본적 문제점

AI의 과신을 유발하는 원인은 '딥러닝' 과정에 있으며, 신경망 학습 시작 시 가중치를 확률 분포에 따라 무작위로 설정하는 '무작위 가중치 초기화'가 널리 사용된다. 문제는 이런 무작위 초기화에 있다.

무작위로 초기화된 신경망에 임의의 데이터를 입력하면 아무것도 학습하지 않은 상태에서도 높은 확신도를 보이며, 이는 실제 데이터를 학습하기 전에 '나는 아직 아무것도 모르는 상태'라는 것을 먼저 학습해야 하기 때문이다.

이렇게 불필요한 과신을 갖고 시작한 AI는 학습 과정에서도 이 편향을 벗기 어렵다. 결국 존재하지 않는 정보를 마치 사실인 것처럼 답변하게 되는 것이다.

뇌과학에서 찾은 해결책

연구팀은 생물학적 두뇌 메커니즘에서 영감을 얻었다. 인간의 두뇌는 태어나기 전부터 외부 자극 없이도 스스로 발생하는 뇌 신호를 의미하는 '자발적 신경 활동'을 통해 신경회로를 형성한다.

연구팀은 이 개념을 인공신경망에 적용해 AI가 본격적으로 학습을 시작하기 전에 스스로의 불확실성을 먼저 조정하는 '예열 단계'를 도입했다. 마치 인간의 뇌가 태어나기 전부터 자기 신경회로를 준비하듯이, AI도 학습 전에 '내가 모른다'는 상태를 먼저 설정하는 것이다.

놀라운 변화

그 결과는 명확했다. 예열 과정을 거친 AI 모델은 초기 확신도가 우연 수준에 가까운 낮은 값으로 정렬되고, 기존 무작위 가중치 초기화에서 나타나던 과신 편향이 크게 완화됐다.

더 중요한 차이는 답변 방식에서 드러난다. 기존 모델은 학습하지 않은 데이터에도 높은 확신을 보이며 잘못된 답을 제시하지만, 예열 학습을 적용한 모델은 확신도를 낮춰 '모른다'고 답할 줄 안다. 세종대왕 맥북 사건 같은 황당한 답변이 사라지는 것이다.

메타인지 능력을 갖춘 AI

백세범 석좌교수는 "이번 연구는 AI가 단순히 정답을 맞히는 수준을 넘어 '무엇을 아는가'와 '무엇을 모르는가'를 구분하는 능력, 즉 메타인지를 갖출 수 있는 가능성을 제시한 것"이라고 말했다.

이는 단순한 정확도 개선을 넘어 AI의 본질적인 신뢰성 문제를 건드린다. AI가 자신의 한계를 인식하고, 확실하지 않은 것은 모른다고 말할 수 있다는 의미다.

광범위한 적용 가능성

이 기술의 활용 범위는 매우 넓다. 이 방법은 자율주행, 의료 AI, 생성형 AI 등 높은 신뢰성이 요구되는 분야를 포함해 거의 모든 딥러닝 모델의 초기화 방식에 적용될 수 있어 AI 전반의 신뢰성을 높이는 핵심 기술이 될 것으로 기대된다.

특히 의료 진단이나 자율주행처럼 틀린 답이 심각한 결과를 초래할 수 있는 분야에서 이 기술의 가치는 매우 크다. AI가 '확실하지 않습니다'라고 답할 수 있다는 것은 인간이 전문가의 판단을 더 신뢰할 수 있다는 의미이기 때문이다.

이번 연구는 AI 신뢰성 논의에서 획기적인 전환점이 될 것으로 보인다. 더 이상 AI의 강한 자신감이 정확성의 척도가 아님을 깨달았을 때, 진정한 의미의 신뢰할 수 있는 AI 시대가 온다.