두뇌의 자발적 신경 활동에서 힌트를 얻어, 딥러닝의 ‘과도한 확신’ 편향을 낮추는 새 초기화 방법

안녕하세요. 디지털에이전시 이앤아이입니다.

생성형 AI를 쓰다 보면 가끔 “와, 말 진짜 그럴듯하다” 싶다가도, 한 줄만 더 확인해 보면 사실이 아닌 경우가 있습니다. 더 문제는 AI가 틀린 답을 하면서도 꽤 당당하다는 점이죠. 이 ‘과도한 확신’은 단순한 해프닝을 넘어 자율주행, 의료 진단처럼 안전이 중요한 분야에서는 곧바로 리스크가 됩니다.

최근 KAIST 백세범 교수 연구팀이 흥미로운 접근을 내놨습니다. AI가 본격적으로 학습을 시작하기 전에, 스스로 “나는 아직 모른다”는 상태로 정렬시키는 ‘예열 단계(warm-up)’를 도입해 과신을 크게 줄이는 방법입니다. 연구는 국제 학술지 네이처 머신 인텔리전스에 게재됐다고 알려졌습니다.

핵심은 딥러닝의 출발점에 있습니다. 많은 모델은 학습 시작 시점에 ‘무작위 가중치 초기화’를 사용합니다. 문제는 이 무작위 상태의 신경망이 실제로는 아무것도 배우지 않았는데도, 어떤 입력에는 이상할 정도로 높은 확신 점수를 내는 일이 생긴다는 점입니다. 이런 편향이 누적되면 생성형 AI가 존재하지 않는 사실을 그럴듯하게 만들어내는 이른바 ‘환각’으로 이어질 수 있습니다. 2023년 화제가 됐던 ‘세종대왕이 맥북 프로를 던졌다’는 식의 황당한 답변이 대표적인 예로 자주 언급되죠.

연구팀은 해결의 힌트를 인간 두뇌에서 찾았습니다. 사람의 뇌는 태어나기 전부터 외부 자극 없이도 스스로 신호를 만들어내는 ‘자발적 신경 활동’을 통해 신경회로의 기본 틀을 잡는다고 알려져 있습니다. 이를 인공신경망에 빗대어, 실제 데이터로 훈련하기 전에 먼저 불확실성을 조정하는 예열 과정을 넣었습니다. 그 결과 예열을 거친 모델은 초기 확신도가 우연 수준에 가깝게 낮아지고, 학습하지 않은 데이터에 대해 괜히 자신만만해지는 현상이 완화됐다고 합니다.

쉽게 말해, 기존 모델이 “일단 답부터 하고 보자”였다면, 예열 학습 모델은 “근거가 없으면 모른다고 말하자”에 가까워진 셈입니다. 이 변화는 사용자 경험에도 직결됩니다. 기업 입장에서는 고객 상담 챗봇, 사내 지식검색, 문서 요약 자동화처럼 실무에 AI를 붙일 때 가장 곤란한 지점이 ‘그럴듯한 오답’인데, 예열 단계 같은 접근은 정확도 경쟁과는 다른 방향에서 신뢰성을 끌어올리는 카드가 될 수 있습니다.

다만 현실 적용에서는 “모른다”의 기준을 어디에 둘지, 모른다고 답했을 때 다음 행동(추가 질문, 출처 제시, 사람에게 에스컬레이션)을 어떤 UX로 설계할지가 함께 따라와야 합니다. 예를 들어 대학이나 병원처럼 정보의 정확성과 책임 소재가 중요한 조직이라면, ‘확신 낮음’ 응답을 단순 거절이 아니라 검증 가능한 출처 안내, 담당 부서 연결, 또는 최신 공지 우선 노출로 연결하는 흐름이 특히 중요하겠습니다.

메타 설명: KAIST 연구팀이 인간 두뇌의 자발적 신경 활동에서 착안해 딥러닝 모델에 ‘예열 단계’를 도입, AI의 과도한 확신과 환각을 줄이고 ‘모른다’고 답하는 신뢰성 향상 방법을 제시했다.

이앤아이와 함께 더 나은 웹 환경을 만들어 나가요!

#AI환각 #과도한확신 #딥러닝 #가중치초기화 #예열학습 #메타인지AI #KAIST #네이처머신인텔리전스 #자율주행AI #의료AI #이앤아이 #디지털에이전시 #대학교홈페이지 #병원홈페이지 #AI전문기업