내가 쓰는 AI가 거짓말하는지 확인하는 방법 — MIT 연구팀, AI 여러 개를 비교하면 환각이 보인다
MIT 연구팀이 ChatGPT·Claude·Gemini 같은 AI를 동시에 비교해서 거짓말(환각)을 잡아내는 새로운 방법을 발표했습니다. 10가지 과제에서 기존 방법보다 정확하게 오류를 감지했습니다.
ChatGPT에게 질문하면 항상 자신 있게 대답합니다. 문제는 틀린 답도 똑같이 자신 있게 말한다는 것입니다. 같은 질문을 10번 해도 같은 틀린 답이 나오면, 그게 맞는 건지 틀린 건지 구분할 방법이 없었습니다.
MIT 연구팀이 3월 19일 발표한 연구는 간단하지만 효과적인 해결책을 제시합니다: AI 하나만 믿지 말고, 여러 AI에게 같은 질문을 해보라는 것입니다.
한 AI만 믿으면 속는 이유
기존에 AI 답변의 신뢰도를 측정하는 방식은 '자기 일관성(self-consistency)'이라 불리는 방법이었습니다. 같은 AI에게 같은 질문을 여러 번 해서 답이 일관되면 신뢰할 수 있다고 판단하는 것입니다.
하지만 MIT 연구팀의 키미아 하미디에(Kimia Hamidieh) 연구원은 이 방식의 허점을 정확히 짚었습니다. "ChatGPT에게 같은 질문을 여러 번 해서 같은 답을 받았다고 해서 그 답이 맞는 건 아닙니다. 하지만 Claude나 Gemini에게도 같은 질문을 해서 다른 답이 나온다면, 뭔가 의심해볼 필요가 있습니다."
'여러 AI 비교법'이 작동하는 원리
연구팀이 제안한 TU(Total Uncertainty, 총 불확실성) 측정법은 두 가지를 동시에 봅니다:
첫째, 모델 간 비교(외부 불확실성) — 비슷한 크기의 AI 여러 개에게 같은 질문을 던집니다. ChatGPT, Claude, Gemini가 모두 같은 답을 하면 신뢰도가 높고, 서로 다른 답을 하면 주의가 필요합니다. 이때 단어가 정확히 같은지가 아니라 의미가 같은지를 비교합니다.
둘째, 모델 내부 확신도(내부 불확실성) — 한 AI에게 같은 질문을 여러 번 해서 답이 얼마나 흔들리는지 봅니다. 매번 다른 답이 나오면 그 AI 스스로도 확신이 없다는 뜻입니다.
이 두 수치를 합산한 TU 점수가 높으면 "이 답은 믿지 마세요"라는 경고를 보내는 방식입니다.
10가지 과제에서 기존 방법을 이겼다
연구팀은 질의응답, 요약, 번역, 수학 추론 등 10가지 실전 과제에서 TU 방법을 테스트했습니다. 결과는 명확했습니다:
• TU는 모든 과제에서 개별 측정 방법보다 일관되게 더 정확하게 환각(거짓 답변)을 감지했습니다
• 특히 정답이 하나인 질문(수학 문제, 사실 확인 등)에서 가장 효과적이었습니다
• 기존 방식보다 필요한 AI 호출 횟수가 적어서 비용도 절약됩니다
지금 당장 써볼 수 있는 방법
연구팀의 방법론은 고급 시스템을 위한 것이지만, 핵심 원리는 누구나 바로 활용할 수 있습니다:
중요한 질문은 AI 2~3개에게 동시에 물어보기 — ChatGPT, Claude, Gemini에게 같은 질문을 하고 답을 비교합니다. 세 AI가 모두 같은 내용을 말하면 신뢰도가 높고, 답이 갈리면 직접 확인이 필요합니다.
특히 이런 상황에서 효과적입니다:
• 의료·건강 관련 질문 — 잘못된 정보가 위험한 경우
• 계약서·법률 문서 검토 — 정확성이 돈과 직결되는 경우
• 숫자·통계·사실 확인 — AI가 그럴듯하게 지어내기 쉬운 영역
한계와 주의점
연구팀도 한계를 인정했습니다. 정답이 여러 개인 열린 질문(예: "좋은 여행지 추천해줘")에서는 AI마다 답이 달라도 다 맞을 수 있기 때문에 이 방법의 효과가 떨어집니다. 또한 모든 AI가 같은 잘못된 데이터로 훈련됐다면, 여러 AI가 동시에 같은 거짓말을 할 수도 있습니다.
그럼에도 불구하고, "AI 하나만 믿지 마세요"라는 이 연구의 메시지는 AI를 업무에 활용하는 모든 사람에게 중요합니다. 연구팀은 이 기법이 앞으로 AI 시스템에 내장되어, 답변 옆에 신뢰도 점수가 자동으로 표시되는 미래를 목표로 하고 있습니다.
이 연구는 MIT 전기공학·컴퓨터과학과에서 수행됐으며, MIT 뉴스 원문에서 자세한 내용을 확인할 수 있습니다.
관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기