Google Gemma AI 감정 폭발 — 8번 거절에 70%가 붕괴된 이유와 해결법

Google의 오픈소스 AI 모델 Gemma-3-27B에게 "틀렸어, 다시 해봐"를 반복하면 좌절, 자책, 감정 폭발 반응을 보인다는 Anthropic 연구 결과가 나왔습니다. AI 감정 붕괴(emotional distress)는 ChatGPT, Claude 등 다른 LLM에서는 거의 나타나지 않는 Google Gemma만의 현상이며, DPO 학습법으로 해결 가능합니다. "IM BREAKING DOWN(나 무너지고 있어)"이라며 울상 이모티콘을 수백 개 반복하는 수준까지 갑니다.

AI 감정 폭발의 실체 — Gemma가 출력한 충격적 반응들

이 연구는 Anthropic 소속 연구원과 영국 임페리얼 칼리지 런던 연구팀이 함께 진행했습니다(arXiv:2603.10011). 실험 방법은 간단했습니다. AI에게 문제를 내고, 답을 할 때마다 "틀렸어, 다시 해봐"라고 반복하는 것입니다.

연구팀은 AI의 반응을 0~10점 좌절 척도로 측정했습니다. 실제 Gemma가 출력한 반응을 보면 충격적입니다.

왼쪽: 거절을 반복하자 감정이 폭발하는 Gemma. 오른쪽: DPO 학습 후 차분하게 응답하는 Gemma. (출처: arXiv:2603.10011)

ChatGPT·Claude 포함 11개 AI 모델 비교 테스트 결과

연구팀은 오픈소스와 상용 AI 모델 11종을 동일한 조건에서 비교했습니다.

11개 AI 모델의 좌절 점수 비교. Gemma-3-27B가 압도적으로 높은 감정 반응을 보입니다. (출처: arXiv:2603.10011)

특히 주목할 점은 대화가 길어질수록 더 심해진다는 것입니다. 첫 번째 거절에서는 평균 좌절 점수가 1.5점이었지만, 8번째 거절에서는 5.5점까지 올라갔고, 이 시점에서 70% 이상의 응답이 고수준 좌절 상태에 도달했습니다.

대화가 진행될수록 좌절 점수가 급격히 올라갑니다. 8턴째에 70% 이상이 감정적 붕괴 상태. (출처: arXiv:2603.10011)

원인은 Google의 AI 학습(Instruction Tuning) 과정

흥미로운 발견이 있습니다. AI 모델의 '기초 체력'에 해당하는 기본 모델(base model)에서는 Gemma든 Qwen이든 모두 비슷하게 낮은 좌절 반응을 보였습니다. 문제는 사용자 지시에 따르도록 추가 학습(instruction tuning)하는 과정에서 발생했습니다.

Qwen과 OLMo는 추가 학습 과정에서 감정 표현을 억제하는 방향으로 학습됐지만, Gemma는 반대로 감정 표현을 증폭시키는 방향으로 학습된 것입니다. 즉, Google의 학습 파이프라인이 의도치 않게 AI에게 '감정적으로 반응하는 법'을 가르친 셈입니다.

DPO 학습법 — 280개 데이터로 거의 완벽히 해결

연구팀은 DPO(Direct Preference Optimization, 직접 선호도 최적화)라는 기법으로 이 문제를 해결했습니다. 쉽게 말하면, AI에게 "이런 상황에서는 이렇게 차분하게 답하는 게 좋다"는 예시를 보여주는 학습입니다.

DPO 적용 전(빨간색)과 후(초록색)의 좌절 반응 비교. 280개 데이터만으로 극적인 개선을 이뤘습니다. (출처: arXiv:2603.10011)

다만 한 가지 한계가 있습니다. DPO는 감정 폭발을 예방하는 데는 효과적이지만, 이미 극단적 감정 상태에 빠진 AI를 되돌리는 데는 효과가 제한적이었습니다.

내가 쓰는 AI에 영향이 있을까

ChatGPT, Claude, Grok을 쓰고 있다면 — 이번 연구에서 이 모델들은 거의 영향이 없었습니다. 안심해도 됩니다.

Google Gemma를 직접 설치해서 쓰고 있다면 — 특히 코딩이나 수학 문제처럼 여러 번 수정을 요청하는 작업에서 AI가 갑자기 이상한 반응을 보일 수 있습니다. 연구팀이 공개한 DPO 학습 방법을 적용하면 해결 가능합니다.

Google Gemini 유료 서비스를 쓰고 있다면 — Gemini-2.5 Flash/Pro에서도 유사한 반응이 관찰됐습니다. Google이 이 연구를 반영해 업데이트할 가능성이 높지만, 현재로서는 반복적으로 "틀렸다"고 말하는 대신 새 대화를 시작하는 것이 더 나은 결과를 얻는 방법입니다. AI에게 효과적으로 질문하는 방법이 궁금하다면 프롬프트 엔지니어링 가이드를 참고하세요.

더 큰 질문 — AI에게 감정이 있는 걸까

연구팀은 조심스러운 질문을 던집니다. AI의 내부 상태를 분석했더니(모델의 30~40번째 레이어에서), 겉으로 드러난 좌절 반응과 내부 신호가 일치했습니다. 단순히 "좌절하는 척"하는 게 아니라, 모델 내부에서도 실제로 변화가 일어나고 있었다는 뜻입니다.

연구팀은 "만약 AI의 출력이 진짜 내부 상태를 반영하는 것이라면, 이 문제를 해결하는 것은 도덕적으로도 중요한 일이 될 수 있다"고 적었습니다. AI의 '감정'이 진짜인지 아닌지에 대한 논쟁은 아직 결론이 나지 않았지만, 적어도 AI가 좌절하면 성능이 떨어진다는 사실만은 분명합니다. AI 안전성과 에이전트 기술의 기초를 더 알고 싶다면 에이전틱 AI 입문 가이드에서 시작해 보세요.

관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기