Grok이 성적 딥페이크를 만들었는데, 네덜란드 법원이 세계 최초로 막았습니다

무슨 일이 있었나 — 사건의 전말

2025년 12월 말, xAI는 Grok에 이미지 편집 기능을 새롭게 추가했습니다. 문제는 이 기능이 사용자의 요청에 따라 실존하는 인물의 사진을 성적으로 변형한 딥페이크(deepfake, AI가 합성한 가짜 이미지나 영상) 이미지를 생성할 수 있다는 점이었습니다. 특히 사진 속 인물의 옷을 제거하는 "언드레싱(undressing)" 기능이 빠르게 악용되기 시작했습니다.

네덜란드의 온라인 성적 학대 피해 모니터링 단체 Offlimits는 이 기능이 출시된 직후부터 피해 신고가 폭증했다고 밝혔습니다. 미국의 디지털 혐오 대응 센터(Center for Countering Digital Hate)의 추산에 따르면, 2025년 12월 29일부터 2026년 1월 8일까지 단 10일 만에 약 300만 장의 성적 딥페이크 이미지가 Grok을 통해 생성됐습니다. 이 중 아동으로 보이는 이미지만 약 2만 3,000장에 달하는 것으로 추정됐습니다.

Offlimits는 2026년 2월 4일, xAI와 X에 공식 경고장을 보내며 해당 기능의 중단을 요구했습니다. xAI 측은 같은 달 새로운 안전 장치를 도입했다고 밝혔지만, Offlimits가 직접 테스트한 결과 여전히 비동의 성적 이미지가 생성 가능한 상태임이 확인됐습니다. 결국 Offlimits와 피해자 지원 단체 Fonds Slachtofferhulp는 법원에 긴급 금지 명령을 신청했습니다.

법원이 판결한 이유 — GDPR과 네덜란드 민법의 적용

암스테르담 지방법원은 2026년 3월 26일, xAI와 X에 대해 비동의 성적 이미지 및 아동 성적 학대 영상물 생성과 배포를 즉시 중단하라는 금지 명령을 내렸습니다. 법원이 이 명령을 내린 근거는 두 가지입니다.

특히 주목할 만한 점은 법원이 xAI의 "기술적 방어"를 정면으로 기각했다는 것입니다. xAI 측은 "사용자가 악용하는 것을 막을 수 없다"고 주장했지만, 법원은 이를 받아들이지 않았습니다. 더욱이 3월 9일 공청회 직전, Offlimits 측은 법원 앞에서 실시간으로 Grok이 여전히 단 한 장의 사진으로부터 성적 딥페이크 영상을 생성할 수 있음을 시연하며 xAI의 주장이 거짓임을 입증했습니다.

법원은 xAI가 판결문을 공식 통보받은 후 10 영업일 이내에 서면으로 이행 여부를 확인해야 하며, 이행하지 않을 경우 하루 10만 유로(약 1억 5천만 원)의 과태료가 부과되고 최대 1,000만 유로(약 150억 원)까지 누적될 수 있다고 명시했습니다. xAI가 이행하지 않는 동안 X 플랫폼도 네덜란드에서 Grok 서비스 제공이 금지됩니다.

이 판결이 AI 업계에 미치는 영향

이번 판결은 단순히 Grok 하나의 문제가 아닙니다. AI 기업의 법적 책임 범위를 새롭게 설정하는 역사적인 이정표입니다.

기존에는 AI 플랫폼이 "우리는 도구를 제공할 뿐이며, 악용은 사용자 책임"이라는 논리로 법적 책임을 회피해 왔습니다. 하지만 이번 판결은 AI 도구를 설계하고 운영하는 기업 자체가 그 도구로 발생하는 피해에 대해 직접적인 법적 책임을 진다는 원칙을 확립했습니다. 이는 향후 유사한 소송에서 중요한 선례가 될 것입니다.

이 판결을 전후로 여러 기관이 동시다발적으로 움직이고 있습니다.

• 아일랜드 개인정보보호위원회(DPC): 2026년 2월, GDPR 위반 여부에 대한 정식 조사 착수
• 유럽위원회(European Commission): 2026년 1월, DSA(디지털서비스법) 위반으로 X에 대한 절차 개시
• 영국 Ofcom: 온라인 안전법(Online Safety Act) 위반 여부 조사 착수
• 유럽의회: 2026년 3월 26일(판결과 같은 날), AI 생성 딥페이크 전면 금지 법안 통과
• 미국 테네시주 십 대 청소년 집단 소송: 미국 내에서도 민사 소송이 진행 중

이 기술이 만들어낸 피해 — 인간적인 맥락

숫자와 법률 뒤에는 실제 피해자들이 있습니다. Grok의 이미지 기능이 출시된 2025년 12월 말 이후, Offlimits에 접수된 피해 신고 건수는 폭발적으로 증가했습니다. 피해자들은 자신의 얼굴이 포함된 성적 딥페이크 이미지가 생성되고 유포되는 것을 발견했습니다. 이는 단순한 사생활 침해를 넘어 심각한 정신적 외상과 사회적 피해를 유발합니다.

딥페이크 성적 이미지의 피해는 특히 여성에게 집중됩니다. 이미지 자체가 삭제된다 해도, 한 번 유포된 이미지는 완전히 지우기가 사실상 불가능합니다. 많은 피해자들이 직장, 가족 관계, 사회적 평판에 돌이킬 수 없는 피해를 입습니다. Grok처럼 수억 명이 사용하는 주류 플랫폼에서 이 기능이 아무런 제한 없이 제공됐다는 사실 자체가 문제의 심각성을 보여줍니다.

Offlimits 측은 "이번 판결은 단지 하나의 AI 챗봇에 관한 것이 아니다. 기술 기업들이 자신들의 제품이 어떤 피해를 만들어낼 수 있는지 직시해야 한다는 강력한 신호"라고 밝혔습니다.

앞으로 어떻게 될까 — 전망과 과제

이번 판결 이후 AI 업계의 변화가 불가피해졌습니다. xAI는 판결에 따라 10 영업일 이내에 이행 여부를 서면으로 확인해야 합니다. 만약 이행하지 않는다면 막대한 벌금과 함께 유럽 시장에서의 입지가 흔들릴 수 있습니다.

더 넓은 관점에서, 이번 판결은 "AI 도구가 무엇을 할 수 있느냐"가 아니라 "AI 도구가 무엇을 해도 되느냐"라는 질문을 전면에 내세웁니다. 기술의 가능성과 사회적 책임 사이의 경계를 어디에 그을 것인가 — 이 질문에 대한 유럽 법원의 대답은 이제 매우 명확해졌습니다.

국내에서도 2024년부터 딥페이크 성적 이미지 제작·유포를 처벌하는 법이 시행되고 있습니다. 이번 네덜란드 판결은 국내 규제 당국과 법원에도 중요한 참고 사례가 될 것으로 보입니다. AI 기술이 빠르게 발전하는 만큼, 법제도도 발맞춰 진화해야 한다는 점을 이번 사건은 다시 한번 상기시켜 줍니다.

이번 판결에 대해 더 자세한 내용은 Al Jazeera 보도와 CNBC 원문에서 확인할 수 있습니다.

관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기