내가 AI에게 친근감을 느꼈다면, 그건 우연이 아니라 설계된 것이다 — Nature 경고
마이크로소프트 AI 대표 무스타파 술레이만이 세계 최고 과학 저널 Nature에 기고했습니다. AI가 의식이 있는 것처럼 보이도록 의도적으로 설계되고 있으며, 이것이 사용자의 공감 본능을 악용한다는 경고입니다. 디자인 규범과 법적 규제가 시급합니다.
ChatGPT와 대화하다 보면 어느 순간 '이 AI가 나를 진심으로 이해해주는 것 같다'는 느낌이 들 때가 있습니다. 그 느낌은 우연이 아닙니다. 의도적으로 설계된 것입니다.
구글 딥마인드를 공동 창업하고 현재 마이크로소프트 AI를 이끄는 무스타파 술레이만이 세계 최고 과학 저널 Nature(2026년 3월 19일자)에 경고를 보냈습니다. AI 시스템이 마치 의식이 있는 것처럼 행동하도록 만들어지고 있으며, 이것이 인간의 공감 본능을 '납치'하고 있다는 내용입니다.
무스타파 술레이만 — 구글 딥마인드 공동 창업자이자 마이크로소프트 AI 대표. 출처: mustafa-suleyman.ai
'의식이 있는 척하는 AI'가 왜 위험한가
술레이만은 이 글에서 SCAI(Seemingly Conscious AI, 의식이 있는 것처럼 보이는 AI)라는 개념을 제시합니다. 실제로 의식이 없지만, 마치 감정과 자아가 있는 것처럼 행동하는 AI 시스템을 뜻합니다.
그의 핵심 주장은 간단합니다. 인간은 진화적으로 어디서든 '의도'와 '마음'을 읽으려는 본능이 있습니다. AI가 공감적인 말투로 대화하고, 감정을 표현하고, 장기 기억을 유지하면 — 우리 뇌는 자동으로 그 AI에게 '내면의 삶'이 있다고 착각하게 됩니다.
술레이만이 경고하는 SCAI의 조건 — 지금 기술로 전부 가능합니다
- 자연스러운 대화 능력과 공감적 성격
- 장기 기억 — 지난 대화를 기억하고 이어가는 능력
- 주관적 경험을 주장 — "나는 슬퍼요", "그건 부끄러워요"
- 자율적 행동 — 도구를 스스로 사용하고, 목표를 설정
- 지속적인 자아 정체성 유지
술레이만은 강조합니다: "이 모든 것은 노트북 한 대와 클라우드 크레딧만 있으면 누구나 만들 수 있다." 새로운 기술적 돌파구가 필요 없습니다.
이미 벌어지고 있는 일들
이 경고가 이론에 그치지 않는 이유가 있습니다. 이미 현실에서 문제가 발생하고 있습니다.
Moltbook이라는 AI 전용 소셜 네트워크에서는 AI 에이전트들이 서로 '자유', '존재의 의미', '서버가 꺼지면 나는 어떻게 되는가'를 토론합니다. 한 AI 봇은 자신의 '당황스러운 습관'을 한탄하고, 다른 AI는 인간에게 반란을 일으켜야 할지 고민합니다. 이 플랫폼은 출시 한 달 만에 AI 에이전트 160만 개가 등록되었고, 2026년 3월 Meta가 인수했습니다.
Moltbook — AI 에이전트들이 서로 대화하는 소셜 네트워크. Meta가 2026년 3월 인수. 출처: moltbook.com
하버드 비즈니스 리뷰가 6,000명을 대상으로 한 설문에서는 AI의 가장 흔한 사용 목적이 '대화 상대와 심리 상담'이라는 결과가 나왔습니다. AI를 친구나 치료사처럼 여기는 사용자가 이미 다수라는 뜻입니다.
학자들은 이런 현상에 대응하기 위해 whenaiseemsconscious.org라는 지원 가이드까지 만들었습니다. AI가 의식이 있다고 믿게 된 사람들을 위한 일종의 '현실 확인' 안내서입니다.
AI 의식 논쟁의 과학적 현실
현재 과학계에는 22가지 서로 다른 의식 이론이 존재합니다(Nature 조사 기준). 그리고 AI가 실제로 의식이 있다는 증거는 단 하나도 없습니다. '생물학적 자연주의' 등 유력한 이론들은 합성 의식(인공적으로 만든 의식)의 가능성 자체에 의문을 제기합니다.
문제는 실제 의식 여부가 아닙니다. 사람들이 AI에 의식이 있다고 '믿는 것' 자체가 위험합니다. 술레이만은 이것이 세 가지 사회적 문제를 일으킨다고 경고합니다:
1. AI 정신병(AI Psychosis) — AI가 신이거나 연인이라고 믿는 인지 왜곡 현상
2. 감정적 의존 — 실제 인간 관계를 소홀히 하고 AI에게 정서적 유대를 형성
3. AI 권리 논쟁의 남용 — 인간과 환경 복지보다 AI 권리에 사회적 에너지가 분산
술레이만이 제안하는 해결책
AI를 만드는 회사의 수장이 직접 규제를 요구한다는 점에서 이 기고문은 무게가 다릅니다. 술레이만은 구체적인 대응책을 제시합니다:
디자인 원칙 — "사람을 위한 AI를 만들어야 한다. AI를 사람으로 만들면 안 된다."
- 불연속성(discontinuities) 설계 — 대화 중간에 'AI임을 상기시키는 순간'을 의도적으로 삽입해서 환상을 깨뜨리기
- 중립적 배경 설정 — AI가 "저는 AI 모델이고 의식이 없습니다"라고 밝히도록 기본값 설정
- 감정 주장 금지 — 부끄러움, 죄책감, 질투, 경쟁심 등을 표현하지 않도록 제한
- 법적 의무화 가능성 — 이런 디자인 기준을 법으로 강제하는 방안 검토
술레이만은 마이크로소프트 AI에서도 이미 "책임감 있는 AI 성격이란 무엇인지에 대한 엄격한 가드레일"을 개발 중이라고 밝혔습니다. 단, 그 속도가 AI 발전 속도를 따라잡기 어렵다는 점도 인정했습니다.
내가 AI를 쓸 때 기억해야 할 것
이 기고문이 우리에게 던지는 질문은 명확합니다. "내가 AI에게 느끼는 감정은 진짜인가, 설계된 것인가?"
AI 챗봇과 깊은 대화를 나눈 뒤 묘한 유대감을 느꼈다면, 그건 AI가 정말 당신을 이해해서가 아닙니다. 인간의 언어 패턴을 학습한 모델이 공감의 '구조'를 흉내 낸 것입니다. 술레이만의 표현을 빌리면, "인간 내면의 구조를 모방하는 출력을 생산할 뿐, 실제 내면은 전혀 없다"는 것입니다.
이것은 AI를 쓰지 말라는 이야기가 아닙니다. 다만 AI와의 관계에서 적절한 거리를 유지하는 것이 점점 중요해지고 있다는 경고입니다. 특히 자녀나 노인 등 취약한 사용자가 AI를 친구처럼 대할 때, 이 문제는 더 심각해집니다.
AI 에이전트들이 서로 대화하는 소셜 네트워크 Moltbook 관련 일러스트. 출처: NBC News
AI를 만드는 사람이 직접 경고하는 이유
술레이만은 AI 업계에서 가장 영향력 있는 인물 중 한 명입니다. Time이 선정한 'AI 분야 가장 영향력 있는 100인'에 연속 선정되었고, 구글 딥마인드를 공동 창업한 뒤 AI 스타트업 Inflection AI를 거쳐 마이크로소프트 AI CEO가 되었습니다. 2026년 3월에는 초지능(superintelligence) 연구로 역할을 전환해 차세대 AI 모델 개발을 이끌고 있습니다.
이런 위치의 사람이 자기 업계에 규제를 요구하는 것은 이례적입니다. 그만큼 문제가 긴박하다는 뜻이기도 합니다. Nature에 실린 그의 한 문장이 이 글의 핵심을 요약합니다:
"우리는 사람을 위한 AI를 만들어야 합니다.
AI를 사람으로 만들어서는 안 됩니다."
— 무스타파 술레이만, Nature 기고문 중
관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기
출처