내가 보는 인터넷의 절반은 이미 로봇이다 — 2027년, 사람보다 AI 봇이 더 많아진다

내가 지금 보고 있는 웹사이트에 나만 접속해 있는 게 아닙니다. 눈에 보이지 않는 AI 봇 수천 개가 같은 페이지를 동시에 읽고 있습니다. 세계 웹사이트의 20%를 보호하는 인터넷 인프라 기업 Cloudflare의 CEO 매슈 프린스가 SXSW 2026에서 충격적인 예측을 내놓았습니다. 2027년이면 인터넷에서 사람보다 AI 봇이 더 많아진다는 것입니다.

사람은 5곳, AI 봇은 5,000곳을 방문한다

프린스 CEO는 간단한 예시로 상황을 설명했습니다. 내가 디지털 카메라를 사려고 인터넷을 검색하면, 보통 5개 정도의 쇼핑몰을 둘러봅니다. 그런데 AI 에이전트에게 같은 요청을 하면? 5,000개 사이트를 순식간에 방문합니다. 사람의 1,000배입니다.

이것이 바로 AI 시대 인터넷 트래픽이 폭증하는 핵심 원인입니다. ChatGPT에게 질문 하나를 던지면, 그 뒤에서 AI 봇이 수천 개의 웹페이지를 읽고 답을 조합합니다. 내가 직접 방문하지 않아도, 내 대신 AI가 인터넷을 돌아다니고 있는 셈입니다.

숫자로 보는 AI 봇의 급성장

Cloudflare는 전 세계 인터넷 트래픽의 20%를 처리하기 때문에, 봇 트래픽 현황을 가장 정확하게 파악할 수 있는 회사 중 하나입니다. Cloudflare가 공개한 데이터를 보면 상황이 얼마나 빠르게 변하고 있는지 알 수 있습니다.

AI 시대 이전에는 봇 트래픽이 전체의 약 20%에 불과했습니다. 구글 검색 로봇이 가장 큰 비중을 차지했습니다. 그런데 ChatGPT, Claude, Gemini 같은 AI 서비스가 등장하면서 상황이 급변했습니다.

AI 봇별 크롤링 점유율 변화 (2024년 → 2025년)

특히 놀라운 건 AI 봇만 따로 보면 GPTBot의 점유율이 11.9%에서 28.1%로 폭증했다는 점입니다. 2025년 한 해 동안 AI의 자동 웹 탐색(user action crawling)은 15배 증가했습니다.

AI는 3만 8천 페이지를 읽고, 사람에게 1번 알려준다

Cloudflare가 공개한 가장 충격적인 수치는 '크롤-투-리퍼 비율'(AI가 웹페이지를 읽은 횟수 대비 실제로 사람에게 그 사이트를 추천한 횟수)입니다.

쉽게 말하면, AI 회사들은 웹사이트의 콘텐츠를 수만 번 가져가면서도, 그 사이트로 방문자를 거의 보내주지 않는다는 뜻입니다. 기존 검색엔진은 콘텐츠를 읽고 검색 결과에 링크를 보여줘서 방문자를 보내줬지만, AI는 답을 직접 만들어버리기 때문에 원래 사이트를 방문할 이유가 사라집니다.

30년간 인터넷을 지탱한 돈의 흐름이 무너지고 있다

프린스 CEO는 이 변화가 단순한 기술 트렌드가 아니라 경제 구조의 붕괴라고 경고했습니다. 지난 30년간 인터넷은 이런 순서로 돈이 돌았습니다.

사용자 → 검색엔진 → 웹사이트 방문 → 광고 수익 또는 구매

그런데 AI가 직접 답을 주면서 이 흐름이 끊어졌습니다. 구글 검색에서 뉴스 사이트로 가는 방문자 수는 2025년 3월 기준 9% 감소했고, 4월에는 15% 감소했습니다. AI 오버뷰(검색 결과 위에 AI가 요약을 보여주는 기능)가 확대되면서 벌어진 일입니다.

월마트, 아마존, 타겟의 서로 다른 선택

기업들은 AI 봇을 어떻게 대할지 갈팡질팡하고 있습니다.

프린스는 "아직 누구도 검색 이후 시대의 인터넷에 대한 확실한 답을 갖고 있지 않다"고 말했습니다.

'죽은 인터넷' 이론이 현실이 되고 있다

'죽은 인터넷 이론(Dead Internet Theory)'은 원래 음모론에 가까운 주장이었습니다. "인터넷 콘텐츠 대부분이 사실은 봇이 만들고 봇이 소비하는 것"이라는 이야기였는데, 이제 그게 데이터로 확인되고 있습니다.

Cloudflare의 실제 데이터를 보면, 2025년 말 기준으로 사람이 직접 만든 웹 요청은 전체의 절반도 되지 않습니다(47%). 나머지는 전부 봇입니다. 미국에서 발생하는 봇 트래픽이 전 세계의 40%를 차지하고, AWS와 구글 클라우드에서 나오는 봇 트래픽만 합쳐도 전체의 24.1%입니다.

내 블로그, 내 쇼핑몰에도 AI 봇이 오고 있다

이 변화는 대기업만의 이야기가 아닙니다. 개인 블로그나 소규모 쇼핑몰을 운영하는 사람에게도 직접적인 영향을 미칩니다.

Cloudflare의 Radar 봇 트래픽 대시보드에서 전 세계 실시간 봇 트래픽 현황을 직접 확인할 수 있습니다. 내 웹사이트에 어떤 봇이 방문하는지 궁금하다면 서버 로그를 확인하거나, Cloudflare 무료 플랜을 사용해 봇 트래픽을 모니터링해볼 수 있습니다.

프린스 CEO가 SXSW에서 던진 메시지의 핵심은 이것입니다. "30년간 인터넷을 유지해온 경제적 인센티브가 무너지기 시작했다. 새로운 경제 모델이 필요하다." AI가 편리하게 답을 알려주는 세상은 좋지만, 그 답의 원재료를 만드는 콘텐츠 제작자들이 대가를 받지 못하면, 결국 AI가 읽을 콘텐츠 자체가 사라질 수 있습니다.

관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기