top of page

Cloudflare가 Googlebot을 막을 수 있다 + AI 검색 수요 재분배 실체 + ChatGPT 소스 선택법 [2026년 7월 1주 SEO 뉴스]

이번 주 SEO 업계에서 가장 긴급한 소식이 나왔어요. Cloudflare의 새 설정이 Googlebot까지 함께 차단할 수 있다는 경고입니다. 9월 15일 기본값 변경 전에 지금 바로 설정을 확인하셔야 해요.


동시에 'AI가 검색을 죽이고 있다'는 주장의 실체도 드러났습니다. 100만 개 키워드 분석 결과, 검색 수요는 줄어드는 게 아니라 다른 곳으로 이동하고 있었어요. ChatGPT가 소스를 어떻게 선택하는지도 네트워크 트래픽 분석으로 처음 공개됐습니다.


이번 주 SEO 뉴스 5선, 바로 시작할게요.





1. Cloudflare 설정이 Googlebot을 막을 수 있다 — 9월 15일 전에 확인하세요





무슨 일이 생겼나요?


Cloudflare가 크롤러를 세 가지 용도로 분류하는 새 규칙을 도입했습니다. Search(검색 인덱싱), Agent(AI 챗봇 실시간 응답), Training(AI 모델 훈련)입니다. 이 규칙은 9월 15일부터 기본값으로 적용돼요.


문제는 Googlebot처럼 검색과 AI 훈련을 동시에 수행하는 봇에 '가장 엄격한 규칙'이 적용된다는 점입니다. Training을 차단하면 Googlebot 전체가 막힐 수 있어요. 무료 사용자는 설정을 바꾸지 않으면 자동으로 새 기본값이 적용됩니다.





SEO에 어떤 영향을 미치나요?


robots.txt로 크롤러를 차단하면 봇이 파일을 읽고 방문하지 않는 방식입니다. 그런데 Cloudflare 차단은 네트워크 수준에서 작동해요. 봇이 사이트에 접근 자체를 못 합니다. 훨씬 강력하고, 우회도 어렵습니다.


Googlebot이 차단되면 검색 인덱싱이 멈춥니다. 현재 순위가 있어도 점점 드롭될 수 있어요. CDN 방화벽이나 자동 보안 규칙으로 AI 크롤러를 이미 차단 중인 사이트도 같은 위험에 처할 수 있습니다.





지금 당장 해야 할 것


Cloudflare 대시보드에서 Security → Bots 메뉴를 확인하세요. AI 크롤러 설정에서 Training은 차단하더라도 Search는 반드시 '허용' 상태를 유지해야 합니다. 9월 15일 전에 확인해두시면 안전합니다.


Cloudflare를 사용하지 않더라도, 사이트 방화벽이나 CDN 설정에서 GPTBot, OAI-SearchBot 등 AI 크롤러를 일괄 차단한 적이 있다면 Googlebot도 함께 막혔는지 robots.txt와 함께 점검해보세요.








2. AI가 검색을 29% 줄였다? — 사라진 게 아니라 이동한 겁니다





100만 키워드가 보여준 진실


Search Engine Land가 발표한 100만 키워드 분석은 이 논쟁을 정면으로 다룹니다. 감소한 키워드(285,489개)가 잃은 검색량은 약 102.9억 건. 반면 증가한 키워드(140,835개)의 검색량은 103.1억 건이에요.


숫자가 거의 같죠? 검색이 사라진 게 아니라 다른 키워드로 이동한 겁니다. 가트너의 '2026년 25% 감소' 예측이 자주 인용되는데, 그 숫자의 실체가 이거예요.





어떤 콘텐츠가 타격받나요?


산업별로 격차가 큽니다. FinTech(-37.7%), 헬스케어처럼 AI가 완결된 답을 줄 수 있는 정보형 콘텐츠가 가장 많이 줄었어요. 반면 SaaS(+48%), Lifestyle(+40%) 등 구매와 비교가 필요한 거래형 키워드는 오히려 성장했습니다.


how-to 가이드나 FAQ처럼 'AI가 답을 다 줄 수 있는' 콘텐츠가 가장 취약해요. 이 유형은 독자가 사이트에 올 이유가 없어지고 있거든요. 반대로 비교·구매·선택을 도와주는 콘텐츠는 여전히 검색 의존도가 높습니다.





검색 전략을 어떻게 바꿔야 할까요?


중요한 데이터가 하나 더 있어요. 'AI 챗봇이 브랜드를 언급하면 59%가 해당 웹사이트를 방문한다'는 수치입니다. AI 인용이 클릭을 만들어내는 새로운 경로가 됐어요. 검색 순위만큼이나 AI 가시성이 중요해진 이유입니다.


콘텐츠 전략을 점검해보세요. how-to 중심이라면 비교·추천·거래 지원 콘텐츠 비중을 높이는 게 좋습니다. 그리고 AI 인용을 위한 브랜드 권위성 확보, 제3자 언급 확보가 새로운 SEO의 핵심 과제가 됐습니다.








3. 독점 데이터가 AI 인용에서 압도적으로 유리한 이유





정보 이득 점수, 이게 뭔가요?


AI가 인용할 소스를 고를 때 '이 페이지가 다른 페이지보다 얼마나 새로운 정보를 주는가'를 봅니다. 이걸 정보 이득 점수라고 해요. On-Page.ai 연구 결과, 고유 수치 1개 이하 페이지는 40.2점, 15개 이상은 62.2점이 나왔습니다. 55% 차이입니다.


이미 인터넷에 있는 정보를 정리한 글은 AI가 인용할 이유가 없어요. AI는 이미 그 정보를 학습했으니까요. 어디서도 볼 수 없는 숫자, 조사 결과, 케이스가 있는 페이지를 인용합니다.





콘텐츠 구조를 어떻게 바꿔야 할까요?


ChatGPT가 가장 집중적으로 읽는 구간이 페이지 처음 10~20%라는 분석이 나왔습니다. 글 도입부에 핵심 수치와 결론을 먼저 배치하세요. '이 조사에서 X%가 Y를 경험했습니다' 같은 문장이 맨 앞에 와야 해요.


주의할 점도 있어요. AI는 원본 출처보다 '더 잘 구조화된 집계자'를 인용하는 경우가 있습니다. 데이터를 발행하는 것만큼이나, 읽기 쉽게 구조화하는 것도 중요해요. 표, 박스 강조, 측정 기준 명시를 꼭 챙기세요.








4. ChatGPT가 내 사이트를 어떻게 선택하는지 드디어 밝혀졌다





4가지 소스 파이프라인이 존재합니다


SEO 연구자 Suganthan Mohanadasan이 ChatGPT의 네트워크 트래픽을 분석해 소스 선택 메커니즘을 공개했습니다. ChatGPT는 4가지 채널을 사용해요. Labrador(로이터, WSJ, 위키백과 등 허가된 출판사), Bright(상업·쇼핑·금융 크롤러), Oxylabs(지역 언론 크롤러), SERP(일반 웹)입니다.


흥미로운 발견이 있어요. Reddit는 278회 크롤됐지만 11회만 인용됐습니다. YouTube는 201회 크롤됐는데 인용은 0회. 비디오 메타데이터는 텍스트 인용에 적합하지 않기 때문이에요. 또 일부 쿼리는 웹 검색 자체를 하지 않고 학습 데이터만으로 답변합니다.





지금 바로 적용할 수 있는 인사이트


제품 스펙이나 가격 정보를 이미지나 JavaScript로만 표시하고 있다면 바꿔야 해요. ChatGPT는 HTML 텍스트를 읽습니다. 이미지 안에 있는 숫자는 인용하지 않아요.


그리고 도메인 기준으로 중복 제거가 일어납니다. 같은 주제로 여러 약한 페이지를 만드는 것보다 하나의 완전한 페이지가 훨씬 유리해요. 각 핵심 주제당 대표 페이지 하나를 잘 만드는 게 AI 인용 전략의 기본입니다.








5. ChatGPT 추론 모드에 따라 75%의 소스가 달라진다





두 모드가 완전히 다른 웹을 읽습니다


Semrush와 Growth Memo의 공동 연구 결과입니다. ChatGPT의 최소 추론 모드와 고급 추론 모드(Deep Research 등)에서 겹치는 인용 도메인이 25.6%에 불과해요. 75%는 완전히 다릅니다.


고급 추론 모드에서는 정부·학술 자료 인용이 1.9%에서 8.8%로 4배 늘고, Reddit 등 사용자 생성 콘텐츠는 15%에서 7%로 절반 줄었습니다. 복잡한 질문일수록 공식 출처를 더 많이 인용하는 거예요.





이 결과를 어떻게 전략에 반영할까요?


같은 키워드라도 단순 질문(즉시 모드)과 복잡한 리서치 질문(추론 모드)에서 다른 사이트가 인용됩니다. 쉬운 정보성 콘텐츠는 Reddit이나 인기 사이트와 경쟁하고, 전문적인 분석 콘텐츠는 공식 기관과 경쟁하는 구조예요.


본인 사이트의 콘텐츠 성격에 따라 어떤 쿼리 유형에서 인용될 가능성이 있는지 파악해보세요. 전문 지식을 다루는 사이트라면 심층 분석, 데이터, 출처 명시가 있는 콘텐츠에 집중하는 게 유리합니다.








이번 주 SEO 트렌드 요약





이번 주를 관통하는 키워드


이번 주 다섯 가지 뉴스를 하나로 묶으면 'AI 시대의 크롤링·인용·수요 재편'입니다. AI가 검색을 파괴한다는 공포보다, 어떤 사이트가 AI에 잘 읽히고 잘 인용되는가가 핵심 경쟁력이 됐어요.


크롤 가능한 HTML 구조, 독점 데이터, 제3자 권위 언급. 이 세 가지가 전통 SEO 지표인 키워드·백링크만큼 중요해진 시대가 왔습니다.





다음 주 주목할 것


Cloudflare의 9월 15일 기본값 변경이 실제로 어떤 범위의 사이트에 영향을 줄지, 구글과 Cloudflare 간 협의가 있을지 지켜봐야 합니다. AI Mode 레시피 업데이트처럼 구글이 게시자 친화적 AI Mode 확장을 계속할지도 주목하세요.





마치며


이번 주 SEO 뉴스에서 가장 빠르게 행동해야 할 건 Cloudflare 설정 확인입니다. 9월 15일이 멀어 보여도, 설정 하나가 인덱싱을 막으면 회복까지 몇 달이 걸릴 수 있어요.


마켓피디아는 매주 화요일과 목요일에 SEO 업계의 핵심 변화를 정리해 드립니다. 다음 발행은 2026년 7월 7일(화)입니다.


댓글

마켓피디아

Tel : 010-3599-6345

​아담 인터네셔널

Email : contact@market-pedia.com

(05717) IT 벤처타워 서관 10층

bottom of page