Cloudflare가 AI 크롤러를 Search, Agent, Training으로 나눈 후, We0 AI 웹사이트는 전부 공개해야 할까요?

English Title: Should We0 AI Open Its Entire Website After Cloudflare Split AI Crawlers into Search, Agent, and Training?

Tags: Cloudflare, AI Crawler, Search, Agent, Training, SEO, GEO, We0 AI, AI 웹사이트 구축, 웹사이트 성장

SEO Title: Cloudflare가 AI 크롤러를 Search / Agent / Training으로 나눈 후, 웹사이트를 전부 공개해야 할까? We0 AI의 판단

SEO Description: Cloudflare가 AI 크롤러를 Search, Agent, Training으로 세분화하면서, 웹사이트 운영 전략은 더 이상 '전체 공개 또는 전체 차단'이 되어서는 안 됩니다. 이 글은 We0 AI의 전시 사이트 성장 로직을 바탕으로 무엇을 공개하고, 무엇을 제한하며, 무엇을 기본 차단해야 하는지 분석합니다.

SEO Keywords: Cloudflare AI crawler, Search Agent Training, Cloudflare AI bots, AI 크롤러, AI에 웹사이트 공개 여부, robots.txt, 콘텐츠 보호, SEO, GEO, We0 AI, 전시형 웹사이트 성장

SEO Slug: /blog/cloudflare-search-agent-training-we0-ai-open-or-not

SEO Cover Brief: 전시형 웹사이트가 화면 중앙에 위치하며, 세 가지 다른 색상의 AI 트래픽(Search 유입, Agent 실시간 접속, Training 콘텐츠 흡수)을 마주하고 있습니다. 핵심 시각적 메시지는 '전체 공개가 아닌, 계층적 공개'입니다.

전부 열어야 하는 문제가 아닙니다.

진짜 질문은 이것입니다: 당신의 웹사이트는 어떤 종류의 AI 트래픽에 열어줘야 합니까?

Cloudflare는 최근 AI 크롤러를 Search, Agent, Training 세 가지 유형으로 명확하게 구분했습니다. 이 조치는 단순한 제품 분류처럼 보이지만, 실제로는 웹사이트 운영자의 의사 결정 로직에 영향을 미칩니다.

예전에는 AI 크롤러에 대해 논할 때 열기 또는 닫기라는 두 가지 스위치만 있었습니다.

이제는 상황이 달라졌습니다.

Search 트래픽은 노출과 유입을 가져올 수 있습니다. Agent는 사용자를 대신해 작업을 완료할 수 있습니다. Training은 콘텐츠를 가져가 모델에 축적하는 것에 더 가깝습니다. 이 세 가지는 가치가 완전히 다르고, 위험도 완전히 다릅니다.

따라서 질문이 이렇다면:

Cloudflare가 이미 분류해 놓았는데, We0 AI 웹사이트는 전부 공개해야 할까요?

제 판단은 매우 직접적입니다: 전부 공개해서는 안 됩니다.

하지만 모든 것을 일괄적으로 차단해서도 안 됩니다.

더 합리적인 답변은: 페이지 유형, 비즈니스 목표, 콘텐츠 가치, 전환 경로에 따라 계층적으로 공개하는 것입니다.

이 질문이 왜 이제 중요해졌을까요?

AI 트래픽은 더 이상 하나의 단어가 아니기 때문입니다.

Cloudflare가 2026년 7월 1일에 발표한 업데이트에 따르면, 웹사이트가 마주하는 AI 접근을 세 가지 핵심 용도로 분류했습니다:

카테고리	하는 일	운영자를 위한 일반적 가치	운영자를 위한 일반적 위험
Search	콘텐츠를 수집하거나 인덱싱하여 이후 질문 답변이나 검색 결과에 활용	발견, 언급, 유입 기회 제공	'인용은 있지만 클릭은 적음' 현상 발생 가능
Agent	사용자를 대신해 실시간으로 페이지에 접속하여 작업 완료	직접적인 액션, 체험, 주문, 양식 작성 유도 가능	리소스 소모, 기존 마케팅 경로 우회 가능
Training	콘텐츠를 긁어 모델 훈련 또는 미세 조정에 활용	단기적 직접 보상 거의 없음	콘텐츠 흡수, 통제력 약화

이 세 가지 유형에 동일한 전략을 적용해서는 안 됩니다.

이것은 많은 공식 웹사이트, 콘텐츠 사이트, 제품 사이트 운영자들이 앞으로 반드시 배워야 할 과제입니다.

특히 We0 AI와 같은 웹사이트는 단순한 정적 명함 페이지가 아니라 지속적으로 다음을 수행해야 합니다:

Build → Showcase → Grow → Leads

즉:

구축하고, 명확하게 전시하고, 트래픽을 확보하고, 리드를 생성합니다.

웹사이트 자체가 단순한 페이지 자산이 아닌 성장 자산이라면, AI 크롤러에 대한 전략은 단순히 '크롤링될지 여부'만 고려해서는 안 되며, 다음 사항도 고려해야 합니다:

• 노출을 가져올 것인가
• 전환에 영향을 미칠 것인가
• 콘텐츠 가치를 잠식할 것인가
• 기존 고객 확보 경로를 파괴할 것인가

먼저 결론: We0 AI는 '전부 공개'해서는 안 됩니다

한 문장으로 판단을 내리자면 다음과 같습니다:

We0 AI 웹사이트는 Search는 우선적으로 공개하고, Agent는 신중하게 공개하며, Training은 기본적으로 제한해야 합니다.

이것은 보수적인 접근이 아닙니다.

비즈니스 현실에 더 부합하는 접근입니다.

We0 AI의 핵심 목표는 콘텐츠를 무한히 제공하는 것이 아니라, 웹사이트를 지속적으로 다음 상태로 만드는 것이기 때문입니다:

볼 수 있고, 이해될 수 있고, 연락할 수 있고, 전환될 수 있는 고객 확보 자산.

그리고 이 세 가지 크롤러 유형이 이 목표에 기여하는 정도는 매우 다릅니다.

Search: 공개해야 하며, 특히 '유입을 가져올 수 있는' 유형에 최대한 공개해야 합니다

먼저 잘못 차단해서는 안 되는 것은 Search입니다.

Cloudflare 자체도 새 규칙에서 매우 중요한 판단을 내렸습니다: Search는 여전히 트래픽을 웹사이트로 다시 가져올 가능성이 더 높은 행동 유형입니다. 이것이 새 기본 전략에서 Search가 상대적으로 허용되기 쉽고, Training/Agent가 일부 시나리오에서 더 엄격하게 처리되는 이유입니다.

We0 AI에게 Search의 가치는 특히 큽니다.

We0 AI는 전시형 웹사이트 성장, 즉 단순한 웹사이트 구축 이상을 지향하기 때문입니다. 필요한 것은:

• 브랜드 키워드로 검색되기
• 질문 키워드로 검색되기
• 비교 키워드로 검색되기
• 상황 키워드로 검색되기
• AI 검색 / AI 응답 시스템에 인용되기

매우 현실적인 예를 들어보겠습니다.

사용자가 다음과 같은 검색을 한다면:

• AI 웹사이트 제작 도구는 어떻게 선택할까
• SaaS 공식 사이트는 어떻게 SEO를 할까
• 쇼케이스형 웹사이트는 어떻게 문의를 받을까
• 독립 개발자는 어떻게 제품 출시 페이지를 만들까

이런 검색 노출은 We0 AI에게 비즈니스 가치가 있습니다. 사용자가 단순히 구경하러 온 것이 아니라 이미 해결책을 찾고 있을 가능성이 높기 때문입니다.

따라서 다음 콘텐츠는 일반적으로 Search에 우선적으로 개방해야 합니다:

• 블로그 게시물
• 제품 기능 설명 페이지
• 시나리오 페이지 / use case 페이지
• 가격 관련 공개 설명 페이지
• 사례 페이지
• FAQ 페이지
• 사용자 인지도를 높이는 비교 콘텐츠

하지만 주의할 점은 "모든 Search가 동일하지 않다"는 것입니다.

일부 크롤러가 Search와 Training을 동시에 수행하면서 명확히 구분하지 않으면 위험이 달라집니다. Cloudflare의 이번 업데이트에서도 다목적 크롤러 문제를 특히 강조했습니다: 하나의 봇이 Search와 Training을 동시에 담당하면, 더 엄격한 규칙의 적용을 받게 됩니다.

이면에는 사실 한 문장으로 요약됩니다:

봇이 자신을 검색용이라고 말하는 것만 듣지 말고, 실제로 당신의 콘텐츠를 어떻게 사용하는지도 확인해야 합니다.

Agent: 막을 필요는 없지만, "당신의 전환 경로에 직접 간섭하는지"를 살펴야 합니다

많은 사람들이 Agent를 처음 접하면 신선하게 느낍니다.

하지만 웹사이트 운영자는 먼저 이렇게 물어봐야 합니다: 이 Agent가 와서 내 거래를 도와주는 건지, 아니면 사용자를 대신해 내가 원래 설계한 경로를 우회하는 건지?

Cloudflare는 Agent를 명확히 정의합니다: 사용자를 대신해 실시간으로 작업을 수행하는 것입니다. 예를 들어 페이지 정보를 가져오거나, 브라우저를 조작하거나, 콘텐츠를 읽거나, 특정 작업을 실행하는 것입니다.

이런 트래픽이 Search와 가장 다른 점은:

Search는 "먼저 당신을 알아가는 것"에 가깝고, Agent는 "직접 사용자를 대신해 당신을 조작하는 것"에 가깝습니다.

즉, Agent를 개방할지 여부는 페이지 유형에 따라 달라집니다.

We0 AI의 경우, 다음 페이지는 비교적 신중하게 시범 개방할 수 있습니다:

• 문서 페이지
• 공개 지식 페이지
• 공개 데모 페이지
• 특정 도구 소개 페이지
• 표준 FAQ 페이지

하지만 다음 페이지는 기본적으로 전면 개방하기에 적합하지 않습니다:

• 로그인 페이지
• 콘솔 관련 페이지
• 리드 수집 페이지
• 견적 / 예약 / 문의 양식 페이지
• 개인화된 경로 유도가 포함된 랜딩 페이지
• 고가치 사례 원문 페이지

이유는 간단합니다.

Agent가 단순히 읽기만 한다면, 그것은 새로운 유입 경로가 될 수 있습니다.

Agent가 사용자를 대신해 "선별, 요약, 의사결정 사전화"를 완료해 버리면, 당신의 웹사이트는 호출만 당하고 실제 방문은 이루어지지 않을 수 있습니다.

이는 사이트 내 교육과 전환 설계에 의존하는 많은 웹사이트에 손실을 초래합니다.

Training: We0 AI 같은 사이트는 기본적으로 더 엄격히 제한해야 합니다

Training은 가장 흔히 "미래의 기회"라고 불리는 유형입니다.

하지만 웹사이트 운영자의 관점에서 보면, 그 보상 메커니즘이 사실 가장 약합니다.

Training의 본질은 사이트를 방문하는 것이 아니라 콘텐츠를 흡수하는 것이기 때문입니다.

일단 흡수되면, 미래에 요약, 지식, 스타일, 능력의 일부 형태로 다른 제품에 나타날 수 있습니다. 추적하기 어렵고, 안정적인 유입을 요구하기도 어렵습니다.
장기적으로 SEO, GEO, 콘텐츠 축적, 사례 연결, 브랜드 인지도를 구축해야 하는 We0 AI와 같은 사이트에게 많은 콘텐츠는 그 자체로 자산입니다.

예를 들어:

• 정리된 업계 판단
• 시나리오별 솔루션 페이지
• 고품질 비교 글
• 전환 가능한 사례 표현
• 장기적인 검색 가치가 있는 지식 콘텐츠

이런 콘텐츠가 Training 측에서 장기간 흡수되는데, 명확한 대가, 명확한 attribution, 명확한 유입을 받지 못한다면, 단순히 "영향력 확대"의 문제가 아닙니다.

오히려 당신이 타인의 모델 능력을 보조하고 있는 셈입니다.

따라서 다음과 같이 제안합니다:

We0 AI는 기본적으로 Training에 전면 개방하지 않습니다. 단, 특정 페이지가 명확한 브랜드 확산 목표를 가지고 있고, 콘텐츠가 더 널리 재사용되는 것을 수용할 수 있는 경우는 예외입니다.

이는 AI에 반대하는 것이 아닙니다.

발견되는 것과 고갈되는 것은 다르다는 점을 구분하는 것입니다.

We0 AI에 더 적합한 개방 전략: 봇별이 아닌 페이지와 비즈니스 가치 기준으로

많은 팀이 이런 문제에 직면하면 묻습니다:

• ChatGPT에 개방할까?
• Claude에 개방할까?
• 특정 AI 봇에 개방할까?

하지만 더 성숙한 전략은 단순히 봇 목록으로 On/Off를 결정하는 것이 아닙니다.

먼저 페이지 가치별로 계층을 나누고, 그다음 어떤 AI 트래픽에 어떤 권한을 부여할지 결정하는 것입니다.

더 실용적인 계층 프레임워크

페이지 유형	Search	Agent	Training	제안
블로그 게시물 / SEO 콘텐츠 페이지	개방	부분 개방	신중히 제한	노출 확보, 하지만 훈련 가치를 기본적으로 모두 제공하지는 말 것
제품 기능 페이지	개방	조건부 개방	제한	발견될 수 있게 하지만, 콘텐츠가 무비용으로 흡수되지 않도록 할 것
시나리오 페이지 / 업계 솔루션 페이지	개방	조건부 개방	제한	이 페이지는 인지도와 전환 가치를 동시에 가짐
FAQ / 문서 기본 설명 페이지	개방	개방 가능	상황에 따라 제한	AI 인용을 수용할 수 있지만, 과도한 운영 세부 사항 노출은 피할 것
사례 페이지	개방	신중히 개방	제한	사례는 고가치 자산이므로, 훈련용으로 쉽게 제공하지 말 것
로그인 / 콘솔 / 고전환 양식 페이지	불필요	엄격히 제한	엄격히 제한	핵심은 보안과 전환 경로

이 표의 핵심은 기술이 아니라 비즈니스입니다.

사이트의 개방 여부는 "AI를 수용하는가"에 달려 있지 않습니다.

이런 접근이 궁극적으로 당신의 성장을 돕는지, 아니면 성장을 약화시키는지에 달려 있습니다.

We0 AI가 "전체 사이트 전면 개방" 접근법을 더 이상 사용할 수 없는 이유

We0 AI가 판매하는 것은 결코 단순한 "페이지 생성"이 아니기 때문입니다.

단순히 랜딩 페이지를 한 번에 생성하는 작은 도구였다면, 콘텐츠가 조금 흡수되어도 큰 문제가 아닐 수 있습니다.

하지만 We0 AI의 포지셔닝은 이와 다릅니다:

쇼케이스형 웹사이트 성장 플랫폼 + 웹사이트 구축 능력 + 콘텐츠 능력 + SEO / GEO 능력 + 지속적 최적화 및 고객 확보 경로.

즉, 사이트의 많은 페이지는 단순한 정보 페이지가 아니라 성장 사슬의 노드입니다.

예를 들어:

• 어떤 블로그 게시물은 검색 트래픽을 담당하고,
• 어떤 기능 페이지는 제품 이해를 구축하고,
• 어떤 사례 페이지는 의사결정 비용을 낮추고,
• 어떤 CTA 페이지는 관심을 문의로 전환합니다.

이 모든 페이지에 동일한 키를 모든 AI 크롤러에게 제공하면 문제가 발생합니다:

1. "언급"은 유지될 수 있지만, "클릭"은 잃을 수 있습니다

이것은 이미 많은 콘텐츠 사이트가 직면한 가장 현실적인 불안입니다.

AI가 당신을 인용한다고 해서, 반드시 트래픽을 돌려주는 것은 아닙니다.

언급이 있다고 해서 방문이 있는 것은 아닙니다.

방문이 있다고 해서 전환이 있는 것도 아닙니다.

We0 AI에게 필요한 것은 허구적인 노출 수치가 아니라, 실제 비즈니스로 이어지는 리드와 가입입니다.

2. 고가치 콘텐츠가 "공공 원자재"가 될 수 있습니다

좋은 사례 페이지, 좋은 비교 페이지, 좋은 업계 판단 페이지는 원래 장기적으로 브랜드 파워를 축적할 수 있습니다.

하지만 계속해서 크롤링되고, 요약되고, 재표현되다 보면, 사이트 내에 남는 차별성은 점점 약해집니다.

3. "AI가 접근 가능함"을 "AI 친화적 성장"으로 오해할 수 있습니다

이 두 가지는 동의어가 아닙니다.

진정한 AI 친화적 웹사이트는 무분별하게 개방하는 것이 아니라, 다음과 같은 특징을 갖습니다:

내용 구조가 명확함

• 페이지 의미가 명확함
• 공개 정보의 경계가 명확함
• 인용되어야 할 것과 훈련에 사용되지 말아야 할 것의 경계가 명확함

명확함이 배포보다 더 중요합니다.

그렇다면 We0 AI는 어떻게 해야 할까? 더 현실적인 실행 제안

만약 제가 We0 AI의 성장과 콘텐츠 운영 관점에서 본다면, 다음과 같이 구성하겠습니다:

1단계: Search 우선 개방

목표는 분명합니다:

브랜드, 제품, 시나리오, 지식 콘텐츠가 검색 및 AI 디스커버리 시스템에 의해 발견될 수 있도록 먼저 보장합니다.

중점 사항은 다음과 같습니다:

• 공개 블로그
• 제품 소개 페이지
• use case 페이지
• 핵심 FAQ
• 인용 가능한 지식 설명 콘텐츠

동시에 다음 지표를 주시해야 합니다:

'크롤링되었는가'가 아니라 '관찰 가능한 유입과 브랜드 검색 상승을 가져왔는가'입니다.

2단계: Agent에 대해 화이트리스트 또는 조건부 개방

Agent는 가장 테스트할 가치가 있지만, 경계 설정도 가장 필요합니다.

우선 개방을 권장합니다:

• 공개 지식 콘텐츠
• 문서 설명형 페이지
• 표준 조회형 페이지

제한을 권장합니다:

• 로그인 후 콘텐츠
• 페이지 경로 유도에 크게 의존하는 전환 페이지
• 리소스를 소비하는 인터랙션 페이지
• 민감한 업무 프로세스 페이지

한 마디로:

Agent가 봐야 할 것만 보게 하고, 전체 퍼널을 대신 완주하게 하지 마십시오.

3단계: Training 기본 제한

브랜드 확산을 위해 매우 명확하게 의도하지 않은 이상, 전체 사이트 콘텐츠를 Training에 기본으로 개방하지 않는 것이 좋습니다.

특히 다음은 더욱 그렇습니다:

• 독창적인 심층 기사
• 체계화된 솔루션 페이지
• 고품질 사례
• 장기적 경쟁 우위를 구성하는 콘텐츠 자산

이러한 페이지는 더 세심하게 보호되어야 합니다.

이 사항이 더 많은 웹사이트에 주는 시사점: 미래의 웹사이트 전략은 더 이상 SEO만이 아니라, SEO + GEO + AI 접근 설계입니다

Cloudflare의 이번 분류가 진정으로 상기시키는 한 가지는:

웹사이트 운영은 이제 SEO만 하는 것이 아닙니다. AI 접근 설계도 해야 합니다.

즉, 다음 세 가지 질문에 답해야 합니다:

1. 어떤 콘텐츠가 발견되어야 하는가?
2. 어떤 콘텐츠가 실시간으로 호출될 수 있는가?
3. 어떤 콘텐츠가 무분별한 훈련에 흡수되어서는 안 되는가?

많은 팀이 여전히 '사이트를 만드는' 단계에 머물러 있습니다.

하지만 앞으로 진정한 차이는 '사이트를 통제 가능한 성장 시스템으로 만드는' 데 있습니다.

이것이 We0 AI가 더 이해받아야 할 이유이기도 합니다.

단순히 공식 웹사이트를上线시켜주는 것만이 아닙니다.

더 중요한 것은, 공식 웹사이트를 장기적 성장 자산으로 만들어주는 것입니다:

• 페이지 어떻게 구성할지
• 콘텐츠 어떻게 배치할지
• 검색 진입점 어떻게 확보할지
• AI 가시성을 어떻게 처리할지
• 어떤 콘텐츠는 개방하고 어떤 콘텐츠는 제한할지
• 트래픽을 어떻게 최종적으로 문의, 등록, 고객으로 이끌지

이것이 지금 웹사이트를 만드는 데 있어 더 실제적인 어려움입니다.

웹사이트 구축 자체가 어려워진 것이 아닙니다.

사이트上线 후, 어떻게 계속 성장시킬 것인가가 더 어려워진 것입니다.

핵심 결론 블록

Cloudflare가 AI 크롤러를 Search, Agent, Training으로 분류한 후, 웹사이트 전략은 더 이상 '모두 열거나 모두 닫거나'가 되어서는 안 됩니다.

We0 AI와 같은 쇼케이스형 웹사이트 성장 플랫폼의 경우, 더 합리적인 경로는 Search는 개방, Agent는 신중히 개방, Training은 기본 제한입니다.

진정으로 최적화해야 할 것은 단일 봇의 스위치가 아니라, 웹사이트 전체의 AI 접근 경계와 성장 경로입니다.

FAQ

1. Cloudflare가 AI 크롤러를 Search, Agent, Training으로 나눈 가장 큰 변화는 무엇인가요?

가장 큰 변화는 웹사이트 운영자가 더 이상 모든 AI 트래픽을 동일한 것으로 간주하지 않아도 된다는 점입니다. Search는 발견과 유입을, Agent는 실시간 작업 접근을, Training은 콘텐츠 흡수에 더 가깝습니다. 전략을 계층화할 수 있게 되었습니다.

2. 모든 웹사이트가 Search를 개방해야 하나요?

꼭 그렇지는 않습니다. 하지만 노출과 발견에 의존하는 대부분의 웹사이트는 일반적으로 Search 개방을 우선 고려하는 것이 좋습니다. 단, 검색 및 AI 디스커버리 시스템에 노출되기를 원한다는 전제가 필요합니다.

3. Agent가 항상 Training보다 개방할 가치가 더 높나요?

일반적으로 그렇습니다. 하지만 페이지 유형에 따라 다릅니다. Agent는 새로운 진입점을 가져올 수도 있지만, 전환 경로를 우회할 수도 있으므로 페이지와 업무 프로세스에 따라 조건부 개방을 해야 합니다.

4. Training이 더 신중해야 하는 이유는 무엇인가요?

직접적인 유입 효과가 가장 약한 반면, 콘텐츠 흡수 깊이는 가장 깊기 때문입니다. 독창적인 콘텐츠, 사례, 지식 축적에 의존하는 웹사이트의 경우 Training의 기회 비용이 더 높습니다.

5. We0 AI와 같은 웹사이트에 가장 적합한 전략은 무엇인가요?

'전체 사이트 전면 개방'보다는 '계층적 개방'이 더 적합합니다. 공개 콘텐츠는 Search에 우선 제공하고, 검증 가능한 공공 정보의 일부는 Agent에 제공하며, Training은 기본적으로 제한합니다.

관련 도구

• Cloudflare Bot Management
• Cloudflare BotBase
• Content Signals
• We0 AI

출처

• 《Your site, your rules: new AI traffic options for all customers》
• 《Easily manage AI crawlers with our new bot categories》

결론

그러므로 처음 질문으로 돌아가서:

Cloudflare가 AI 크롤러를 Search, Agent, Training으로 분류한 후, We0 AI 웹사이트는 모두 개방해야 할까요?

제 대답은 여전히 같습니다:

모두 개방해서는 안 됩니다.

하지만 핵심은 방어가 아닙니다.

중요한 것은 웹사이트가 이제 '수동적으로 크롤링당하는' 상태에서 '능동적으로 규칙을 설정하는' 방향으로 나아갈 수 있다는 점입니다.

이것은 단기적으로는 bot management처럼 보입니다.

장기적으로 보면, 이는 웹사이트 성장 전략의 일부입니다.

그리고 미래에 진정으로 더 강력한 웹사이트는 가장 개방적인 웹사이트가 아닐 것입니다.

바로 자신이 누구에게, 왜, 어느 정도까지 개방해야 하는지를 가장 잘 아는 웹사이트일 것입니다.