Cloudflare’s new policy pushes AI companies to pay for publishers’ content
클라우플레어가 인공지능(AI) 기업들이 퍼블리셔의 콘텐츠에 비용을 지불하도록 요구하는 새로운 정책을 발표했습니다. 이 정책에 따라 AI 기업들은 검색 목적의 웹 크롤러와 AI 훈련 및 에이전트 사용에 사용되는 크롤러를 분리해야 하며, 2026년 9월 15일부터 기본 설정은 광고가 있는 페이지에서 이러한 혼합 사용 크롤러를 차단하게 됩니다.
이는 검색, 에이전트 사용, 훈련을 혼합하여 사용하는 크롤러가 기본적으로 해당 사이트의 콘텐츠를 크롤링하는 것을 막는 것을 의미합니다. 클라우플레어는 이러한 변화가 AI 모델 제공업체가 훈련 목적으로 웹 콘텐츠에 접근하고 에이전트 서비스를 구동하는 방식에 영향을 미칠 수 있다고 설명했습니다. 클라우플레어는 웹사이트 소유자들이 자신의 지적 재산이 무료로 제공되는 것을 방지하고, 콘텐츠가 검색과 AI 서비스 모두를 통해 발견될 수 있도록 보호하기를 원한다고 강조했습니다.
클라우플레어는 이러한 변화를 통해 AI 크롤러가 검색과 훈련을 분리하도록 장려하고, 웹사이트 소유자에게 더 많은 가시성과 상업적 기회를 제공하는 것을 목표로 합니다. 또한 클라우플레어는 크롤링 활동에 대한 새로운 수익 모델인 ‘Pay Per Crawl’을 ‘Pay Per Use’로 발전시켜, 콘텐츠가 가치를 창출할 때 AI 기업에 비용을 부과할 수 있게 합니다. 이는 AI 크롤러가 변경되지 않은 페이지를 다시 가져오는 데 많은 컴퓨팅 자원을 소모하는 문제를 해결하고 퍼블리셔의 대역폭과 컴퓨팅 자원을 보존하는 데 도움이 될 것입니다.
이는 검색, 에이전트 사용, 훈련을 혼합하여 사용하는 크롤러가 기본적으로 해당 사이트의 콘텐츠를 크롤링하는 것을 막는 것을 의미합니다. 클라우플레어는 이러한 변화가 AI 모델 제공업체가 훈련 목적으로 웹 콘텐츠에 접근하고 에이전트 서비스를 구동하는 방식에 영향을 미칠 수 있다고 설명했습니다. 클라우플레어는 웹사이트 소유자들이 자신의 지적 재산이 무료로 제공되는 것을 방지하고, 콘텐츠가 검색과 AI 서비스 모두를 통해 발견될 수 있도록 보호하기를 원한다고 강조했습니다.
클라우플레어는 이러한 변화를 통해 AI 크롤러가 검색과 훈련을 분리하도록 장려하고, 웹사이트 소유자에게 더 많은 가시성과 상업적 기회를 제공하는 것을 목표로 합니다. 또한 클라우플레어는 크롤링 활동에 대한 새로운 수익 모델인 ‘Pay Per Crawl’을 ‘Pay Per Use’로 발전시켜, 콘텐츠가 가치를 창출할 때 AI 기업에 비용을 부과할 수 있게 합니다. 이는 AI 크롤러가 변경되지 않은 페이지를 다시 가져오는 데 많은 컴퓨팅 자원을 소모하는 문제를 해결하고 퍼블리셔의 대역폭과 컴퓨팅 자원을 보존하는 데 도움이 될 것입니다.