- A Cloudflare bloqueará por padrão rastreadores de IA conhecidos para evitar acesso sem permissão ou compensação.
- A partir de agora, novos donos de domínio serão questionados se desejam permitir rastreadores de IA, com o bloqueio podendo ser aplicado de forma automática.
- A empresa lançou o programa Pay Per Crawl, que permite aos editores definir um preço para acesso de rastreadores de IA ao seu conteúdo.
- Empresas de IA poderão verificar os preços e escolher se querem se registrar no Pay Per Crawl ou não, com a ideia de permitir uso mediante permissão e pagamento.
- A Cloudflare já ajudava a bloquear IA desde dois mil e vinte e três, e no ano passado passou a bloquear todos os bots de IA por padrão; a nova configuração passa a valer para novos clientes.
Cloudflare anunciou que, a partir de agora, bloqueará por padrão crawlers de IA conhecidos para evitar que conteúdos sejam acessados sem autorização ou compensação. A medida faz parte de uma mudança de política anunciada na terça-feira.
A empresa também abriu a possibilidade de alguns editores implementarem um modelo de “Pay Per Crawl”, em que os publishers definem um preço para que scrapers de IA acessem seus conteúdos. Empresas de IA podem ver o valor e optar por se registrar ou não.
O que muda na prática
A configuração padrão passa a impedir exploração de conteúdo por IA, independentemente de respeitar ou não o robots.txt, para novos clientes. Cloudflare utiliza uma lista de bots de IA para identificar os alvos a bloquear.
O Pay Per Crawl está disponível apenas para um grupo seleto de grandes editores e criadores de conteúdo no momento. A empresa afirma que a medida busca permitir o uso de conteúdo de qualidade com permissão e remuneração.
Histórico e contexto recente
Desde 2023, a Cloudflare vinha oferecendo bloqueio a crawlers conforme o robots.txt, quando respeitavam o arquivo. No ano passado, a empresa estendeu o bloqueio para todos os IA bots, independentemente do robots.txt.
Em março, a empresa também lançou o recurso AI Labyrinth, para afastar bots de coleta de dados sem autorização, orientando-os a não perforar sites sem permissão.
Entre na conversa da comunidade