Cloudflare e OpenAI testam piloto que amplia descoberta de páginas para o ChatGPT

A Cloudflare e a OpenAI anunciaram, em 15 de outubro, um piloto de pesquisa que permitiu ao mecanismo de busca do ChatGPT descobrir e indexar centenas de milhões de novas páginas da web, utilizando cerca de 1% da rede da Cloudflare.

Como os sinais da Cloudflare ajudam na descoberta

O projeto utiliza sinais coletados pela infraestrutura da Cloudflare para orientar o rastreador da OpenAI na identificação de páginas que contenham informações relevantes, mesmo que poucos outros sites apontem para elas. Entre os exemplos citados estão o manual de um modelo específico de máquina de lavar, as últimas exigências e taxas de passaporte e o cardápio e horário de funcionamento de um restaurante.

Tipos de sinais e prevenção de solicitações desnecessárias

Os sinais analisados incluem a data da última atualização da página, a qualidade do tráfego recebido e a natureza das alterações feitas. Além disso, o piloto testa indicadores que evitam que os bots façam requisições redundantes, como tentativas de acessar arquivos inexistentes ou redirecionamentos para a página inicial. Também foram experimentados sinais para marcar páginas potencialmente nocivas, como um formulário de login falso inserido em um site legítimo, permitindo que apenas a página comprometida seja excluída do índice.

Controle de rastreamento para proprietários de sites

A Cloudflare disponibiliza o recurso AI Crawl Control em todos os planos, permitindo que os administradores vejam quais serviços de IA acessam seu site e escolham Allow (Permitir) ou Block (Bloquear) cada crawler. O OAI-SearchBot, responsável pela busca de informações, pode ser autorizado enquanto o GPTBot, que coleta conteúdo para treinamento, pode ser bloqueado, mantendo a página visível nos resultados de busca do ChatGPT sem que seu conteúdo seja usado para treinamento.

O que isso muda para o seu negócio

Para pequenas e médias empresas brasileiras, o piloto indica que páginas com informações específicas – como cardápios, horários de funcionamento, guias de uso de produtos ou requisitos de documentos – podem ganhar maior visibilidade nos resultados do ChatGPT, mesmo que não possuam muitos backlinks. Manter o conteúdo atualizado e de qualidade pode melhorar a probabilidade de ser selecionado pelos sinais de atualização recente.

O AI Crawl Control oferece uma ferramenta prática para monitorar o tráfego de bots de IA e decidir quais rastreadores podem acessar seu site. Autorizar apenas o OAI-SearchBot pode ser uma estratégia para quem deseja aparecer nas buscas do ChatGPT sem expor todo o conteúdo para treinamento de modelos.

Embora o piloto ainda esteja em fase de teste e não haja garantias de que as páginas indexadas serão citadas nos resultados, a iniciativa demonstra que sinais de rede podem influenciar a descoberta de conteúdo. Empresas que adotarem boas práticas de SEO técnico, como uso correto de robots.txt e atualização frequente de informações, podem se beneficiar desse novo canal de descoberta, potencialmente atraindo tráfego qualificado sem aumentar significativamente a carga nos servidores.

Fonte: Search Engine Journal