SEO Técnico

Cloudflare e os robôs de IA: o que mudou em 2026 e o que conferir no seu site

Em 15/09/2026 o Cloudflare mudou o tratamento de robôs de IA. Entenda Search, Agent e Training e a opção que pode tirar o seu site do Google.

Neste artigo
TL;DRResumo em 30 segundos

Desde 15 de setembro de 2026, o Cloudflare separa os robôs em três categorias (Search, Agent e Training) e aplica novos padrões a domínios novos, principalmente em páginas com anúncios. Para quem faz SEO, o ponto crítico é a escolha entre "Disallow AI Training", que barra o treino e mantém o Googlebot na busca, e "Block", que tira o Googlebot do site inteiro.

  • 1Abra Security Settings no painel e confira o que está definido em Search, Training e Agent.
  • 2Para barrar só o treino de IA, use "Disallow AI Training". Nunca use "Block" se você depende do Google ou do Bing.
  • 3Confira o robots.txt que o público recebe: o Cloudflare pode acrescentar linhas ao seu arquivo.

O que mudou no Cloudflare em 2026?

O Cloudflare passou a separar os robôs em três categorias, Search, Agent e Training, e desde 15 de setembro de 2026 aplica novos padrões a domínios novos, com regras mais duras em páginas que exibem anúncios. Como uma fatia grande da web passa pelo Cloudflare, a mudança afeta diretamente quem aparece na busca e nas respostas de IA.

A mudança veio em etapas:

DataO que o Cloudflare anunciou
24/09/2025Content Signals Policy: uma linha no robots.txt para dizer se o conteúdo pode ser usado em busca, em respostas de IA e em treino
01/07/2026Controles separados para Search, Agent e Training, para todos os clientes, inclusive no plano gratuito
15/09/2026Novos padrões para domínios novos, designação "Accountable" para Google, Microsoft e Apple e opções novas para robôs de uso misto
30/09/2026Pay Per Use, para cobrar das empresas de IA pelo uso do conteúdo

O objetivo declarado é dar ao dono do site o controle sobre quem consome o conteúdo e em troca de quê. Para quem trabalha com SEO e GEO, o que importa é outra coisa: entender cada opção do painel para não bloquear, sem querer, quem traz visitas.

O que são as categorias Search, Agent e Training?

São as três famílias em que o Cloudflare passou a dividir os robôs, cada uma com controle próprio no painel. A divisão segue o que o robô faz com o conteúdo, e não quem é o dono dele.

CategoriaO que o robô fazExemploPadrão em domínio novo com anúncios
SearchColeta e indexa o conteúdo para responder buscas depoisGooglebot e Bingbot na busca tradicionalLiberado
AgentAge em tempo real a pedido de uma pessoaChatGPT-User, navegadores controlados por IABloqueado nas páginas com anúncios
TrainingColeta conteúdo para treinar ou ajustar modelos de IAGPTBot e outros robôs só de treino"Disallow AI Training"

A lógica do Cloudflare para tratar páginas com anúncios de outro jeito é explícita no anúncio: um anúncio é o sinal de que o dono do site quer uma pessoa ali, vendo a página. Robôs de treino e agentes consomem o conteúdo sem gerar essa visita.

O que é um robô de uso misto, e por que ele importa para o SEO?

É o robô que faz busca e coleta para IA ao mesmo tempo, com um único nome. Os três principais são o Googlebot, o Bingbot e o Applebot. Bloquear um deles por causa da IA significa, na prática, bloquear também a busca.

Para resolver esse impasse, o Cloudflare criou a designação Accountable. Recebem esse selo as empresas que cumprem, ou se comprometem a cumprir, quatro condições:

  1. Oferecer um jeito de recusar o treino de IA pelo robots.txt ou por um padrão parecido.
  2. Oferecer um jeito de recusar os resumos de IA.
  3. Mostrar, por URL, quais páginas foram usadas em treino, e métricas de como o conteúdo aparece na busca.
  4. Garantir que recusar o treino não afeta os resultados da busca tradicional.

Google, Microsoft e Apple receberam a designação. Isso permite ao Cloudflare manter os robôs delas liberados para a busca mesmo quando o site recusa o treino. Cada empresa, porém, entende o "não treine" de um jeito:

RobôComo dizer "não use para treino"Continua na busca com "Disallow AI Training"?
GooglebotDisallow para o token Google-Extended no robots.txtSim
ApplebotDisallow para Applebot-Extended no robots.txtSim
BingbotAinda não há sinal no robots.txt (previsto para o início de 2027); hoje, a meta tag NOARCHIVESim, mas o "não treine" ainda não chega ao Bing pelo robots.txt

Qual é a armadilha entre "Disallow AI Training" e "Block"?

"Disallow AI Training" recusa o treino e mantém Googlebot, Bingbot e Applebot na busca. "Block" tira esses robôs do site inteiro, busca incluída. Os nomes parecem dizer quase a mesma coisa, mas o efeito no SEO é oposto.

Opção no painelRobôs só de treinoGooglebot, Bingbot e Applebot
AllowLiberadosLiberados
Disallow AI TrainingBloqueadosLiberados para a busca
BlockBloqueadosBloqueados, inclusive na busca
Block on pages with adsBloqueados nas páginas com anúnciosBloqueados nas páginas com anúncios, inclusive na busca

Se o seu objetivo é não alimentar o treino de modelos, a opção certa é "Disallow AI Training". "Block" só faz sentido quando você quer, de propósito, que aquele robô não acesse o site de forma alguma.

Quem foi afetado pela mudança de 15 de setembro?

Principalmente clientes novos e domínios novos. Para eles, sites com anúncios já começam com Search liberado, Training em "Disallow AI Training" e Agent bloqueado nas páginas com anúncios.

Para os domínios que já existiam, o Cloudflare diz que a maior parte das configurações foi mantida e que o antigo bloqueio de robôs de IA virou "Disallow AI Training". A cobertura do The Register acrescenta um grupo: contas gratuitas que nunca mexeram nas configurações também passaram aos novos padrões.

Duas ferramentas antigas também estão saindo de cena: o "Block AI Bots" e o robots.txt gerenciado. No lugar delas entram os controles por categoria e uma função de sincronizar preferências de robôs.

O que é a linha Content-Signal que aparece no robots.txt?

É uma forma de dizer, no próprio robots.txt, para quais usos o conteúdo pode ser aproveitado. O Cloudflare lançou a Content Signals Policy em setembro de 2025 e passou a incluí-la no robots.txt dos sites que usavam o recurso de robots.txt gerenciado.

robots.txt
User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

São três sinais, cada um com yes ou no:

  • search: montar um índice de busca e mostrar links e trechos curtos. Não inclui resumos gerados por IA.
  • ai-input: usar o conteúdo em tempo real como base para respostas de IA, como nas buscas com IA.
  • ai-train: treinar ou ajustar modelos de IA.

Um sinal que não aparece não quer dizer "sem preferência": quer dizer só que você não usou o robots.txt para expressá-la. E vale o aviso do próprio Cloudflare: os sinais são preferências, não barreiras técnicas, e algumas empresas podem ignorá-los.

Para quem quer ser citado pelas respostas de IA, o sinal que importa é o ai-input. Deixá-lo de fora ou marcar ai-input=no vai contra o objetivo de GEO.

Como conferir a configuração do seu site, passo a passo

Em cinco passos você descobre se o Cloudflare está bloqueando alguém que deveria entrar.

  1. Abra o robots.txt público. Acesse seudominio.com.br/robots.txt no navegador e compare com o arquivo que você publicou. Linhas extras, como Content-Signal ou blocos de Disallow para robôs de IA, indicam que o Cloudflare está mexendo no arquivo.
  2. Abra as configurações de segurança. No painel do Cloudflare, entre no domínio e vá em Security > Settings. Os controles de Search, Training e Agent ficam ali.
  3. Confira a categoria Training. Se você não quer alimentar treino de modelos, deixe em "Disallow AI Training". Se "Block" aparecer, troque, a não ser que bloquear o Googlebot seja intencional.
  4. Decida a categoria Agent de propósito. Ela inclui assistentes que leem a sua página porque alguém pediu. Para quem quer ser recomendado por IA, bloquear costuma ser contraproducente.
  5. Acompanhe o Search Console. Nas estatísticas de rastreamento, veja se as respostas com erro aumentaram depois de 15/09. Um salto de erros 403 é o sinal clássico de um bloqueio no caminho do Googlebot.

Como está configurado o meu site

O meu site roda no Cloudflare, e a escolha aqui é deixar a busca e as IAs entrarem. O objetivo do blog é justamente ser citado, então bloquear robôs de busca ou de respostas de IA iria contra a estratégia.

Conferi o que o público recebe hoje: o robots.txt servido é exatamente o que eu publiquei, sem linhas acrescentadas pelo Cloudflare, liberando todos os robôs e apontando para o sitemap. Em um teste simples, as páginas responderam normalmente para os nomes de robô do GPTBot, do OAI-SearchBot, do ClaudeBot e do PerplexityBot. O site não exibe anúncios, então os padrões para páginas com anúncios não se aplicariam de qualquer forma.

Pay Per Use: vale a pena cobrar dos robôs?

Para grandes publishers, pode valer. Para a maioria dos sites que ainda constroem audiência, visibilidade costuma valer mais do que cobrança. O Pay Per Use, anunciado em 30 de setembro de 2026, é a evolução do antigo Pay Per Crawl: as empresas de IA informam quando usam o conteúdo, e o Cloudflare cuida da cobrança e dos repasses.

A conta é simples. Quem tem um volume grande de conteúdo original e vive de anúncios perde receita quando a resposta de IA substitui a visita, e cobrar faz sentido. Quem ainda depende de ser descoberto ganha mais aparecendo nas respostas, como fonte citada, do que recebendo centavos por acesso. Para esse segundo grupo, o melhor caminho é o que explico no guia sobre GEO.

Checklist rápido

0 de 7 itens marcados

FAQ

Perguntas frequentes

Pode, se a configuração errada for escolhida. Desde 15/09/2026, as opções "Block" e "Block on pages with ads" também valem para robôs de uso misto, como Googlebot, Bingbot e Applebot. Com "Block", eles deixam de acessar o site, busca incluída. Para recusar só o treino de IA, a opção certa é "Disallow AI Training".

Segundo o Cloudflare, a maioria das configurações de domínios existentes foi mantida, e o antigo bloqueio de robôs de IA virou "Disallow AI Training". Os novos padrões valem principalmente para clientes e domínios novos. Mesmo assim, vale abrir o painel e conferir, porque o The Register também reportou mudanças para contas gratuitas que nunca alteraram as configurações.

Não. O Google diz que os AI Overviews e o Modo IA fazem parte da busca e usam o Googlebot. O token Google-Extended, que é o sinal de "não treine" do Google, limita o uso do conteúdo em outros sistemas de IA da empresa, mas não tira você dos AI Overviews.

Não há garantia. O próprio Cloudflare diz que os Content Signals expressam preferências e não são uma barreira técnica, e que algumas empresas podem ignorá-los. Para impedir o acesso de fato, é preciso usar as regras de bloqueio do painel ou do firewall.

Depende do seu objetivo. Esses robôs agem em tempo real a pedido de uma pessoa, por exemplo quando alguém pede ao ChatGPT para ler a sua página. Para quem quer ser citado e recomendado por assistentes de IA, bloquear essa categoria tende a atrapalhar mais do que ajudar.

Fontes e referências

  1. Cloudflare: Your site, your rules: new AI traffic options for all customers (01/07/2026)
  2. Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training (15/09/2026)
  3. Cloudflare: Giving users choice with Cloudflare's new Content Signals Policy (24/09/2025)
  4. The Register: Cloudflare to block search-and-scrape bots from ad-supported web pages
  5. Google Search Central: AI features and your website
  6. OpenAI: Overview of OpenAI crawlers
Patrick Perdigão
Escrito por
Patrick Perdigão
Especialista de SEO na Omie · Instrutor na Alura · Professor na EducaSEO

Mais de 8 anos em SEO técnico e crescimento orgânico. Formado em Marketing Digital & Data Science pela FIAP.