--- title: "Cloudflare e os robôs de IA: o que mudou em 2026 e o que conferir no seu site" url: "https://patrickperdigao.com.br/blog/cloudflare-robos-de-ia" description: Em 15/09/2026 o Cloudflare mudou o tratamento de robôs de IA. Entenda Search, Agent e Training e a opção que pode tirar o seu site do Google. author: Patrick Perdigão author_url: "https://patrickperdigao.com.br/" published: 2026-10-12 updated: 2026-10-12 category: SEO Técnico tags: Cloudflare, robôs de IA, crawlers, robots.txt, Googlebot, GEO, SEO técnico reading_time: 10 min --- # Cloudflare e os robôs de IA: o que mudou em 2026 e o que conferir no seu site > Em 15/09/2026 o Cloudflare mudou o tratamento de robôs de IA. Entenda Search, Agent e Training e a opção que pode tirar o seu site do Google. Por Patrick Perdigão · Publicado em 12 out 2026 · 10 min de leitura · Tema: [SEO Técnico](https://patrickperdigao.com.br/blog/tema/seo-tecnico.md) ## TL;DR Desde 15 de setembro de 2026, o Cloudflare separa os robôs em três categorias (Search, Agent e Training) e aplica novos padrões a domínios novos, principalmente em páginas com anúncios. Para quem faz SEO, o ponto crítico é a escolha entre "Disallow AI Training", que barra o treino e mantém o Googlebot na busca, e "Block", que tira o Googlebot do site inteiro. 1. Abra Security Settings no painel e confira o que está definido em Search, Training e Agent. 2. Para barrar só o treino de IA, use "Disallow AI Training". Nunca use "Block" se você depende do Google ou do Bing. 3. Confira o robots.txt que o público recebe: o Cloudflare pode acrescentar linhas ao seu arquivo. ## O que mudou no Cloudflare em 2026? **O Cloudflare passou a separar os robôs em três categorias, Search, Agent e Training, e desde 15 de setembro de 2026 aplica novos padrões a domínios novos, com regras mais duras em páginas que exibem anúncios.** Como uma fatia grande da web passa pelo Cloudflare, a mudança afeta diretamente quem aparece na busca e nas respostas de IA. A mudança veio em etapas: | Data | O que o Cloudflare anunciou | | --- | --- | | 24/09/2025 | Content Signals Policy: uma linha no robots.txt para dizer se o conteúdo pode ser usado em busca, em respostas de IA e em treino | | 01/07/2026 | Controles separados para Search, Agent e Training, para todos os clientes, inclusive no plano gratuito | | 15/09/2026 | Novos padrões para domínios novos, designação "Accountable" para Google, Microsoft e Apple e opções novas para robôs de uso misto | | 30/09/2026 | Pay Per Use, para cobrar das empresas de IA pelo uso do conteúdo | O objetivo declarado é dar ao dono do site o controle sobre quem consome o conteúdo e em troca de quê. Para quem trabalha com SEO e GEO, o que importa é outra coisa: entender cada opção do painel para não bloquear, sem querer, quem traz visitas. ## O que são as categorias Search, Agent e Training? **São as três famílias em que o Cloudflare passou a dividir os robôs, cada uma com controle próprio no painel.** A divisão segue o que o robô faz com o conteúdo, e não quem é o dono dele. | Categoria | O que o robô faz | Exemplo | Padrão em domínio novo com anúncios | | --- | --- | --- | --- | | Search | Coleta e indexa o conteúdo para responder buscas depois | Googlebot e Bingbot na busca tradicional | Liberado | | Agent | Age em tempo real a pedido de uma pessoa | ChatGPT-User, navegadores controlados por IA | Bloqueado nas páginas com anúncios | | Training | Coleta conteúdo para treinar ou ajustar modelos de IA | GPTBot e outros robôs só de treino | "Disallow AI Training" | A lógica do Cloudflare para tratar páginas com anúncios de outro jeito é explícita no anúncio: um anúncio é o sinal de que o dono do site quer uma pessoa ali, vendo a página. Robôs de treino e agentes consomem o conteúdo sem gerar essa visita. > [!NOTE] Uma separação que as empresas de IA já fazem > A OpenAI, por exemplo, tem robôs diferentes para cada uso: o OAI-SearchBot alimenta a busca do ChatGPT, o GPTBot coleta dados para treino e o ChatGPT-User age a pedido de quem está conversando. Cada um é controlado separadamente no robots.txt. ## O que é um robô de uso misto, e por que ele importa para o SEO? **É o robô que faz busca e coleta para IA ao mesmo tempo, com um único nome.** Os três principais são o Googlebot, o Bingbot e o Applebot. Bloquear um deles por causa da IA significa, na prática, bloquear também a busca. Para resolver esse impasse, o Cloudflare criou a designação **Accountable**. Recebem esse selo as empresas que cumprem, ou se comprometem a cumprir, quatro condições: 1. Oferecer um jeito de recusar o treino de IA pelo robots.txt ou por um padrão parecido. 2. Oferecer um jeito de recusar os resumos de IA. 3. Mostrar, por URL, quais páginas foram usadas em treino, e métricas de como o conteúdo aparece na busca. 4. Garantir que recusar o treino não afeta os resultados da busca tradicional. Google, Microsoft e Apple receberam a designação. Isso permite ao Cloudflare manter os robôs delas liberados para a busca mesmo quando o site recusa o treino. Cada empresa, porém, entende o "não treine" de um jeito: | Robô | Como dizer "não use para treino" | Continua na busca com "Disallow AI Training"? | | --- | --- | --- | | Googlebot | `Disallow` para o token `Google-Extended` no robots.txt | Sim | | Applebot | `Disallow` para `Applebot-Extended` no robots.txt | Sim | | Bingbot | Ainda não há sinal no robots.txt (previsto para o início de 2027); hoje, a meta tag `NOARCHIVE` | Sim, mas o "não treine" ainda não chega ao Bing pelo robots.txt | ## Qual é a armadilha entre "Disallow AI Training" e "Block"? **"Disallow AI Training" recusa o treino e mantém Googlebot, Bingbot e Applebot na busca. "Block" tira esses robôs do site inteiro, busca incluída.** Os nomes parecem dizer quase a mesma coisa, mas o efeito no SEO é oposto. | Opção no painel | Robôs só de treino | Googlebot, Bingbot e Applebot | | --- | --- | --- | | Allow | Liberados | Liberados | | Disallow AI Training | Bloqueados | Liberados para a busca | | Block | Bloqueados | **Bloqueados, inclusive na busca** | | Block on pages with ads | Bloqueados nas páginas com anúncios | **Bloqueados nas páginas com anúncios, inclusive na busca** | > [!WARNING] A opção que pode tirar o seu site do Google > Desde 15/09/2026, "Block" e "Block on pages with ads" também valem para os robôs de uso misto. Quem escolhe "Block" achando que está barrando só a IA impede o Googlebot de acessar o site. As páginas param de ser rastreadas e, com o tempo, podem sair do índice. Se o seu objetivo é não alimentar o treino de modelos, a opção certa é **"Disallow AI Training"**. "Block" só faz sentido quando você quer, de propósito, que aquele robô não acesse o site de forma alguma. ## Quem foi afetado pela mudança de 15 de setembro? **Principalmente clientes novos e domínios novos.** Para eles, sites com anúncios já começam com Search liberado, Training em "Disallow AI Training" e Agent bloqueado nas páginas com anúncios. Para os domínios que já existiam, o Cloudflare diz que a maior parte das configurações foi mantida e que o antigo bloqueio de robôs de IA virou "Disallow AI Training". A cobertura do The Register acrescenta um grupo: contas gratuitas que nunca mexeram nas configurações também passaram aos novos padrões. Duas ferramentas antigas também estão saindo de cena: o "Block AI Bots" e o robots.txt gerenciado. No lugar delas entram os controles por categoria e uma função de sincronizar preferências de robôs. > [!IMPORTANT] Não deduza, confira > Como o efeito depende do plano, da data de criação do domínio e de configurações antigas, a única forma segura de saber como o seu site está é abrir o painel. São cinco minutos. ## O que é a linha Content-Signal que aparece no robots.txt? **É uma forma de dizer, no próprio robots.txt, para quais usos o conteúdo pode ser aproveitado.** O Cloudflare lançou a Content Signals Policy em setembro de 2025 e passou a incluí-la no robots.txt dos sites que usavam o recurso de robots.txt gerenciado. ```txt robots.txt User-Agent: * Content-Signal: search=yes, ai-train=no Allow: / ``` São três sinais, cada um com `yes` ou `no`: - **search**: montar um índice de busca e mostrar links e trechos curtos. Não inclui resumos gerados por IA. - **ai-input**: usar o conteúdo em tempo real como base para respostas de IA, como nas buscas com IA. - **ai-train**: treinar ou ajustar modelos de IA. Um sinal que não aparece não quer dizer "sem preferência": quer dizer só que você não usou o robots.txt para expressá-la. E vale o aviso do próprio Cloudflare: os sinais são preferências, não barreiras técnicas, e algumas empresas podem ignorá-los. Para quem quer ser citado pelas respostas de IA, o sinal que importa é o `ai-input`. Deixá-lo de fora ou marcar `ai-input=no` vai contra o objetivo de GEO. ## Como conferir a configuração do seu site, passo a passo **Em cinco passos você descobre se o Cloudflare está bloqueando alguém que deveria entrar.** 1. **Abra o robots.txt público.** Acesse `seudominio.com.br/robots.txt` no navegador e compare com o arquivo que você publicou. Linhas extras, como `Content-Signal` ou blocos de `Disallow` para robôs de IA, indicam que o Cloudflare está mexendo no arquivo. 2. **Abra as configurações de segurança.** No painel do Cloudflare, entre no domínio e vá em **Security** > **Settings**. Os controles de Search, Training e Agent ficam ali. 3. **Confira a categoria Training.** Se você não quer alimentar treino de modelos, deixe em "Disallow AI Training". Se "Block" aparecer, troque, a não ser que bloquear o Googlebot seja intencional. 4. **Decida a categoria Agent de propósito.** Ela inclui assistentes que leem a sua página porque alguém pediu. Para quem quer ser recomendado por IA, bloquear costuma ser contraproducente. 5. **Acompanhe o Search Console.** Nas estatísticas de rastreamento, veja se as respostas com erro aumentaram depois de 15/09. Um salto de erros 403 é o sinal clássico de um bloqueio no caminho do Googlebot. ## Como está configurado o meu site **O meu site roda no Cloudflare, e a escolha aqui é deixar a busca e as IAs entrarem.** O objetivo do blog é justamente ser citado, então bloquear robôs de busca ou de respostas de IA iria contra a estratégia. Conferi o que o público recebe hoje: o robots.txt servido é exatamente o que eu publiquei, sem linhas acrescentadas pelo Cloudflare, liberando todos os robôs e apontando para o sitemap. Em um teste simples, as páginas responderam normalmente para os nomes de robô do GPTBot, do OAI-SearchBot, do ClaudeBot e do PerplexityBot. O site não exibe anúncios, então os padrões para páginas com anúncios não se aplicariam de qualquer forma. > [!TIP] Para site que quer ser citado > Search liberado, Agent liberado e, no Training, a decisão é sua: liberar ajuda os modelos a conhecer a sua marca; "Disallow AI Training" protege o conteúdo sem afetar a busca. O que não pode é cair no "Block" por engano. ## Pay Per Use: vale a pena cobrar dos robôs? **Para grandes publishers, pode valer. Para a maioria dos sites que ainda constroem audiência, visibilidade costuma valer mais do que cobrança.** O Pay Per Use, anunciado em 30 de setembro de 2026, é a evolução do antigo Pay Per Crawl: as empresas de IA informam quando usam o conteúdo, e o Cloudflare cuida da cobrança e dos repasses. A conta é simples. Quem tem um volume grande de conteúdo original e vive de anúncios perde receita quando a resposta de IA substitui a visita, e cobrar faz sentido. Quem ainda depende de ser descoberto ganha mais aparecendo nas respostas, como fonte citada, do que recebendo centavos por acesso. Para esse segundo grupo, o melhor caminho é o que explico no [guia sobre GEO](https://patrickperdigao.com.br/blog/o-que-e-geo). ## Checklist - [ ] Robots.txt público conferido e igual ao que você publicou - [ ] Categoria Search liberada - [ ] Training em "Disallow AI Training" (se não quiser treino), e não em "Block" - [ ] Agent decidido de propósito, sabendo que inclui assistentes agindo por pessoas - [ ] Opções "Block" e "Block on pages with ads" revisadas, porque também valem para Googlebot, Bingbot e Applebot - [ ] Estatísticas de rastreamento do Search Console sem aumento de erros depois da mudança - [ ] Content-Signal no robots.txt coerente com o que você quer (search, ai-input, ai-train) ## Perguntas frequentes ### O Cloudflare pode tirar o meu site do Google? Pode, se a configuração errada for escolhida. Desde 15/09/2026, as opções "Block" e "Block on pages with ads" também valem para robôs de uso misto, como Googlebot, Bingbot e Applebot. Com "Block", eles deixam de acessar o site, busca incluída. Para recusar só o treino de IA, a opção certa é "Disallow AI Training". ### Meu site já estava no Cloudflare antes de 15 de setembro. Mudou alguma coisa? Segundo o Cloudflare, a maioria das configurações de domínios existentes foi mantida, e o antigo bloqueio de robôs de IA virou "Disallow AI Training". Os novos padrões valem principalmente para clientes e domínios novos. Mesmo assim, vale abrir o painel e conferir, porque o The Register também reportou mudanças para contas gratuitas que nunca alteraram as configurações. ### Bloquear o treino de IA tira o meu site dos AI Overviews? Não. O Google diz que os AI Overviews e o Modo IA fazem parte da busca e usam o Googlebot. O token Google-Extended, que é o sinal de "não treine" do Google, limita o uso do conteúdo em outros sistemas de IA da empresa, mas não tira você dos AI Overviews. ### Os robôs de IA respeitam a linha Content-Signal do robots.txt? Não há garantia. O próprio Cloudflare diz que os Content Signals expressam preferências e não são uma barreira técnica, e que algumas empresas podem ignorá-los. Para impedir o acesso de fato, é preciso usar as regras de bloqueio do painel ou do firewall. ### Devo bloquear robôs da categoria Agent, como o ChatGPT-User? Depende do seu objetivo. Esses robôs agem em tempo real a pedido de uma pessoa, por exemplo quando alguém pede ao ChatGPT para ler a sua página. Para quem quer ser citado e recomendado por assistentes de IA, bloquear essa categoria tende a atrapalhar mais do que ajudar. ## Fontes e referências - [Cloudflare: Your site, your rules: new AI traffic options for all customers (01/07/2026)](https://blog.cloudflare.com/content-independence-day-ai-options/) - [Cloudflare: Have it both ways: stay discoverable in search while disallowing AI training (15/09/2026)](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/) - [Cloudflare: Giving users choice with Cloudflare's new Content Signals Policy (24/09/2025)](https://blog.cloudflare.com/content-signals-policy/) - [The Register: Cloudflare to block search-and-scrape bots from ad-supported web pages](https://www.theregister.com/ai-and-ml/2026/07/01/cloudflare-to-block-cynical-search-and-scrape-bots-from-ad-supported-web-pages/5264727) - [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features) - [OpenAI: Overview of OpenAI crawlers](https://developers.openai.com/api/docs/bots) ## Sobre o autor Patrick Perdigão é especialista em seo e growth. Especialista de SEO na Omie, instrutor na Alura e professor na EducaSEO. Perfil completo: https://patrickperdigao.com.br/index.md ## Continue lendo - [O que é GEO (Generative Engine Optimization): o guia para ser citado pela IA em 2026](https://patrickperdigao.com.br/blog/o-que-e-geo.md): GEO é otimizar conteúdo para ser citado pelos AI Overviews, Modo IA, ChatGPT e Perplexity. Entenda como funciona, o que muda no SEO e por onde começar. (GEO & AEO, 11 out 2026) - [GEO na prática: como ser citado por AI Overviews, ChatGPT e Perplexity](https://patrickperdigao.com.br/blog/geo-na-pratica.md): Estrutura de conteúdo, entidades e dados estruturados que aumentam as chances de virar fonte nas respostas geradas por IA. (GEO & AEO, 8 out 2026)