Imagine que acabou de lançar o novo site da sua loja e, duas semanas depois, as páginas de produto continuam sem aparecer no Google. Reescreve títulos, mexe nas imagens, e nada muda. Muitas vezes, a resposta está num ficheiro pequeno e pouco visível. O ficheiro robots.txt e o sitemap XML definem como os motores de busca descobrem e leem o seu site, e uma configuração errada deixa o melhor conteúdo do mundo invisível.
O ficheiro robots.txt indica aos rastreadores que secções do site podem visitar, e o sitemap XML lista as páginas que quer que sejam descobertas. Juntos, facilitam o rastreamento de páginas pelo Google e por outros motores. O robots.txt não remove páginas dos resultados de pesquisa; para isso, usa-se a diretiva noindex.
Na Digital Xperience, esta é uma das primeiras verificações que fazemos numa auditoria SEO, porque um erro aqui atrasa tudo o resto. Vale a pena perceber o que cada ficheiro faz, e sobretudo o que não faz, antes de mexer em qualquer linha.
Mito: o robots.txt tira as páginas do Google
Esta é a ideia mais repetida e também a mais perigosa. O robots.txt controla o rastreamento, não a indexação. Diz aos robôs “não visitem esta pasta”, mas não diz ao Google “esqueça esta página”.
Na prática, uma URL bloqueada no robots.txt pode continuar a aparecer nos resultados, sem descrição, porque o Google a encontrou através de ligações de outros sites. Para retirar uma página da pesquisa, a forma correta é usar a meta tag noindex, e a página tem de continuar acessível para que essa instrução seja lida.
Atenção: bloquear uma página no robots.txt e, ao mesmo tempo, pedir-lhe noindex é um erro comum. O robô nunca chega a ler a instrução de noindex.
Mito: basta criar um sitemap e o Google indexa tudo
O sitemap XML funciona como um mapa, não como uma ordem. Ajuda os motores a descobrir páginas novas e a perceber a estrutura do site, sobretudo em sites grandes, com muitas páginas pouco ligadas entre si. Mas a indexação continua a depender da qualidade e da relevância de cada URL.
Também não basta criá-lo e esquecê-lo. O sitemap deve ser indicado no robots.txt com a linha Sitemap: e submetido no Google Search Console. Um estudo publicado a 5 de outubro de 2026 pela aicrawlercheck.com, que analisou 4.962 ficheiros robots.txt válidos do top 10.000 da lista Tranco, concluiu que 67,3% declaram um sitemap. Ou seja, é uma prática já corrente, e a sua ausência é um sinal de que a configuração ficou por fazer.
Mito: bloquear os rastreadores de IA no robots.txt protege o conteúdo
Há quem pense que uma linha no robots.txt basta para afastar todos os sistemas de inteligência artificial. A realidade é mais complexa. O mesmo estudo de outubro de 2026 indica que 19,2% dos sites analisados bloqueiam pelo menos um rastreador de treino de IA, e 10,8% bloqueiam pelo menos um rastreador de pesquisa de IA. Os sites do top 1.000 bloqueiam estes rastreadores cerca de 1,5 vezes mais do que os posicionados entre o 5.001.º e o 10.000.º lugar.
O limite é técnico. A TechnologyChecker documenta 67 user-agent strings, mas indica também que há agentes de IA sem user-agent, identificados apenas por intervalo de IP e metadados, pelo que o robots.txt não consegue direcioná-los. Além disso, segundo a ContextBolt, os fetchers acionados por um utilizador, como o ChatGPT-User ou o Perplexity-User, ignoram em larga medida o robots.txt, porque a página foi pedida por uma pessoa.
O robots.txt é, por isso, um sinal de intenção e não uma muralha. Se a proteção dos seus conteúdos é uma preocupação real, convém avaliar as opções ao nível do servidor e da firewall, e também a forma como a sua marca é citada em respostas geradas por IA. Para isso, a Reputação Digital para Empresas: Como Construir Confiança e Proteger a Marca é um bom ponto de partida. A Comissão Europeia acompanha o enquadramento regulamentar da inteligência artificial, e as suas publicações oficiais ajudam a perceber o contexto europeu.
Mito: quanto mais URLs no sitemap, melhor
Pelo contrário. O sitemap deve incluir apenas as páginas que quer ver na pesquisa: URLs canónicas, indexáveis e que respondem com código 200. Páginas com noindex, redirecionamentos, erros 404 ou versões duplicadas criam ruído e fazem o motor gastar tempo em sítios sem valor.
Numa loja com filtros e parâmetros gerados automaticamente, é frequente o sitemap acabar com milhares de URLs que não interessam a ninguém. Um sitemap limpo transmite prioridade e facilita o trabalho de quem rastreia. Quando a estrutura muda, vale a pena rever este ficheiro. Uma arquitetura bem pensada também ajuda a converter visitas em contactos, como explicamos no artigo sobre Otimização da Taxa de Conversão: Mais Leads Qualificadas.
Como configurar robots.txt e sitemap sem erros
Configurar bem o robots.txt e o sitemap resume-se a poucas diretivas, aplicadas com cuidado. A tabela seguinte resume as mais usadas e o erro que aparece com mais frequência em cada uma.
| Diretiva | Para que serve | Erro comum |
|---|---|---|
| User-agent | Indica a que rastreador se aplica a regra | Usar * sem perceber que afeta todos os robôs |
| Disallow | Bloqueia o acesso a um caminho | Escrever Disallow: / e deixar o site fora do rastreamento |
| Allow | Permite exceções dentro de um caminho bloqueado | Assumir que a ordem das linhas decide, quando é a regra mais específica que prevalece |
| Sitemap | Indica a localização do sitemap XML | Apontar para um endereço que devolve erro ou redireciona |
Para configurar robots.txt e sitemap de forma segura, a sequência que recomendamos é esta:
- Coloque o ficheiro robots.txt na raiz do domínio, por exemplo dominio.pt/robots.txt.
- Bloqueie apenas áreas sem valor para a pesquisa, como a área de administração, os carrinhos ou os resultados internos de pesquisa.
- Declare a localização do sitemap com a linha Sitemap.
- Gere o sitemap XML apenas com URLs indexáveis e atualize-o sempre que a estrutura mudar.
- Submeta o sitemap no Google Search Console e confirme se o estado aparece como bem-sucedido.
- Teste o rastreamento de páginas importantes com a ferramenta de inspeção de URL.
Dica: antes de publicar qualquer alteração ao robots.txt, teste-a no Google Search Console. Um único Disallow: / mal colocado pode retirar um site inteiro do rastreamento, e o problema só se nota semanas depois, nas visitas.
Importante: não bloqueie os ficheiros CSS e JavaScript necessários para a apresentação das páginas. O Google precisa de os ler para perceber o conteúdo e avaliar a experiência de utilização.
Se a sua empresa depende de clientes em Lisboa ou Cascais, estas bases técnicas pesam também na visibilidade local. Veja como trabalhamos esse ângulo em SEO local em Lisboa e Cascais: mais clientes próximos. Da mesma forma, um site legível por todos, incluindo tecnologias de apoio, é também um site mais bem estruturado, como se explica em Acessibilidade Digital: Como Criar Websites Mais Inclusivos.
Antes de mexer em mais uma linha, convém saber o estado real do seu site. Uma auditoria SEO mostra o que está a bloquear a descoberta das suas páginas.
Perguntas frequentes sobre ficheiro robots.txt e sitemap XML
Onde deve estar o ficheiro robots.txt?
Deve estar na raiz do domínio, por exemplo dominio.pt/robots.txt. Os rastreadores procuram-no sempre neste endereço, e se estiver noutra pasta, simplesmente não será lido.
Posso ter sitemap XML sem ter um robots.txt?
Sim. O sitemap pode ser submetido diretamente no Google Search Console. Ainda assim, declará-lo também no robots.txt é uma boa prática, porque facilita a descoberta por outros motores e ferramentas.
Com que frequência devo atualizar o sitemap?
Sempre que publicar páginas novas, remover conteúdos ou mudar a estrutura do site. Em muitos sistemas, como o WordPress, esta atualização é automática, mas convém confirmar que as URLs geradas são as corretas.
O que significa o estado “Bloqueada pelo robots.txt” no Search Console?
Indica que uma regra do robots.txt impede o Google de rastrear essa URL. Se a página deve aparecer na pesquisa, reveja a regra. Se não deve aparecer, o caminho correto é usar noindex, e não apenas o bloqueio.
Um site pequeno com poucas páginas precisa de sitemap?
Não é obrigatório, mas ajuda. Num site pequeno e bem ligado internamente, o rastreamento costuma chegar a todas as páginas. Ainda assim, o sitemap é uma garantia simples de que as páginas novas são descobertas mais depressa.
Voltando à loja que lançou o site e não aparece no Google: muitas vezes, a diferença entre uma página invisível e uma página que gera contactos está numa linha de texto e num mapa bem desenhado. Na Digital Xperience, ajudamos a sua empresa a ver este lado técnico com clareza, antes de investir mais em anúncios ou conteúdos. Se quiser que analisemos o estado do seu ficheiro robots.txt e do seu sitemap XML, Falar connosco no WhatsApp é o caminho mais rápido.
Conheça a forma como integramos estratégia, conteúdos e tecnologia num único acompanhamento.
