Diga aos motores de busca o que rastrear. Escolha as suas regras e obtenha um robots.txt limpo, pronto a carregar, para copiar ou descarregar.
Um ficheiro robots.txt fica na raiz do seu domínio e diz aos rastreadores dos motores que partes do site podem ou não rastrear. Um erro e pode esconder o site inteiro sem querer, ou expor páginas que queria manter discretas. Este gerador grátis cria um robots.txt válido a partir de entradas simples, pronto a copiar ou descarregar.
Use * para todos os rastreadores, ou indique um bot específico.
Liste as pastas a bloquear (admin, checkout) e as que quer permitir explicitamente.
Aponte os rastreadores ao seu sitemap, e depois copie ou descarregue o ficheiro.
Esta calculadora é só uma amostra do que o Klairova faz. Rode campanhas de verdade, rastreie cada clique até cada venda, envie tabelas de preços e faturas, e receba em mais de 160 moedas. Grátis para usar.
Na raiz do seu domínio, para ficar em example.com/robots.txt. Os rastreadores procuram-no aí automaticamente; não funciona numa subpasta.
Não exatamente. O Disallow diz aos rastreadores para não rastrearem um caminho, mas um URL bloqueado pode ainda aparecer nos resultados se outros sites lhe apontarem. Para manter uma página fora do índice, use antes uma meta tag noindex.
Sites pequenos muitas vezes não, os motores rastreiam-nos bem por omissão. É útil para afastar rastreadores de páginas de admin ou duplicadas e para apontar ao seu sitemap. Na Klairova os seus sites são rastreáveis por omissão com os sitemaps tratados por si.