Indiquez aux moteurs ce qu'ils peuvent explorer. Choisissez vos règles et obtenez un robots.txt propre, prêt à téléverser, à copier ou télécharger.
Un fichier robots.txt se trouve à la racine de votre domaine et indique aux robots des moteurs quelles parties de votre site ils peuvent explorer ou non. Une erreur et vous pouvez masquer tout votre site par accident, ou exposer des pages que vous vouliez garder discrètes. Ce générateur gratuit construit un robots.txt valide à partir d'entrées simples, prêt à copier ou télécharger.
Utilisez * pour tous les robots, ou nommez un robot précis.
Listez les dossiers à bloquer (admin, paiement) et ceux à autoriser explicitement.
Indiquez votre sitemap aux robots, puis copiez ou téléchargez le fichier.
Ce calculateur n'est qu'un aperçu de ce que fait Klairova. Lancez de vraies campagnes, suivez chaque clic jusqu'à chaque vente, envoyez des fiches tarifaires et des factures, et soyez payé dans plus de 160 devises. Gratuit.
À la racine de votre domaine, pour qu'il se trouve à example.com/robots.txt. Les robots l'y cherchent automatiquement ; il ne fonctionnera pas dans un sous-dossier.
Pas exactement. Disallow demande aux robots de ne pas explorer un chemin, mais une URL bloquée peut tout de même apparaître dans les résultats si d'autres sites y renvoient. Pour garder une page hors de l'index, utilisez plutôt une balise meta noindex.
Les petits sites souvent non, les moteurs les explorent très bien par défaut. Il est utile pour éloigner les robots des pages d'admin ou en double et pour pointer vers votre sitemap. Sur Klairova, vos sites sont explorables par défaut avec les sitemaps gérés pour vous.