Dile a los buscadores qué rastrear. Elige tus reglas y obtén un robots.txt limpio, listo para subir, para copiar o descargar.
Un archivo robots.txt vive en la raíz de tu dominio y les dice a los rastreadores de los buscadores qué partes de tu sitio pueden y no pueden rastrear. Un error y puedes ocultar todo tu sitio sin querer, o exponer páginas que querías mantener discretas. Este generador gratis crea un robots.txt válido a partir de entradas simples, listo para copiar o descargar.
Usa * para todos los rastreadores, o nombra un bot específico.
Lista las carpetas a bloquear (admin, checkout) y las que quieras permitir explícitamente.
Apunta los rastreadores a tu sitemap, luego copia o descarga el archivo.
Esta calculadora es solo una muestra de lo que hace Klairova. Lanza campañas reales, rastrea cada clic hasta cada venta, envía tarjetas de tarifas y facturas, y cobra en más de 160 monedas. Gratis de usar.
En la raíz de tu dominio, para que quede en example.com/robots.txt. Los rastreadores lo buscan ahí automáticamente; no funciona en una subcarpeta.
No exactamente. Disallow les dice a los rastreadores que no rastreen una ruta, pero una URL bloqueada aún puede aparecer en resultados si otros sitios la enlazan. Para mantener una página fuera del índice, usa mejor una meta tag noindex.
Los sitios pequeños a menudo no, los buscadores los rastrean bien por defecto. Es útil para alejar a los rastreadores de páginas de admin o duplicadas y para apuntar a tu sitemap. En Klairova tus sitios son rastreables por defecto con los sitemaps gestionados por ti.