أخبر محرّكات البحث بما تزحف إليه. اختر قواعدك واحصل على ملف robots.txt نظيف جاهز للرفع، للنسخ أو التنزيل.
يوجد ملف robots.txt في جذر نطاقك ويخبر زواحف محرّكات البحث بأي أجزاء موقعك يجوز لها الزحف إليها وأيها لا. خطأ واحد وقد تخفي موقعك بالكامل دون قصد، أو تكشف صفحات أردت إبقاءها هادئة. يبني هذا المولّد المجاني ملف robots.txt صالحًا من مدخلات بسيطة، جاهزًا للنسخ أو التنزيل.
استخدم * لكل الزواحف، أو سمِّ زاحفًا محدّدًا.
اذكر المجلّدات التي تمنعها (admin، checkout) وأي مسارات تسمح بها صراحةً.
وجّه الزواحف إلى sitemap الخاص بك، ثم انسخ الملف أو نزّله.
هذه الحاسبة مجرد لمحة عما يفعله Klairova. أطلق حملات حقيقية، وتتبّع كل نقرة حتى كل عملية بيع، وأرسل بطاقات الأسعار والفواتير، واحصل على أموالك بأكثر من 160 عملة. مجاني الاستخدام.
في جذر نطاقك، ليكون على example.com/robots.txt. تبحث عنه الزواحف هناك تلقائيًا؛ لن يعمل في مجلّد فرعي.
ليس تمامًا. يطلب Disallow من الزواحف عدم الزحف إلى مسار، لكن قد يظهر رابط ممنوع في النتائج إن ربطت إليه مواقع أخرى. لإبقاء صفحة خارج الفهرس، استخدم وسم meta noindex بدلًا من ذلك.
المواقع الصغيرة غالبًا لا، تزحف إليها محرّكات البحث جيدًا افتراضيًا. وهو مفيد لإبعاد الزواحف عن صفحات الإدارة أو المكرّرة وللإشارة إلى sitemap. على Klairova تكون مواقعك قابلة للزحف افتراضيًا مع إدارة خرائط الموقع نيابةً عنك.