يحتاج كل مستخدم يمتلك موقع إلكتروني إلى إستخدام أداة مولد robots.txt للحصول على ملف روبوت تكست مخصص لموقعه وهو ضروري لأرشفة موقعك بشكل صحيح على محرك بحث Goggle ولتسهيل زحف عناكب البحث.
كيفية إستخدام أداة مولد أكواد robots.txt
- حدد نوع إستضافة موقعك Blogger أم WordPress
- ضع رابط URL لموقعك مع بادئة https:// في الخانة المخصصة.
- إضغط إنشاء وسيتم البدئ في تجهيز ملف روبوت تكست.
- إنسخ الحصيلة إلى موقعك في : إعدادات بلوجر وفعّل محتوى Robots.txt مخصص وقم بلصق الكود هناك.
- الأن قم بالدخول إلى أداة إختبار robots.txt وقم بلصق نفس الكود هناك واضغط إرسال.
كود ملف روبوت تكست مخصص
إنشاء ملف robots.txt واضح وآمن لـWordPress أو Blogger أو موقع عام.
فوائد إنشاء ملف robots.txt مخصص
من خلال إنشاء ملف robots.txt لموقعك ستتمكّن من إخبار محرك بحث Google بكل الصفحات التي ترغب في عرضها كنتائج في البحث وكذلك لتحديد الصفحات التي تود منع الزحف والفهرسة إليها.
قد ترغب في منع عرض صفحات معينة من موقعك وحظر عناكب البحث من الوصول إليها.
قم بإضافة Disallow: /yourpage.html على ملف الروبوت تكست الخاص بك وقم بإرسال إشعار بتحديث الكود الجديد، تأكد من تغيير yourpage.html برابط الصفحة (الصفحات) المُراد منع فهرستها قبل الإرسال.
تفسير أوامر robots.txt كاملة
User-agent: Mediapartners-Google: هذا هو كود السماح لعناكب جوجل أدسنس بالزحف إلى موقعك ولديه قيمة تابثة ولا يحتمل التعديل.
Disallow: يستخدم هذا الأمر لمنع صفحات معينة من موقعك على الظهور كنتائج في بحث جوجل، على سبيل المثال: عبارات البحث التي يستخدمها الزوار للبحث عن صفحات وسط موقعك، لهذا نقوم بإضافة Disallow: /search لمنع فهرسة روابط البحث.
Allow: / يعني السماح بالفهرسة. بعدما قمنا بإضافة Disallow لحظر الوصول لصفحة معينة، نستخدم بعدها Allow للسماح بالزحف لباقي صفحات الموقع وفهرستها.
Sitemap: ملف السيت ماب الذي يحتوي على قائمة المواضيع المنشورة على موقعك، يجب إرسال وتركيب نفس الكود على Google Search Console وملف الروبوت تكست بحد سواء لضمان فهم عناكب البحث لمحتويات موقعك بشكل صحيح.