شرح انشاء وتحليل ملفات robots.txt

تتحكم ملفات robots.txt فى عدد زيارات الزحف الى صفحات موقعك لذلك لابد من استخدامها لعدم انهاك السيرفر بعدد زيارات مرتفع دون الحاجه لذلك , أو التقليل من الزحف الى صفحات غير مهمه الى موقعك حتى لا تستهلك ميزانية الزحف على حساب الصفحات المهمه.

• ما هى ملفات robots .tx .

 هى عبارة عن بروتوكول يتضمن مجموعه صغيره من الاوامر التى تبين امكانية الزحف الى موقعك  حسب القسم وحسب انواع محدده من زواحف الويب , او تبين اجزاء من الموقع التى لا تريد ان يصل زاحف الويب اليها مثل صفحات الاداره او الارشيف .

 ووظيفته الاساسيه هى ابعاد عناكب الويب من الزحف الى الصفحات الحساسه مثل صفحات الاداره , الارشيف , دفتر الزوار , صفحة اتصل بنا ,....... الخ

• تحليل ملف robots.txt .

 يعتمد ابسط ملف robot. txt على قاعدتين :

الاولى :  User-Agent وهى برنامج الروبوت التى ستنطبق عليه القائمه مثل برامج روبوت جوجل او بينج............الخ.

الثانيه : Disallow ويوضع بعده رابط فى موقعك لا تريد ارشفته او الزحف اليه .

مثال للتوضيح:

                                             User-agent: * Disallow: /folder1/ User-Agent: Googlebot Disallow: /folder2/

- فى السطر الاول من الكود فى الاعلى علامة النجمه * تشير ان الامر سينطبق على جميع برامج الزحف او عناكب الزحف.
-والسطر الثانى يشير الى منع الزحف الى /folder1/ .
-اما فى الطر الثالث فقد حددنا زاحف جوجل فقط.Googlebot من الزحف الى الامر فى السطر الاخير /folder2/ .

• انشاء ملف robot.txt .

 افتح المفكره او اى برنامج كتابة نصوص مثل notepad .
 فى السطر الاول اكتب الكود التالى:


User-agent: *
الكود فى الاعلى يوضح برامج او عناكب الزحف التى نريد ه ويمكن اختيار جميع برامج الزحف باضافة علامة النجمه (*) كما بالاعلى .

فى السطر الثانى اكتب الكود التالى :

Disallow: /

هذا الكود فى الاعلى يستخدم لحجب الموقع بالكامل فالشرطه المائله فقط تحدد جميع روابط وصفحات موقعك .

الكود التالى لمنع برامج الروبوت من الزحف الى دليل بالكامل (يمكنك هنا وضع دليل صفحات الارشيف , القوائم , اتصل بنا ... الخ .
Disallow: /junk-directory/

اما الكود التالى لمنع الزحف الى رابط او الى صفحه تختارها فى موقعك .

Disallow: /private_file.html
الكود بالاخير لمنع برنامج زحف جوجل من الزحف الى جميع الصور فى موقعك .

User-agent: Googlebot-Image Disallow: /
 اظن انه اصبح من الواضح الان ماهى ملفات robots.txt وفيما تستخدم ... ولكن اذا لم ترد حجب اى صفحات فى موقعك فيمكن ان لا تستخدم هذا الملف .

• ملحوظه اخيره : النجمة تعني كل بوت يزحف إلى موقعك ( Allow ) تعني السماح و (Disallow) تعني عدم السماح

اختبار ملفات robot.txt .

هى اداه مهمه توضح لك ما اذا كان ملف robot.txt منع الزحف الى صفحات مهمه فى موقعك من دون قصد برامج الروبوت او اذا كان يسمح بالزحف الى صفحات لا ينبغى ان تظهر فى صفحات البحث .

- من الصفحه الرئيسية لادوات مشرفى مواقع جوجل

- فى قائمة  Health، انقر على عناوين URL المحظورة.

- وإذا لم يكن محددًا، فانقر على علامة التبويب اختبار ملف robots.txt

- انسخ محتوى ملف robots.txt والصقه داخل المربع الأول.

-  في مربع عناوين URL، أدخل الموقع المراد اختباره.

-  في قائمة وكلاء المستخدم، حدد وكلاء المستخدم الذين تريدهم.

 وتقدم هذه الأداة النتائج لوكلاء مستخدم Google فقط (مثل Googlebot). وربما لا تفسر بعض برامج التتبع الأخرى ملف robots.txt بنفس الطريقة. على سبيل المثال، يسمح Googlebot بتعريف أشمل للمعيار بروتوكول robots.txt.

 ملف robot.txt جاهز لمدونات بلوجر .

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
لاضافة الكود بالاعلى اذهب الى لوحة تحكم مدنتك فى بلوجر ثم اتبع الصور :

الصوره بالاعلى تشرح نفسها ولا تحتاج الى توضيح .