شرح Robots txt والتعرف على كيفية إنشائه

بي

نقدم لكم خطوات شرح Robots txt لتستطيعوا من خلالها إنشاء ملف روبوت الخاص بموقعكم، من خلال فقرات المقال القادمة.

ما هو ملف Robots.txt وما عمله؟

مقال شرح Robots txt

يعد ملف  Robots.txt هو ملف يتم تصميمة على المجلد الرئيسي للموقع الخاص بك، أوعلى  الصفحات التي سوف يتم أرشفتها، حيث يقوم الملف بتوجيه وعناكب البحث إلى الصفحات المهمة على موقعك ، ويبعدها عن الصفحات التي ليس لها أي أهمية ولا ينبغي على عناكب البحث إظهارها على محركات البحث. 

شرح Robots txt وكيفية إنشائه

نقدم لكم شرح Robots txt بتفاصيل من خلال قراءة النقاط التالية: 

• يتم عمل ملف نصي بصيغة txt على المجلد الرئيسي للموقع الخاص بك، بإسم robots ويصبح أسم الملف robots.txt. 
• يتم كتابة كافة الأوامر التي ترغب بإعطائها لمحركات البحث في الملف.

البدء في كتابة أوامر ملف Robots.txt

تعرف على طريقة كتابة أوامر ملف Robots.txt بكل سهولة من خلال النقاط الأتية: 

•  إذا كان للموقع رابط رئيسي بإسم  www.gredev.io
• كما يوجد صفحة فرعية باسم admin. 
• ذلك يكون من أجل تسجيل الدخول للصفحة يجب الذهاب إلى هذا الرابط  www.gredev.io/admin
• إذا كنت ترغب في حظر محركات البحث من الدخول لهذه الصفحة، وأرشفة المحتوي الخاص بها سيتم كتابة الاتي في ملف robots.txt: 

User-agent: Googlebot

Disallow: /admin

• السطر الأول نخبر من خلاله محرك البحث جوجل بالأوامر التالية. 
• بينما السطر الثاني يحتوي على التعليمات التي نرغب في أن يتبعها محرك البحث، وهي منعه من أرشفة محتويات صفحة الإدارة أو صفحاتها الفرعية من خلال تعليمة “Disallow
• يمكن استعمال علامة النجمة بدل Googlebot لتمنع كافة محركات البحث من أرشفة الصفحة. 

اقرا كذلك طريقة عمل موقع إلكتروني تجاري: دليلك الشامل لإنشاء متجر ناجح

ما هي أفضل الممارسات المتبعة في إعداد ملف Robots.txt ؟

يتم إضافة الكود التالي إلى شرح Robots txt لتتمكن من أستعمال في موقعك بدون أي صعوبات إذا كنت لا تريد حظر محركات البحث من أرشفة مسار محدد: 

User-agent: *

Allow: /

Sitemap: https://www.gredev.io/sitemap.xml

• السطر الأولى: يتم توجيه أمر لكافة محركات البحث لتنفيذ الأوامر الموجودة أدناه.

• السطر الثانية: يتم إبلاغ محركات البحث بالسماح بفهرسة الصفحات الموجودة في الموقع.

• السطر الثالثة: من أهم الطرق الرئيسية المستخدمة في شرح Robots txt لتسريع فهرسة الموقع هي عرض خريطة الموقع باستعمال تعليمة Sitemap ومن ثم رابط خريطة الموقع.

تطبيق هذه الممارسات فعلياً

لتطبيق هذه الممارسات بشكل فعلي يجب تنفيذ الخطوات التالية: 

• لتنفيذ هذه الممارسات، يتطلب الوصول إلى ملفات الموقع، سواء عن طريق لوحة تحكم الموقع الرئيسية مثل cPanel أو عن طريق الاتصال بالموقع عبر خدمة FTP.
•  بالنسبة للمواقع التي تستخدم سكربت الـ WordPress، يمكنها تثبيت إضافات للتحكم في هذا الملف، مثل إضافة Virtual Robots.txt أو أي إضافة أخري توفر الإمكانيات نفسها. 

في ختام مقال شرح Robots txt نكون تعرفنا على خطوات إنشاء ملف الروبوت بصورة صحيحة للمواقع الآلكترونية.