ملف robots.txt هو ملف نصي عام يحدد تعليمات الزحف التي ترسلها للمحركات مثل Googlebot، لكنه لا يعمل كوسيلة موثوقة لإزالة الصفحات من الفهرس ولا يصلح لحماية المحتوى السري. استخدامه الصحيح يساعد على تنظيم الزحف، واستخدامه الخاطئ قد يمنع أجزاء مهمة من الموقع بالكامل.
أفضل طريقة للتعامل معه هي كتابة أقل عدد ممكن من القواعد وبأوضح شكل، ثم اختبارها قبل النشر. لا تضف Disallow واسعًا لأنك ترى URL غير مهم؛ أولًا حدّد هل المشكلة زحف أم فهرسة أم Duplicate Content.
أين يوجد الملف
يوضع الملف في جذر النطاق، مثل example.com/robots.txt. هو ملف عام يستطيع أي شخص فتحه، لذلك لا تضع داخله مسارات سرية أو حساسة اعتمادًا على أنه سيخفيها.
الفرق بين الزحف والفهرسة
هذه أهم نقطة في فهم ملف robots.txt. Disallow يمنع الزاحف من طلب الصفحة، لكنه لا يضمن عدم ظهور URL في نتائج البحث إذا اكتشفه Google من روابط أخرى.
إذا كان الهدف إزالة صفحة من الفهرس، تحتاج إلى حل مناسب للفهرسة مثل noindex أو إزالة الصفحة أو معالجة النسخ، مع السماح للزاحف بقراءة الإشارة عند الحاجة.
أهم التعليمات الأساسية
| التعليمة | وظيفتها |
| User-agent | تحديد الزاحف الذي تطبق عليه القاعدة |
| Disallow | منع الزحف إلى مسار محدد |
| Allow | السماح بمسار داخل نطاق محظور عند الحاجة |
| Sitemap | الإشارة إلى موقع خريطة XML |
مثال بسيط
User-agent: * Disallow: /admin/ Allow: /admin/public-file/ Sitemap: https://example.com/sitemap_index.xml
هذا مجرد مثال توضيحي، وليس قالبًا جاهزًا للنسخ على كل موقع.
لا تمنع CSS وJavaScript بلا سبب
Google يحتاج أحيانًا إلى ملفات CSS وJavaScript لفهم الصفحة كما يراها المستخدم. منع الموارد المهمة قد يضعف قدرته على rendering الصفحة بصورة صحيحة.
عند مراجعة ملف robots.txt افحص أي قواعد قديمة تمنع مجلدات assets بشكل واسع.
المسارات الحساسة لا توضع هنا للحماية
لأن الملف عام، كتابة مسار خاص داخله قد تكشف وجوده بدل أن تحميه. استخدم Authentication أو صلاحيات الخادم للمحتوى السري.
Disallow واسع قد يكون كارثيًا
قاعدة مثل Disallow: / قد تمنع الزحف عن الموقع كله للـUser-agent المستهدف. قبل أي تعديل، راجع المسافات والشرطات ومسار القاعدة بدقة.
الاختلاف بين بيئة الاختبار والإنتاج
مواقع Staging قد تستخدم robots لمنع الزحف، ثم تنتقل القاعدة إلى Production بالغلط. هذا من أشهر أخطاء الإطلاق.
أضف فحص ملف robots.txt إلى Checklist النشر والهجرة.
الفلاتر والمعلمات
قد يكون منع بعض أنماط الزحف مفيدًا في مواقع كبيرة، لكن لا تحظر مسارات قبل التأكد أن أي صفحة مهمة أو نية بحث حقيقية لا تعتمد عليها.
في بعض الحالات يكون التحكم بالروابط الداخلية والCanonical والفهرسة أنسب من robots.
لا تستخدم الملف لمعالجة Duplicate Content
إذا منعت Google من زحف النسخة المكررة، قد لا يستطيع رؤية canonical أو noindex الموجود داخلها. لذلك عالج النسخ المكررة بالأداة المناسبة.
أشر إلى Sitemap
يمكن إضافة رابط Sitemap داخل ملف robots.txt لتسهيل اكتشافها. هذا مفيد لكنه لا يغني عن إرسال الخريطة في Search Console عند الحاجة.
اختبر القواعد قبل النشر
راجع URLs نموذجية من كل مسار متأثر. اختبر صفحة مهمة، صفحة يجب منعها، وملفات CSS وJS الضرورية.
لا تكتفِ بقراءة الملف بصريًا إذا كانت القواعد كثيرة.
راقب بعد التعديل
بعد نشر تغيير واسع، راقب Crawl Stats وتقارير Search Console وURL Inspection للصفحات المهمة.
إذا انخفض الزحف في مسارات لم تكن تقصدها، ارجع إلى آخر تعديل بسرعة.
أخطاء شائعة
- استخدام robots.txt لإزالة صفحة من الفهرس.
- وضع مسارات سرية داخل الملف.
- منع الموقع بالكامل عند الإطلاق.
- حظر CSS أو JS ضروري.
- منع نسخة تحتاج Google لقراءة Canonical منها.
- نسخ ملف من موقع آخر بدون فهم المسارات.
- ترك قواعد Staging على الموقع الحي.
قائمة فحص سريعة
- هل الملف موجود في الجذر.
- هل كل User-agent مقصود بوضوح.
- هل أي Disallow واسع أكثر من اللازم.
- هل الصفحات المهمة قابلة للزحف.
- هل الموارد الضرورية متاحة.
- هل لا توجد معلومات حساسة داخل الملف.
- هل Sitemap الصحيحة مذكورة.
- هل تم اختبار القواعد بعد النشر.
robots.txt ينظم الزحف ولا يدير الفهرسة وحده
ملف robots.txt أداة قوية عندما تستخدمه للتحكم في الزحف فقط. افصل بين الزحف والفهرسة، تجنب القواعد الواسعة، واختبر أي تعديل قبل أن يصل إلى الموقع الحي.
ولفهم robots ضمن بقية عناصر الزحف والفهرسة يمكن الرجوع إلى السيو التقني. وإذا كان الموقع كبيرًا ويحتاج سياسة زحف وفهرسة متكاملة يمكن الانتقال إلى خدمات سيو.
