---
title: "ملف robots.txt: إيه اللي يتكتب فيه وإيه اللي يبوّظ أرشفتك"
description: "شرح ملف robots.txt ببساطة: الأوامر الأساسية، نموذج جاهز لووردبريس والمتاجر، والأخطاء اللي بتمنع جوجل من موقعك كله بأمثلة عملية."
url: "https://ahmed-abdelhamed.com/blog/robots-txt-guide/"
date_published: "2026-10-06T16:15:44+00:00"
date_modified: "2026-10-06T20:24:22+00:00"
author: "احمد عبدالحميد"
categories: ["SEO"]
---

# ملف robots.txt: إيه اللي يتكتب فيه وإيه اللي يبوّظ أرشفتك

**ملف robots.txt** هو ملف نصي بسيط في جذر موقعك (yoursite.com/robots.txt) بيقول لروبوتات محركات البحث **أنهي أجزاء من موقعك تقدر تزورها وأنهي لأ**. بيستخدم أوامر قليلة: \`User-agent\` لتحديد الروبوت، و\`Disallow\` لمنع مسار، و\`Allow\` للسماح باستثناء، و\`Sitemap\` لإعطاء رابط خريطة الموقع. أهم حاجة تفهمها إن الملف ده **بيتحكم في الزحف مش في الفهرسة**، وغلطة سطر واحد فيه (زي \`Disallow: /\`) ممكن تمنع جوجل من موقعك كله. هاشرحلك الأوامر، نموذج لووردبريس والمتاجر، الاختبار، والأخطاء اللي بتبوّظ أرشفتك.

## إيه هو ملف robots.txt وبيعمل إيه؟

أي روبوت محترم (زي Googlebot) بيزور موقعك بيبدأ بيدوّر على الملف ده، ويقرا التعليمات قبل ما يزحف. هو بيشبه لافتة «مسموح الدخول هنا / ممنوع هناك».

مهم جدًا تفهم:

1. **هو إرشاد مش حماية.** الروبوتات المحترمة بتلتزم، لكن الملف مش بيمنع حد من فتح الصفحة، ولا بيحمي معلومات حساسة. لو في صفحة سرية، اتحمي بباسورد مش بـ robots.txt.
2. **بيمنع الزحف مش الفهرسة.** لو صفحة ممنوعة في robots.txt لكن مواقع تانية بتشاور عليها، جوجل ممكن يفهرس رابطها (بدون محتواها). ولو عايز تمنع الظهور في النتايج، الأنسب استخدام وسم \`noindex\` على الصفحة نفسها (ولازم تسمح بالزحف عشان جوجل يشوف الوسم).
3. **لو مفيش ملف،** الروبوتات بتزحف عادي على كل حاجة متاحة. يعني الملف اختياري، لكنه مفيد للمواقع الكبيرة والمتاجر.

والمصدر الرسمي لتفاصيل الصياغة هو [توثيق جوجل لملف robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro). اقرأه كمرجع.

## الأوامر الأساسية في ملف robots.txt

الملف بيتكون من مجموعات، كل مجموعة تبدأ بـ \`User-agent\`:

```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yoursite.com/sitemap_index.xml
```

- **\`User-agent\`:** مين الروبوت المقصود. \`\*\` معناها كل الروبوتات. ممكن تحدد روبوت بعينه زي \`Googlebot\`.
- **\`Disallow\`:** مسار ممنوع زحفه. \`Disallow: /private/\` يمنع كل ما يبدأ بـ \`/private/\`. وسطر \`Disallow:\` فاضي معناه «مسموح بكل حاجة».
- **\`Allow\`:** استثناء داخل مسار ممنوع.
- **\`Sitemap\`:** رابط خريطة الموقع (لازم رابط كامل مع https). بيساعد الروبوتات تلاقي صفحاتك.
- **الأنماط:** \`\*\` بتعني أي نص، و\`$\` بتعني نهاية الرابط. مثال: \`Disallow: /\*.pdf$\` يمنع ملفات PDF.
- **التعليقات:** أي سطر يبدأ بـ \`#\` بيتتجاهل.

الأسماء حساسة لحالة الأحرف في المسارات، والملف لازم يكون في الجذر باسم \`robots.txt\` بالظبط.

## نموذج robots.txt لووردبريس

نموذج بسيط وشائع (عدّله حسب موقعك، وما تنسخوش من غير فهم):

```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yoursite.com/sitemap_index.xml
```

وده معناه: امنع لوحة الإدارة، واسمح بملف admin-ajax اللي بتحتاجه بعض الوظايف، وأعطِ رابط الخريطة. ووردبريس بيولّد ملف افتراضي افتراضيًا لو مفيش ملف فعلي، وإضافات السيو (Yoast وRank Math) بتخلّيك تعدّله من اللوحة. [Yoast ولا Rank Math](https://ahmed-abdelhamed.com/blog/yoast-vs-rank-math/).

**ما تمنعش** مجلدات الـ CSS والجافاسكريبت اللي الموقع محتاجها للعرض (مثل \`/wp-content/themes/\` أو \`/wp-includes/\`)، لأن جوجل لازم يقدر يعرض الصفحة زي ما المستخدم بيشوفها عشان يفهمها صح.

## نموذج للمتاجر (ووكومرس)

المتاجر فيها صفحات ما بتفيدش في البحث (سلة، دفع، حسابي) وفلاتر بتولّد روابط كتيرة:

```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=*
Disallow: /*?orderby=*

Sitemap: https://yoursite.com/sitemap_index.xml
```

لاحظ:

- **أسماء الصفحات (cart, checkout, my-account)** بتختلف حسب إعدادات موقعك ولغتك. اتأكد من روابطك الفعلية قبل أي سطر.
- **منع معاملات الفلاتر والترتيب** بيقلل زحف روابط متكررة، لكن **متمنعش** معاملات بتستخدمها كروابط مهمة. ولو عندك صفحات فلتر مفيدة للبحث (مثلًا «ماركة + نوع»)، فكّر في إستراتيجية مختلفة.
- بدائل المنع الكامل: وسم \`canonical\` أو \`noindex\` للصفحات الثانوية حسب الحالة. التفاصيل في [سيو المتاجر الإلكترونية](https://ahmed-abdelhamed.com/blog/ecommerce-seo-guide/) و[المحتوى المكرر في المتاجر](https://ahmed-abdelhamed.com/blog/duplicate-content-ecommerce/).

## إزاي تنشئ الملف وترفعه

**في ووردبريس:**

1. لو بتستخدم Yoast أو Rank Math، دوّر على محرر الملفات (File editor / Tools) في الإضافة وعدّل فيه.
2. أو أنشئ ملف نصي باسم \`robots.txt\` وارفعه لجذر الموقع (نفس مكان \`wp-config.php\`) عبر مدير الملفات أو FTP.
3. اتأكد إن ما فيش تعارض بين ملف فعلي والملف الافتراضي الظاهري.

**بعد الحفظ:**

1. افتح \`yoursite.com/robots.txt\` في المتصفح وتأكد إنه بيظهر صح.
2. اتأكد إن مفيش إعداد في ووردبريس (الإعدادات ← القراءة) بيقول «تثبيط محركات البحث من فهرسة الموقع» وهو مفعّل بالغلط، لأنه بيضيف منع للموقع كله.

## اختبار الملف

قبل ما تعتمد على أي تعديل:

1. **افتح الملف في المتصفح** وراجعه بالعين.
2. **استخدم أداة فحص robots.txt في Google Search Console** (تقرير robots.txt) عشان تشوف إن جوجل قرأه وهل فيه أخطاء. [دليل Google Search Console](https://ahmed-abdelhamed.com/blog/google-search-console-guide/).
3. **افحص رابط محدد** بأداة فحص الروابط (URL Inspection) في Search Console لتعرف هل هو ممنوع بسبب robots.txt.
4. **اختبر الصفحات المهمة** (الرئيسية، التصنيفات، أهم المنتجات) والتأكد إنها مش ممنوعة.
5. **راجع بعد أي تغيير كبير** في الموقع أو نقله.

## الأخطاء اللي بتبوّظ أرشفتك

1. **\`Disallow: /\` على الموقع كله:** بيمنع كل الزحف. بيحصل كتير في مواقع التطوير (staging) وبعدين بيتنقل للموقع الحقيقي بالغلط. دايمًا راجع الملف بعد النقل. [نقل موقع ووردبريس](https://ahmed-abdelhamed.com/blog/migrate-wordpress-site/).
2. **منع الـ CSS والـ JS:** جوجل مش هيقدر يعرض الصفحة ويفهمها.
3. **استخدام robots.txt بدل noindex** لإخفاء صفحة من النتايج: ممكن تفضل ظاهرة كرابط بدون وصف.
4. **منع صفحة عليها noindex:** لو منعت زحفها، جوجل مش هيشوف الوسم.
5. **أخطاء كتابة:** مسافات ناقصة، مسارات خطأ، أو أنماط واسعة بتمنع أكتر من المقصود (\`Disallow: /p\` بتمنع كل المسارات اللي بتبدأ بـ p).
6. **الاعتماد عليه للحماية:** الصفحات السرية محتاجة باسورد.
7. **الملف مش في الجذر** أو باسم غلط.
8. **ملف ضخم أو معقد** بدون داعي.
9. **ما فيش \`Sitemap\`** أو رابط خريطة قديم.
10. **تجاهل مشاكل الفهرسة بعد التغيير:** راجع [الصفحات غير المفهرسة في جوجل](https://ahmed-abdelhamed.com/blog/pages-not-indexed-google/) لو لاحظت صفحات اختفت.

## متى تحتاج تعدّل الملف أصلًا؟

أغلب المواقع الصغيرة محتاجة ملف بسيط جدًا. هتحتاج تعدّل لو:

- **عندك متجر** بفلاتر وصفحات سلة ودفع.
- **موقع كبير** وعايز توفّر ميزانية الزحف.
- **في أقسام إدارية أو نتائج بحث داخلي** مش عايزها تتزحف.
- **محتاج تحدد روبوتات معينة** (نادرًا).

ولو موقعك صغير، الأفضل تسيب الإعدادات الافتراضية وتركز على المحتوى والسرعة. [تعلم السيو من الصفر](https://ahmed-abdelhamed.com/blog/learn-seo-from-scratch/) و[قياس سرعة الموقع](https://ahmed-abdelhamed.com/blog/measure-website-speed/).

**مقالات ذات صلة بتفيدك:**

- [خريطة الموقع Sitemap: إزاي تعملها وتبعتها لجوجل](https://ahmed-abdelhamed.com/blog/xml-sitemap-guide/)
- [باك لينك: يعني إيه وإزاي تجيب روابط من غير ما تتعاقب](https://ahmed-abdelhamed.com/blog/backlinks-guide/)
- [مايكروسوفت كلاريتي: شوف زوارك بيعملوا إيه في موقعك مجانًا](https://ahmed-abdelhamed.com/blog/microsoft-clarity-guide/)
- [ميتا بيزنس سويت: شرح عملي لإدارة صفحتك وانستجرام من مكان واحد](https://ahmed-abdelhamed.com/blog/meta-business-suite-guide/)

## أسئلة شائعة

### هل لازم يكون عندي ملف robots.txt؟

لا، غير إجباري. لو مفيش ملف، الروبوتات بتزحف على كل المتاح. لكنه مفيد للمتاجر والمواقع الكبيرة.

### ممكن robots.txt يخفي صفحة من جوجل؟

مش مضمون. هو بيمنع الزحف، لكن الرابط ممكن يظهر لو في روابط خارجية. لإخفاء صفحة من النتايج استخدم \`noindex\`، أو اتحمي بباسورد لو حساسة.

### إزاي أعرف إني منعت الموقع بالغلط؟

افتح \`yoursite.com/robots.txt\` وشوف لو فيه \`Disallow: /\` تحت \`User-agent: \*\`، وراجع تقرير robots.txt وتقرير الفهرسة في Search Console، وتأكد إن إعداد ووردبريس لإخفاء الموقع من البحث مش مفعّل.

### أحط رابط خريطة الموقع في الملف؟

أيوه، سطر \`Sitemap:\` برابط كامل بيساعد الروبوتات تلاقي صفحاتك، وكمان أرسلها في Search Console.

لو عايز نراجع robots.txt وإعدادات الفهرسة لموقعك أو متجرك قبل ما تخسر صفحات، [احجز استشارة](https://ahmed-abdelhamed.com/consultation/) ونبدأ.