السيو · مجانية · من غير تسجيل
مولّد ملف robots.txt لووردبريس والمتاجر وزواحف الذكاء الاصطناعي
اختار نوع موقعك واللي عايز تقفله، وخُد ملف robots.txt جاهز تنسخه أو تنزّله. وفيه اختيارات منفصلة لـ زواحف الذكاء الاصطناعي: اللي بتدرّب النماذج، واللي بتجيب إجاباتها من موقعك.
كل الحساب بيتم في المتصفح بتاعك، ومفيش أي بيانات بتتبعت.
يعني إيه ملف robots.txt؟
robots.txt ملف نصي صغير في الفولدر الرئيسي لموقعك (yoursite.com/robots.txt)، بيقول لزواحف محركات البحث والذكاء الاصطناعي إيه الأجزاء اللي مسموح تزورها وإيه الممنوع. كل زاحف محترم بيقراه قبل ما يبدأ.
مهم تعرف إن robots.txt بيمنع الزيارة مش الأرشفة. صفحة ممنوعة في robots.txt ممكن تظهر في جوجل برضه لو فيه روابط ليها. علشان تخفي صفحة من جوجل، استخدم noindex من إضافة السيو، وسيبها مفتوحة في robots.txt علشان جوجل يقدر يشوف الـ noindex.
الإعدادات الجاهزة
- ووردبريس: بيقفل
/wp-admin/ويفتحadmin-ajax.phpاللي بعض الإضافات محتاجاه. - ووكومرس: نفس ووردبريس، ومعاه صفحات السلة والدفع والحساب، وروابط «أضف للسلة» والترتيب اللي بتعمل آلاف الروابط المكررة.
- البحث الداخلي: صفحات نتايج البحث جوه موقعك مالهاش لازمة في جوجل وبتضيّع وقت الزاحف.
زواحف الذكاء الاصطناعي: تقفل إيه وتسيب إيه؟
فيه نوعين ومحتاج تفرّق بينهم:
- زواحف التدريب زي GPTBot وClaudeBot وGoogle-Extended وCCBot: بتجمع المحتوى علشان تدرّب النماذج. قفلها قرار ليك، وما بيأثرش على ترتيبك في جوجل.
- زواحف البحث والإجابات زي OAI-SearchBot وPerplexityBot وClaude-SearchBot: بتقرأ صفحتك وقت ما حد يسأل علشان تستشهد بيها. لو قفلتها، موقعك ممكن ما يظهرش في إجابات ChatGPT وPerplexity وClaude.
وسطر Content-Signal طريقة أحدث بتقول فيها تفضيلاتك بوضوح: مسموح للبحث (search)، ومسموح يتستخدم في الإجابات (ai-input)، ومش مسموح للتدريب (ai-train). مش كل الزواحف بتلتزم بيه لسه، لكنه مش بيضر.
ولو موقعك على ووردبريس وعايز أدوات الذكاء الاصطناعي تقرأ محتواك بشكل نظيف، شوف إضافة Rawi MD المجانية، وأداة مولّد llms.txt.
أسئلة شائعة
أحط ملف robots.txt فين؟
في الفولدر الرئيسي للموقع (public_html غالبًا)، بحيث يفتح على yoursite.com/robots.txt. ولو بتستخدم Yoast، تقدر تعدّله من أدوات Yoast ← محرر الملفات.
هل قفل GPTBot بيأثر على السيو؟
لأ. GPTBot بتاع تدريب نماذج OpenAI ومالوش علاقة بترتيب جوجل. لكن OAI-SearchBot هو اللي بيجيب نتايج بحث ChatGPT، فلو قفلته ممكن ما تظهرش هناك.
إزاي أخفي صفحة من جوجل؟
استخدم noindex من إضافة السيو مش robots.txt. لو قفلت الصفحة في robots.txt، جوجل مش هيقدر يقرأ الـ noindex، والصفحة ممكن تفضل ظاهرة.
إيه اللي يحصل لو الموقع ما فيهوش robots.txt؟
الزواحف بتعتبر كل حاجة مسموحة. ده مش مشكلة كبيرة لموقع صغير، لكن الملف بيساعد إنك توجّه الزاحف بعيد عن الصفحات اللي مالهاش لازمة، وتدلّه على الـ Sitemap.