منشئ ملف Robots.txt
جديدأنشئ ملف robots.txt صالحًا بقواعد السماح والمنع وسطر خريطة الموقع.
Disallow blocks crawling, not indexing. A blocked URL can still
appear in Google if other sites link to it. To remove a page from search results, keep it crawlable
and add a noindex meta tag or X-Robots-Tag header. robots.txt is also a
public file and is not a security measure — protect private pages with real authentication.
robots.txt syntax cheat-sheet
| Directive | What it does |
|---|---|
| User-agent: * | Which crawler the rules apply to (* = all bots). |
| Disallow: /path | Ask crawlers not to crawl URLs that start with this path. |
| Allow: /path | Permit a path, typically an exception inside a disallowed area. |
| Crawl-delay: 10 | Seconds between requests. Bing & Yandex honor it; Google ignores it. |
| Sitemap: https://… | Absolute URL of your sitemap. Can appear anywhere in the file. |
| * | Wildcard — matches any sequence of characters in a path. |
| $ | Anchors a rule to the end of the URL, e.g. /*.pdf$. |
| # | A comment — the rest of the line is ignored by crawlers. |
Runs entirely in your browser. Nothing is uploaded.
منشئ robots.txt مجاني يعمل في متصفحك
يحوّل هذا منشئ robots.txt نموذجاً بسيطاً إلى ملف robots.txt صحيح — دون الحاجة إلى حفظ الصياغة أو تثبيت أي شيء. اختر إعداداً مسبقاً أو أنشئ قواعد الزحف الخاصة بك، وشاهد الملف يتشكّل أمامك لحظةً بلحظة، ثم انسخه أو حمّله وضعه في جذر موقعك. يعمل كل شيء محلياً في متصفحك، لذا لا تُرفع القواعد التي تكتبها إلى أي خادم.
سواء كنت تحتاج إلى مثال على robots.txt كنقطة بداية، أو ملف robots.txt مخصص لزاحف بعينه، أو ملف مضبوط لووردبريس أو بلوجر أو لحظر روبوتات التدريب على الذكاء الاصطناعي، يمكنك إعداده في ثوانٍ. يتيح لك مختبر المسارات المدمج التحقق من قواعدك قبل النشر — وهو ما تفتقر إليه معظم الأدوات المنافسة.
أنشئ قواعد الزحف دون حفظ الصياغة
تجمع كل مجموعة قواعد بين User-agent والمسارات التي تريد السماح بها أو حظرها، إضافةً إلى Crawl-delay اختياري. استخدم * لاستهداف جميع الزواحف، أو سمِّ بوتاً محدداً مثل Googlebot أو Bingbot — ابدأ الكتابة وسيقترح الحقل الزواحف الشائعة تلقائياً. أضف عدداً من المجموعات بحسب حاجتك لمنح كل بوت قواعد مختلفة.
أدخل مساراً واحداً في كل سطر؛ تُنسّق الأداة كل منها كتعليمة Disallow: أو Allow: صحيحة وتجمع مجموعاتك بالترتيب الصحيح. أضف عنوان URL لـ Sitemap وسيُضاف تلقائياً كسطر Sitemap: مطلق يوجّه الزواحف إلى كل صفحة تريد فهرستها. يلتقطه زاحف جوجل ويستخدمه جنباً إلى جنب مع أي خريطة موقع مُقدَّمة مباشرةً في Search Console.
إعدادات مسبقة لووردبريس وبلوجر وحظر روبوتات الذكاء الاصطناعي
بنقرة واحدة تُحمَّل نقطة بداية جاهزة. يغطي السماح للجميع وحظر الجميع الطرفين المتقابلين. يُحمِّل ووردبريس الإعداد الافتراضي الموصى به: حظر /wp-admin/ مع إبقاء /wp-admin/admin-ajax.php مفتوحاً لطلبات AJAX التي تحتاجها الإضافات. يُحمِّل بلوجر الإعداد المقترح من جوجل: السماح بكل شيء ما عدا /search لتجنب مشكلات المحتوى المكرر.
يُفيد إعداد حظر روبوتات الذكاء الاصطناعي إن أردت أن يبقى محتواك على جوجل وبينج دون أن يُستخدم في تدريب نماذج الذكاء الاصطناعي. يحظر GPTBot (OpenAI)، وCCBot (Common Crawl)، وGoogle-Extended (Gemini)، وClaudeBot (Anthropic)، وPerplexityBot، وغيرها — مع إبقاء زواحف البحث المعتادة دون تأثير. أضافت صحف كبرى مثل نيويورك تايمز والغارديان حظوراً مماثلة عام 2023.
اختبر عنوان URL قبل النشر
الأداة التي لا تختبر نفسها تؤدي نصف المهمة فحسب. يتيح لك مختبر المسارات المدمج إدخال أي URL أو مسار واسم زاحف، ثم يخبرك ما إذا كانت قواعدك الحالية تسمح به أو تحظره — وأي قاعدة Allow أو Disallow تحكم بذلك تحديداً، باستخدام منطق المطابقة الأطول الذي يطبقه جوجل (تفوز القاعدة الأكثر تحديداً، وتُرجَّح Allow عند التساوي في الطول).
أثناء الكتابة، تُظهر الأداة أيضاً تحذيرات فورية للأخطاء التي تُفسد ملفات robots.txt الحقيقية بصمت: مسار يفتقر إلى الشرطة المائلة الأولى، أو عنوان URL نسبي لخريطة الموقع، أو Crawl-delay موجَّه إلى Googlebot (الذي يتجاهله ويتطلب إعداداً منفصلاً في Search Console). تصحيح هذه الأخطاء قبل النشر يوفر عليك جولة تصحيح طويلة عبر Google Search Console.
الزحف مقابل الفهرسة — والأخطاء الشائعة الأخرى
أكبر سوء فهم في robots.txt: أن Disallow يحذف الصفحة من جوجل. هذا غير صحيح. فهو يوقف الزحف، لكن عنوان URL المحظور يمكن أن يظهر في نتائج البحث إذا كانت صفحات أخرى ترتبط به. قد يفهرسه جوجل حتى بلا مقتطف — مجرد عنوان URL بلا وصف. للإبقاء على صفحة خارج البحث، اتركها قابلة للزحف وأضف noindex على الصفحة نفسها. إن حظرتها في robots.txt، لن يستطيع جوجل زحف الصفحة لرؤية noindex، وقد يبقى عنوان URL في الفهرس إلى أجل غير مسمى.
تذكّر أيضاً أن robots.txt عام واستشاري. يقع في عنوان URL ثابت وقابل للقراءة، وليس حاجزاً أمنياً، ولا تلتزم به إلا الروبوتات الحسنة النية. استخدمه لتوجيه ميزانية الزحف وترتيب الصفحات المكررة أو الرقيقة — لا لإخفاء أي شيء يحتاج إلى حماية حقيقية. لذلك، استخدم المصادقة. تعمل هذه الأداة بالكامل في متصفحك، لذا لا تغادر المسارات الداخلية لموقعك جهازك أبداً.
Frequently asked questions
ما استخدام ملف robots.txt؟
robots.txt هو ملف نصي عادي في جذر موقعك يخبر زواحف محركات البحث بعناوين URL المسموح لها أو غير المسموح لها بطلبها. فمثلاً، يطلب Disallow: /cart/ من الزواحف تخطي صفحات عربة التسوق حتى تصرف ميزانية الزحف في الصفحات المهمة فعلاً لتحسين محركات البحث. وهو جزء من بروتوكول استبعاد الروبوتات (المُقنَّن الآن في RFC 9309) الذي يلتزم به جوجل وبينج وكبار الزواحف — غير أنه يتحكم في الزحف لا في الوصول أو الأمان. يمكن لأي شخص قراءة ملفك على yoursite.com/robots.txt، لذا فهو ليس أداة خصوصية.
كيف أنشئ ملف robots.txt؟
استخدم المنشئ أعلاه: اختر إعداداً مسبقاً أو أضف مجموعة قواعد، وحدد User-agent (استخدم * لجميع الزواحف)، وأدرج المسارات المراد حظرها أو السماح بها، وأضف Crawl-delay اختياريًا، والصق عنوان URL لخريطة الموقع. يتحدث الناتج فوراً أثناء الكتابة — انقر نسخ أو تنزيل لحفظه بصيغة robots.txt، ثم ارفعه إلى المجلد الجذر لموقعك ليكون متاحاً على https://yoursite.com/robots.txt. لا يلزمك أي برمجة، ومختبر المسارات يراجع قواعدك قبل النشر.
كيف تقارن هذه الأداة بمنشئات robots.txt الأخرى مثل technicalseo.com أو seoptimer.com؟
تنتج أداتا TechnicalSEO.com وSEOptimer ملفات صحيحة، لكن لا تتضمن أياهما مختبر مسارات مدمجاً يُظهر لك القاعدة المطبَّقة على عنوان URL محدد. هذه الأداة توفر ذلك: أدخل أي مسار واسم زاحف وستخبرك ما إذا كانت قواعدك الحالية تسمح به أو تحظره، مستخدمةً منطق المطابقة الأطول الذي يطبقه جوجل. كما تُشير إلى الأخطاء الشائعة فوراً: مسارات تفتقر إلى الشرطة المائلة الأولى، أو عناوين URL نسبية لخريطة الموقع، أو Crawl-delay موجَّه إلى Googlebot (الذي يتجاهله). كل هذا يعمل في متصفحك دون إرسال أي بيانات إلى خادم.
أين أضع ملف robots.txt؟
يجب أن يكون في المجلد الجذر لنطاقك ويُخدَّم على https://yoursite.com/robots.txt بالضبط — وليس في مجلد فرعي مثل /blog/robots.txt الذي تتجاهله الزواحف. كل نطاق فرعي يحتاج ملفه الخاص، فـ blog.yoursite.com وshop.yoursite.com يتطلبان ملفَي robots.txt منفصلَين. في ووردبريس يمكنك رفعه عبر FTP أو مدير ملفات استضافتك (أو استخدام إضافة مثل Yoast SEO التي تديره تلقائياً). في بلوجر تُفعّله من الإعدادات → تفضيلات البحث → robots.txt المخصص.
ما المقصود بـ User-agent في robots.txt؟
User-agent يُسمّي الزاحف الذي تنطبق عليه مجموعة من القواعد. يستهدف User-agent: * كل الزواحف، بينما يستهدف User-agent: Googlebot زاحف جوجل الرئيسي فحسب. يمكنك تعريف عدة مجموعات — مثلاً السماح للجميع مع حظر GPTBot — ويلتزم كل زاحف بالمجموعة الأكثر تحديداً المطابقة لاسمه. تشمل القيم الشائعة: Googlebot وBingbot وGooglebot-Image وGPTBot (المستخدم من OpenAI لتدريب ChatGPT) وCCBot (Common Crawl المستخدم في كثير من مجموعات بيانات تدريب الذكاء الاصطناعي) وGoogle-Extended (المستخدم من جوجل في Gemini) وPerplexityBot.
ما الفرق بين Allow وDisallow؟
يطلب Disallow من الزاحف عدم جلب عناوين URL المطابقة؛ بينما يسمح Allow بها. يُستخدم Allow بصفة رئيسية لاستثناء مسار داخل مجلد محظور. مثلاً، Disallow: /wp-admin/ مع Allow: /wp-admin/admin-ajax.php يحظر لوحة تحكم ووردبريس لكنه يتيح ملف AJAX الوحيد الذي تحتاجه الزواحف. عند تعارض القواعد، يتبع جوجل المسار المطابق الأكثر تحديداً (الأطول)، ويُرجَّح Allow عند التساوي في الطول. يستخدم بينج المنطق ذاته؛ أما ياندكس فيختلف قليلاً في الحالات الحدية.
كيف أضيف خريطة موقع إلى robots.txt؟
أضف سطر Sitemap: يتضمن عنوان URL المطلق الكامل، مثلاً Sitemap: https://example.com/sitemap.xml. يمكن أن يقع في أي مكان بالملف ولا يرتبط بأي مجموعة User-agent، ويمكنك إدراج عدة خرائط موقع في سطور منفصلة. الصق العنوان في حقل Sitemap أعلاه وستُدرج الأداة السطر في مكانه الصحيح. توصي وثائق جوجل بهذا الأسلوب جنباً إلى جنب مع إرسال خريطة الموقع مباشرةً في Search Console، إذ يساعد كلا الأسلوبين جوجل على اكتشاف جميع صفحاتك.
كيف أمنع جوجل من فهرسة صفحة معينة؟
لمنع جوجل من زحف صفحة، أضف قاعدة Disallow: لمسارها، مثلاً Disallow: /draft-page/. لكن حظر الزحف ليس كإزالة الصفحة من النتائج — فعنوان URL المحظور قد يظل مفهرساً إن كانت مواقع أخرى ترتبط به. لإبعاد صفحة فعلياً عن جوجل، أضف تعليمة noindex (meta name='robots' content='noindex') أو رأس X-Robots-Tag، ولا تحظرها في robots.txt أيضاً، وإلا لن يستطيع جوجل زحف الصفحة لرؤية تعليمة noindex.
هل يمنع robots.txt الفهرسة؟
لا. يتحكم robots.txt في الزحف لا في الفهرسة. إن حظرت عنوان URL بـ Disallow، فلن يجلب جوجل محتواه، لكن العنوان نفسه قد يظهر في النتائج — وغالباً بلا وصف — إذا ارتبط به موقع آخر. لإزالة صفحة من الفهرس، استخدم تعليمة noindex على الصفحة نفسها واتركها قابلة للزحف حتى يقرأ جوجل تلك التعليمة. هذا أحد أكثر أخطاء تحسين محركات البحث شيوعاً: يضيف الناس قواعد Disallow لإزالة صفحات من نتائج البحث ثم يتساءلون لماذا لا تزال تظهر.
ماذا يعني "محظور بواسطة robots.txt" في Google Search Console؟
في Google Search Console، يعني "محظور بواسطة robots.txt" أن جوجل اكتشف عنوان URL لكن ملف robots.txt أخبره بعدم زحف ذلك العنوان، فلم تُجلَب الصفحة ولم تُفهرَس من تلك الجولة. إن كان يجب أن تكون الصفحة عامة، صحّح الأمر بإزالة قاعدة Disallow المطابقة أو تضييقها. أما إن كان الحظر مقصوداً — مسار مسؤول، أو بيئة تطوير، أو صفحة محتوى رقيق — فيمكن تركه بأمان. استخدم مختبر المسارات في هذا المنشئ لمعرفة القاعدة التي تحظر عنوان URL معيناً قبل تعديل الملف.
ما المقصود بـ crawl-delay؟
يطلب Crawl-delay من الزاحف الانتظار عدداً محدداً من الثواني بين الطلبات للتخفيف من الحمل على الخادم. يعني Crawl-delay: 10 تقريباً طلباً واحداً كل 10 ثوانٍ. يلتزم به بينج وياندكس؛ أما Googlebot فيتجاهل Crawl-delay كلياً — اضبط معدل زحف جوجل عوضاً عن ذلك من تقرير إحصاءات الزحف في Search Console. أضف Crawl-delay فقط إن كان خادمك يعاني فعلاً من ضغط الزحف، إذ تؤدي القيمة المرتفعة إلى إبطاء فهرسة موقعك.
كيف أنشئ ملف robots.txt لووردبريس أو بلوجر؟
انقر على الإعداد المسبق لووردبريس أو بلوجر أعلاه. يحظر الملف المعياري لووردبريس منطقة المسؤول مع إبقاء ملف Ajax الضروري: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. يسمح إعداد بلوجر الافتراضي بكل شيء ما عدا صفحات البحث: User-agent: * / Disallow: /search / Allow: /. أضف عنوان URL لخريطة الموقع، ثم انسخ الناتج إلى ووردبريس (عبر Yoast SEO أو برفع الملف بـ FTP) أو الصقه في بلوجر من الإعدادات → تفضيلات البحث → robots.txt المخصص.
كيف أختبر ملف robots.txt أو أتحقق من صحته؟
استخدم مختبر المسارات في هذه الأداة: أدخل عنوان URL أو مساراً (مثلاً /blog/post-1) واسم زاحف، وستخبرك ما إذا كانت قواعدك الحالية تسمح به أو تحظره — والقاعدة المحددة التي تحكم بذلك، باستخدام منطق المطابقة الأطول الذي يطبقه جوجل. يُشير المنشئ أيضاً إلى الأخطاء الشائعة فوراً، كمسار يفتقر إلى الشرطة المائلة الأولى أو عنوان URL نسبي لخريطة الموقع. بعد النشر، تحقق من الملف الحي في تقرير robots.txt في Google Search Console واستخدم أداة فحص عنوان URL للتحقق من صفحات بعينها.
هل استخدام robots.txt آمن؟
استخدام robots.txt آمن، لكنه ليس أداة أمان. فهو ملف عام يمكن لأي شخص قراءته على yoursite.com/robots.txt، لذا فإن إدراج مجلد "سري" فيه يُعلن عنه فعلياً لكل من يتحقق من الملف. تلتزم الزواحف الحسنة النية — جوجل وبينج وأبل — بالقواعد، لكن الروبوتات الخبيثة يمكنها تجاهلها كلياً. لحماية الصفحات الحساسة، استخدم المصادقة الحقيقية (تسجيل الدخول وكلمات المرور أو قوائم السماح بعنوان IP) أو ضوابط الوصول من جانب الخادم. لا تعتمد أبداً على Disallow لإخفاء بيانات خاصة.
كيف أمنع روبوتات الذكاء الاصطناعي من التدريب على محتواي؟
أضف مجموعات User-agent منفصلة لكل زاحف تدريب ذكاء اصطناعي مع Disallow: / لكل منها. الأبرز: GPTBot (OpenAI / ChatGPT)، وCCBot (Common Crawl المستخدم في كثير من مجموعات بيانات التدريب)، وGoogle-Extended (Gemini وVertex AI من جوجل)، وClaudeBot (Anthropic / Claude)، وPerplexityBot، وApplebot-Extended، وmeta-externalagent (Meta / Llama). يُضيف الإعداد المسبق "حظر روبوتات الذكاء الاصطناعي" في هذا المنشئ جميع هذه الروبوتات بنقرة واحدة، مع إبقاء زواحف البحث المعتادة (Googlebot وBingbot) غير متأثرة حتى يبقى محتواك مفهرساً.
Related tools
عرض كل الأدوات
جديد منشئ روابط UTM
أنشئ روابط حملات قابلة للتتبّع باستخدام utm_source وmedium وcampaign وغيرها.
جديد معاينة مقتطف SERP
عاين شكل عنوانك ووصفك في نتائج Google على الحاسوب والجوال.
جديد منشئ روابط Slug
حوّل أي عنوان إلى رابط Slug نظيف وملائم لمحركات البحث — بالجملة ومع دعم الحروف المُشكَّلة.
جديد منشئ وسوم Meta
أنشئ وسوم Meta لتحسين محركات البحث وOpen Graph وTwitter Card مع معاينة مباشرة.
جديد مدقّق قوة كلمة المرور
اختبر قوة كلمة المرور بقياس العشوائية وتقدير زمن الاختراق ونصائح للتحسين.
جديد ساعة إيقاف ومؤقّت
ساعة إيقاف دقيقة عبر الإنترنت مع لفّات، ومؤقّت عدّ تنازلي بإعدادات جاهزة.