Robots.txt जेनरेटर
नयाallow/disallow नियमों और sitemap लाइन के साथ एक वैध robots.txt बनाएँ।
Disallow blocks crawling, not indexing. A blocked URL can still
appear in Google if other sites link to it. To remove a page from search results, keep it crawlable
and add a noindex meta tag or X-Robots-Tag header. robots.txt is also a
public file and is not a security measure — protect private pages with real authentication.
robots.txt syntax cheat-sheet
| Directive | What it does |
|---|---|
| User-agent: * | Which crawler the rules apply to (* = all bots). |
| Disallow: /path | Ask crawlers not to crawl URLs that start with this path. |
| Allow: /path | Permit a path, typically an exception inside a disallowed area. |
| Crawl-delay: 10 | Seconds between requests. Bing & Yandex honor it; Google ignores it. |
| Sitemap: https://… | Absolute URL of your sitemap. Can appear anywhere in the file. |
| * | Wildcard — matches any sequence of characters in a path. |
| $ | Anchors a rule to the end of the URL, e.g. /*.pdf$. |
| # | A comment — the rest of the line is ignored by crawlers. |
Runs entirely in your browser. Nothing is uploaded.
एक फ्री robots.txt generator जो आपके browser में चलता है
यह robots.txt generator एक simple form को valid robots.txt file में बदल देता है — न कोई syntax याद करना, न कुछ install करना। कोई preset चुनें या अपने खुद के crawl rules बनाएं, देखें कि file live बनती जाती है, फिर उसे copy या download करें और अपनी site के root में डाल दें। सब कुछ आपके browser में locally होता है, इसलिए आपके rules कभी किसी server पर upload नहीं होते।
चाहे आपको एक quick robots.txt example चाहिए शुरुआत के लिए, किसी specific crawler के लिए custom robots.txt, या WordPress, Blogger, या AI training bots को block करने के लिए tuned file — सब कुछ seconds में तैयार हो जाता है। built-in path tester आपके rules को publish करने से पहले validate करता है — जो अधिकतर competing generators में नहीं होता।
Syntax याद किए बिना crawl rules बनाएं
हर rule group एक User-agent को उन paths से जोड़ता है जिन्हें आप Allow या Disallow करना चाहते हैं, साथ में optional Crawl-delay भी। सभी crawlers को target करने के लिए * use करें, या किसी specific bot जैसे Googlebot या Bingbot का नाम लिखें — टाइप करते ही field common crawlers suggest करता है। जितने groups चाहें add करें ताकि अलग-अलग bots को अलग rules दे सकें।
एक line में एक path लिखें; tool हर path को proper Disallow: या Allow: directive के रूप में format करता है और आपके groups को सही order में जोड़ता है। अपना Sitemap URL डालें और यह एक absolute Sitemap: line के रूप में जुड़ जाएगा जो crawlers को आपकी हर page तक पहुंचाता है। Google का crawler इसे pick up करता है और Search Console में directly submit किए गए sitemap के साथ use करता है।
WordPress, Blogger और AI bots block करने के लिए Presets
एक click में ready-made starting point load होती है। Allow all और Block all दोनों extremes cover करते हैं। WordPress recommended default load करता है: /wp-admin/ block करें लेकिन /wp-admin/admin-ajax.php को plugins की जरूरत के AJAX calls के लिए खुला रखें। Blogger Google का suggested Blogger setup load करता है: duplicate-content issues से बचने के लिए /search को छोड़कर सब allow करें।
Block AI bots preset तब useful है जब आप चाहते हैं कि आपका content Google और Bing पर रहे लेकिन AI model training के लिए use न हो। यह GPTBot (OpenAI), CCBot (Common Crawl), Google-Extended (Gemini), ClaudeBot (Anthropic), PerplexityBot और others को disallow करता है — जबकि standard search crawlers को untouched छोड़ता है। The New York Times, The Guardian और कई बड़े publishers ने 2023 में ऐसे ही blocks add किए।
Publish करने से पहले URL test करें
एक generator जो खुद को test नहीं कर सकता, वो काम आधा ही करता है। Built-in path tester आपको कोई भी URL या path और crawler का नाम enter करने देता है, फिर बताता है कि आपके current rules उसे allow करते हैं या block — और exactly कौन-सा Allow या Disallow rule decide करता है, same longest-match logic से जो Google apply करता है (सबसे specific rule जीतता है, और equal length की tie में Allow जीतता है)।
जैसे-जैसे आप type करते हैं, tool उन mistakes के live warnings भी दिखाता है जो real robots.txt files को silently तोड़ देती हैं: path में leading slash का न होना, relative sitemap URL, या Crawl-delay जो Googlebot पर aim हो (जो इसे ignore करता है और Search Console में separate setting मांगता है)। Ship करने से पहले इन्हें fix करने से Google Search Console में debugging का एक चक्कर बच जाता है।
Crawling बनाम Indexing — और दूसरी common गलतियां
Robots.txt की सबसे बड़ी गलतफहमी: Disallow किसी page को Google से हटा देता है। ऐसा नहीं होता। यह crawling रोकता है, लेकिन blocked URL अभी भी search results में दिख सकती है अगर दूसरे pages उससे link करते हों। Google उसे बिना snippet के index भी कर सकता है — सिर्फ URL, कोई description नहीं। किसी page को search से बाहर रखने के लिए, उसे crawlable छोड़ें और page पर खुद noindex लगाएं। अगर आप robots.txt में block करते हैं, तो Google page को crawl ही नहीं कर सकता उस noindex को देखने के लिए, और URL indefinitely index में बना रह सकता है।
याद रखें कि robots.txt public और advisory होती है। यह एक fixed, readable URL पर रहती है, यह security barrier नहीं है, और सिर्फ well-behaved bots इसे मानते हैं। इसे crawl budget guide करने और duplicate या thin pages को tidy करने के लिए use करें — किसी ऐसी चीज़ को छुपाने के लिए नहीं जिसे सच में protection चाहिए। उसके लिए authentication use करें। यह generator पूरी तरह आपके browser में चलता है, इसलिए आपकी site के internal paths आपके device से कभी नहीं निकलते।
Frequently asked questions
Robots.txt किस काम आती है?
robots.txt आपकी site के root पर एक plain-text file है जो search-engine crawlers को बताती है कि वे कौन-से URLs request कर सकते हैं और कौन-से नहीं। उदाहरण के लिए, Disallow: /cart/ crawlers से request करती है कि वे आपकी shopping-cart pages skip करें ताकि वे अपना crawl budget उन pages पर खर्च करें जो SEO के लिए actually मायने रखती हैं। यह Robots Exclusion Protocol (अब RFC 9309 के रूप में standardized) का हिस्सा है जिसे Google, Bing और अन्य major crawlers मानते हैं — लेकिन यह crawling control करती है, access या security नहीं। कोई भी आपकी robots.txt को yoursite.com/robots.txt पर read कर सकता है, इसलिए यह privacy tool नहीं है।
Robots.txt file कैसे बनाएं?
ऊपर दिए builder का use करें: कोई preset चुनें या rule group add करें, User-agent set करें (सभी crawlers के लिए * use करें), Disallow या Allow करने के paths list करें, optional Crawl-delay add करें, और अपना Sitemap URL paste करें। Live output जैसे-जैसे आप type करते हैं update होता है — इसे robots.txt के रूप में save करने के लिए Copy या Download click करें, फिर इसे अपनी site के root folder में upload करें ताकि यह https://yoursite.com/robots.txt पर accessible हो। Coding की जरूरत नहीं, और path tester publish करने से पहले आपके rules check करता है।
यह technicalseo.com या seoptimer.com जैसे दूसरे robots.txt generators से कैसे compare करता है?
TechnicalSEO.com का robots.txt generator और SEOptimer दोनों valid files बनाते हैं, लेकिन किसी में भी built-in path tester नहीं है जो आपको बताए कि कोई specific URL पर कौन-सा rule apply होता है। यह tool यह करता है: कोई भी path और crawler नाम enter करें और यह बताएगा कि आपके current rules उसे allow करते हैं या block, same longest-match logic से जो Google apply करता है। यह common mistakes भी live flag करता है — missing leading slashes, relative sitemap URLs, Googlebot पर aimed Crawl-delay (जो इसे ignore करता है)। यह सब आपके browser में चलता है, कोई data server को नहीं भेजा जाता।
Robots.txt file कहां रखें?
इसे आपके domain की root directory में होना चाहिए और exactly https://yoursite.com/robots.txt पर serve होना चाहिए — /blog/robots.txt जैसे subfolder में नहीं, जिसे crawlers ignore करते हैं। हर subdomain को अपनी file चाहिए, इसलिए blog.yoursite.com और shop.yoursite.com दोनों को अलग robots.txt चाहिए। WordPress पर आप इसे FTP या अपने host के file manager से upload कर सकते हैं (या Yoast SEO जैसा plugin use करें जो इसे manage करता है)। Blogger पर Settings → Search preferences में Custom robots.txt enable करें।
Robots.txt में User-agent क्या होता है?
User-agent उस crawler का नाम बताता है जिस पर rules का एक block apply होता है। User-agent: * हर crawler को target करता है, जबकि User-agent: Googlebot सिर्फ Google के main web crawler को target करता है। आपके पास कई groups हो सकते हैं — उदाहरण के लिए, सबको allow करें लेकिन GPTBot को block करें — और हर crawler उस most specific group का पालन करता है जो उसके नाम से match करता हो। Common values में Googlebot, Bingbot, Googlebot-Image, GPTBot (OpenAI का ChatGPT train करने के लिए), CCBot (Common Crawl, कई AI training datasets द्वारा use), Google-Extended (Google का Gemini), और PerplexityBot शामिल हैं।
Allow और Disallow में क्या फर्क है?
Disallow crawler से request करता है कि वह matching URLs fetch न करे; Allow उन्हें permit करता है। Allow mainly किसी disallowed folder के अंदर exception बनाने के लिए use होता है। उदाहरण के लिए, Disallow: /wp-admin/ plus Allow: /wp-admin/admin-ajax.php WordPress admin area को block करता है लेकिन उस एक AJAX file को through आने देता है जिसकी crawlers को जरूरत है। जब rules conflict करते हैं, Google सबसे specific (longest) matching path follow करता है, और equal length की tie में Allow जीतता है। Bing same logic use करता है; Yandex edge cases में थोड़ा अलग है।
Robots.txt में sitemap कैसे add करें?
Full absolute URL के साथ Sitemap: line add करें, उदाहरण के लिए Sitemap: https://example.com/sitemap.xml। यह file में कहीं भी जा सकती है और किसी User-agent group से tied नहीं है, और आप separate lines पर कई sitemaps list कर सकते हैं। ऊपर Sitemap field में URL paste करें और tool line को correctly place करता है। Google की documentation इस approach की recommend करती है Search Console में sitemap directly submit करने के साथ, क्योंकि दोनों methods Google को आपकी सभी pages discover करने में मदद करती हैं।
Google से किसी page को कैसे block करें?
Google को किसी page crawl करने से रोकने के लिए, उसके path के लिए Disallow: rule add करें, उदाहरण के लिए Disallow: /draft-page/। लेकिन crawling block करना page को results से remove करने जैसा नहीं है — एक disallowed URL अभी भी indexed हो सकती है अगर दूसरी sites उससे link करती हों। किसी page को Google से truly बाहर रखने के लिए, noindex directive (meta name='robots' content='noindex') या X-Robots-Tag header add करें, और उसे robots.txt में भी block न करें, नहीं तो Google page को crawl नहीं कर सकता noindex instruction देखने के लिए।
क्या robots.txt indexing रोकती है?
नहीं। robots.txt crawling control करती है, indexing नहीं। अगर आप किसी URL को Disallow करते हैं, तो Google उसका content fetch नहीं करेगा, लेकिन URL खुद अभी भी results में दिख सकती है — अक्सर बिना description के — जब यह कहीं से link हो। किसी page को index से remove करने के लिए, page पर noindex directive use करें और page को crawlable छोड़ें ताकि Google वह directive read कर सके। यह सबसे common SEO गलतियों में से एक है: लोग pages को search results से remove करने के लिए Disallow rules add करते हैं और फिर सोचते हैं कि pages अभी भी क्यों दिख रहे हैं।
Google Search Console में 'blocked by robots.txt' का क्या मतलब है?
Google Search Console में 'Blocked by robots.txt' का मतलब है कि Google ने एक URL discover की लेकिन आपकी robots.txt ने उसे उस URL को crawl न करने के लिए कहा, इसलिए page उस crawl से fetch या indexed नहीं हुई। अगर page public होनी चाहिए, तो matching Disallow rule को remove या narrow करके fix करें। अगर block intentional है — admin path, staging area, या thin-content page — तो छोड़ना safe है। File edit करने से पहले देखें कि exactly कौन-सा rule किसी given URL को block कर रहा है, इस generator के path tester से।
Crawl-delay क्या होता है?
Crawl-delay crawler से request करता है कि वह server load कम करने के लिए requests के बीच एक set number of seconds wait करे। Crawl-delay: 10 का मतलब है roughly हर 10 seconds में एक request। Bing और Yandex इसे honor करते हैं; Googlebot Crawl-delay को completely ignore करता है — Google की crawl rate Search Console के Crawl Stats report में set करें। Crawl-delay तभी add करें जब आपका server genuinely crawling से strain में हो, क्योंकि high value से आपकी site indexed होने में देरी होती है।
WordPress या Blogger के लिए robots.txt कैसे बनाएं?
ऊपर WordPress या Blogger preset click करें। WordPress की standard file admin area block करती है लेकिन वह एक Ajax file रखती है जिसकी crawlers को जरूरत है: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php। Blogger का default सब allow करता है सिवाय search pages के: User-agent: * / Disallow: /search / Allow: /। अपना sitemap URL add करें, फिर result को WordPress में copy करें (Yoast SEO के जरिए या FTP से file upload करके) या Blogger में Settings → Search preferences → Custom robots.txt में paste करें।
Robots.txt को test या validate कैसे करें?
इस tool में path tester use करें: कोई URL या path enter करें (उदाहरण के लिए /blog/post-1) और एक crawler नाम, और यह बताएगा कि आपके current rules उसे allow करते हैं या block — और कौन-सा specific rule decide करता है, same longest-match logic से जो Google apply करता है। Builder common mistakes भी live flag करता है, जैसे path में leading slash का missing होना या relative sitemap URL। Publishing के बाद, Google Search Console के robots.txt report में live file confirm करें और specific pages check करने के लिए URL Inspection tool use करें।
क्या robots.txt safe है?
Robots.txt use करना safe है, लेकिन यह security tool नहीं है। यह एक public file है जिसे कोई भी yoursite.com/robots.txt पर read कर सकता है, इसलिए वहां किसी 'secret' folder को list करना actually उसे उन सभी के लिए advertise करता है जो check करते हैं। Well-behaved crawlers — Google, Bing, Apple — rules का पालन करते हैं, लेकिन malicious bots उन्हें completely ignore कर सकते हैं। Sensitive pages protect करने के लिए, real authentication (login, passwords, IP allowlisting) या server-side access controls use करें। Private data छुपाने के लिए Disallow पर कभी rely न करें।
AI bots को अपने content पर train करने से कैसे block करें?
हर AI training crawler के लिए अलग User-agent groups add करें और हर के लिए Disallow: / करें। Main ones: GPTBot (OpenAI / ChatGPT), CCBot (Common Crawl, कई AI training datasets द्वारा use), Google-Extended (Google का Gemini और Vertex AI), ClaudeBot (Anthropic / Claude), PerplexityBot, Applebot-Extended, और meta-externalagent (Meta / Llama)। इस generator में 'Block AI bots' preset एक click में इन सभी को add करता है, जबकि normal search crawlers (Googlebot, Bingbot) को unaffected रखता है ताकि आपका content indexed रहे।
Related tools
सभी टूल्स देखें
नया UTM बिल्डर
utm_source, medium, campaign और बहुत कुछ के साथ ट्रैक करने योग्य कैंपेन URL बनाएँ।
नया SERP स्निपेट प्रीव्यू
देखें कि आपका शीर्षक और विवरण Google में डेस्कटॉप और मोबाइल पर कैसा दिखता है।
नया Slug जेनरेटर
किसी भी शीर्षक को साफ़, SEO-अनुकूल URL slug में बदलें — थोक में और एक्सेंट-समझदार।
नया मेटा टैग जेनरेटर
लाइव प्रीव्यू के साथ SEO, Open Graph और Twitter Card मेटा टैग बनाएँ।
नया पासवर्ड स्ट्रेंथ चेकर
एंट्रॉपी, क्रैक-टाइम अनुमान और सुझावों के साथ पासवर्ड की मज़बूती जाँचें।
नया स्टॉपवॉच और टाइमर
लैप्स के साथ सटीक ऑनलाइन स्टॉपवॉच और प्रीसेट के साथ काउंटडाउन टाइमर।