Blogger Me Custom Robots.txt Kaise Add Kare 2024

हेलो दोस्तों, क्या आपको पता है| Robots.txt file क्या है? और Blogger में Custom Robots.txt File को कैसे add करते है| अगर आपको Robots.txt file के बारे में नहीं पता तो यह Post जरूरत Read करे|

दोस्तों Robots.txt File Website के लिए बहुत ही Important है| क्युकी Robots.txt File ही Search Engines को बताती है| की क्या Search engines में दिखाया जाये और क्या नहीं दिखाया जाये|

अगर आप Robots.txt File में कुछ भी गलती कर देते है|तो इससे आपकी Site का SEO ख़राब हो सकता है| यहां तक की आपकी Site Google Search Engines से Remove भी हो सकती है| इसलिए Robots.txt File को बहुत ही दिहन से Create करना चाहिए|

Robots.txt File का सीधा Connection आपके Blog Indexing और crawl rate से है| Normally सभी Search Engine के Robots और bots होते है| जो आपकी Site को Crawl करते रहते है| और आपके Site के सभी Links को Index कर देते है|

जब भी आप new post publish करते है| या किसी भी post को update करते है| तब crawl आपकी site के links को search engine में भी दिखता है| Robots.txt File ही आपकी सभी post की indexing को control करता है|

Robots.txt File क्या है? इसका क्या इस्तमाल होता है? इसके बारे में आज हम आपको बताने वाले है|

Robots.txt file क्या है?

Robots.txt एक file है| जिसमे कुछ code लिखे जाते है| जो web crawlers को inform करते है, की आपके blog में किस page को index करना है| और किस को index नहीं करना है|

Robots.txt file को website server में ही save किया जाता है| ताकि search engine bots को instructions दी जासके और bots को manage कर सके| किसी भी less important pages को index नहीं करने करने से रोकने के लिए इसका use किया जाता है| less important pages मतलब labels, tags, category etc.

यानि की robots.txt file से ही blog की कोई भी page index होता है| अगर आप कुछ pages को index नहीं करना चाहते तो आप robots.txt file से उन posts को indexing होने से रोक सकते है|

Simple भाषा में कहे तो आप जिस post को index करना कहते है कर सकते है| और जिस post को hide करना चाहते है उसे hide भी कर सकते है| यह सब robots.txt file से ही control होता है|

सभी website का default robots.txt file कुछ इस तरह होता है- https://www.website.com/robots.txt 

Robots.txt file कैसे काम क्या है?

robots.txt crawlers को बताता है| कोन से page को index करना है, और कोन से को नहीं करना है| फिर crawler सिर्फ उसी post को search engine में show करता है, जो उसे बताया गया है|

आसान सभदो में कहे तो, यह एक robot है जो हमारी site पर आके robots.txt file को check करता है, और उसी information के हिसाब से pages को search engine में दिखता है|

Robots.txt File Blogger मैं कैसे बनाये?

• Robots.txt File बनाने के लिए सबसे पहले आपको blogger को open करना है| वहां आपको एक settings का option मिलेगा उसे click करे| फिर आपको scroll down करना है और वहां Crawlers and indexing का option मिलेगा| |
• उसके निचे आपको Enable custom robots.txt option पर click करना है| इसके बाद आपको custom robots.txt का option मिलेगा उसे click करना है|
• फिर आपको Custom robots.txt के box में एक code paste करना है| जो निचे दिया गया है|

Copy to Robots.txt code

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /Search Disallow: /category Disallow: /label Disallow: /tag Allow: / Sitemap: https://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap दो तरह के होते है| जैसे https://www.example.com/sitemap.xml और https://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500

अपने जो भी google search console में दिया है वही robot.txt में लिखे|

Note-जहां पर example.com लिखा है|यहां आपको अपनी साइट का url लिखना है| और save कर देना है| निचे दी गयी Image में जैसे दिखाया गया है ऐसे ही आपको save करना है|

अगर आप किसी particular page को search engine में index होने से रोकना चाहते है| तो आप यहां disallow कर सकते है| पर बार-2 रोबोट robot.txt में कोई change नहीं करे| इससे आपको बाकि post की indexing में problem हो सकती है| अगर आपको इसके बारे में knowledge नहीं है,तो इसमें कोई changes नहीं करे|

Conclusion

इस post में हमने Custom Robots.txt blogger me Kaise Add Kare इसके बारे में detail में बताया है| हम्हे उम्मीद है आपको सब अचे से समझ आज्ञा होगा| अगर आपको कुछ नहीं समझ आया, तो आप comment box में अपना सवाल पूछ सकते|