Ticker

6/recent/ticker-posts

Blogger Me Custom Robots.txt Kaise Add Kare 2024

हेलो दोस्तों, क्या आपको पता है| Robots.txt file क्या है? और Blogger में Custom Robots.txt File को कैसे add करते है| अगर आपको Robots.txt file के बारे में नहीं पता तो यह Post जरूरत Read करे|

दोस्तों Robots.txt File Website के लिए बहुत ही Important है| क्युकी Robots.txt File ही Search Engines को बताती है| की क्या Search engines में दिखाया जाये और क्या नहीं दिखाया जाये|

Blogger Me Custom Robots.txt Kaise Add Kare


हेलो दोस्तों! क्या आपको पता है कि Robots.txt File क्या है और Blogger में Custom Robots.txt File को कैसे Add करते हैं? अगर आपको Robots.txt File के बारे में नहीं पता है, तो यह Post जरूर Read करें।

दोस्तों, Robots.txt File Website के लिए Important होती है, क्योंकि यह Search Engine Crawlers को बताती है कि आपकी Website के किन URLs को Crawl करना है और किन्हें नहीं करना है।

अगर आप Robots.txt File में कोई गलत Rule Add कर देते हैं, तो इससे आपकी Website की Crawling पर असर पड़ सकता है। यहां तक कि आपकी जरूरी Posts भी Search Engine Crawlers के लिए Block हो सकती हैं। इसलिए Custom Robots.txt File को बहुत ही ध्यान से Create और Update करना चाहिए।

Robots.txt File का Connection आपकी Website की Crawling से होता है। लेकिन ध्यान रखें कि Crawling और Indexing दोनों अलग-अलग चीजें हैं। Robots.txt सीधे आपकी सभी Posts की Indexing को Control नहीं करती।

Normally सभी Search Engines के अपने Crawlers और Bots होते हैं, जो आपकी Website पर आकर नए Pages और Links को Discover और Crawl करते रहते हैं।

जब भी आप कोई New Post Publish करते हैं या किसी पुरानी Post को Update करते हैं, तो Search Engine Crawler आपकी Website को दोबारा Crawl कर सकता है। इसके बाद Search Engine अपने अलग-अलग Systems और Rules के अनुसार उस Page को Index करने का फैसला करता है।

तो आज हम आपको बताएंगे कि Robots.txt File क्या है? इसका क्या इस्तेमाल होता है? और Blogger में Custom Robots.txt File कैसे Add करते हैं?

Robots.txt file क्या है?

Robots.txt एक file है| जिसमे कुछ code लिखे जाते है| जो web crawlers को inform करते है, की आपके blog में किस page को index करना है| और किस को index नहीं करना है|

Robots.txt File को Website के Root Directory में रखा जाता है, ताकि Search Engine Crawlers इसे आसानी से Access कर सकें।

इसका इस्तेमाल मुख्य रूप से Crawlers की Activity को Manage करने और कुछ URLs की Crawling को रोकने के लिए किया जाता है।

Simple भाषा में कहें तो Robots.txt File Search Engine Crawlers को Instructions देती है कि उन्हें आपकी Website पर किस तरह Crawl करना है।

लेकिन एक जरूरी बात समझ लें: Robots.txt से किसी Page को Google Search से पूरी तरह Hide या Deindex करने की Guarantee नहीं होती। अगर आप किसी Particular Post को Google में Index होने से रोकना चाहते हैं, तो Blogger में Custom Robots Header Tags के अंदर Noindex का इस्तेमाल किया जा सकता है।

सभी Websites की Robots.txt File इस तरह Open की जा सकती है:

https://www.example.com/robots.txt

यहां example.com की जगह अपनी Website का Domain Name लिखें।




Blogger Me Custom Robots.txt Kaise Add Kare 2022

    Robots.txt file कैसे काम क्या है?

    robots.txt crawlers को बताता है| कोन से page को index करना है, और कोन से को नहीं करना है| फिर crawler सिर्फ उसी post को search engine में show करता है, जो उसे बताया गया है|

    आसान सभदो में कहे तो, यह एक robot है जो हमारी site पर आके robots.txt file को check करता है, और उसी information के हिसाब से pages को search engine में दिखता है|

    ध्यान दें: Robots.txt File किसी Page को Search Results से हटाने का तरीका नहीं है। अगर आप किसी Page को Search Results में नहीं दिखाना चाहते हैं, तो उसके लिए Noindex का इस्तेमाल करें।

    Robots.txt File Blogger मैं कैसे बनाये?

    • Robots.txt File बनाने के लिए सबसे पहले आपको blogger को open करना है| वहां आपको एक settings का option मिलेगा उसे click करे| फिर आपको scroll down करना है और वहां Crawlers and indexing का option मिलेगा| |
    • उसके निचे आपको Enable custom robots.txt option पर click करना है| इसके बाद आपको custom robots.txt का option मिलेगा उसे click करना है|
    • फिर आपको Custom robots.txt के box में एक code paste करना है| जो निचे दिया गया है|

    Copy to Robots.txt code

    Sitemap दो तरह के होते है| जैसे https://www.example.com/sitemap.xml और https://www.example.com/atom.xml?redirect=false&start-index=1&max-results=500

    अपने जो भी google search console में दिया है वही robot.txt में लिखे|

    Note-जहां पर example.com लिखा है|यहां आपको अपनी साइट का url लिखना है| और save कर देना है| निचे दी गयी Image में जैसे दिखाया गया है ऐसे ही आपको save करना है|

    यह एक Basic Example है, कोई Universal Code नहीं। Custom Robots.txt Enable करने पर Blogger की Default Robots.txt File की जगह आपका दिया हुआ Content इस्तेमाल होता है। इसलिए Save करने से पहले अपनी मौजूदा Robots.txt File और उसके Rules जरूर Check कर लें।

    अगर आप Blogger का Default Robots.txt इस्तेमाल कर रहे हैं और उसमें कोई बदलाव करने की जरूरत नहीं है, तो Custom Robots.txt को Enable करना जरूरी नहीं है।

    अब Code को अपने Blog के अनुसार सही तरीके से Update करने के बाद Save कर दें।

    नीचे दी गई Image में आप देख सकते हैं कि Blogger में Custom Robots.txt Code कहां Add करना है।

    Custom Robots.txt File को कैसे Check करें?

    अब आपने अपने Blogger Blog में Custom Robots.txt File Add कर दी है। लेकिन इसे Check करना भी बहुत जरूरी है।

    इसके लिए आपको अपने Browser में अपनी Website का URL लिखना है और उसके आगे /robots.txt Add करना है।

    उदाहरण के लिए:

    https://www.example.com/robots.txt

    अब आपकी Robots.txt File Browser में Open हो जाएगी। यहां आप Check कर सकते हैं कि आपने जो Rules Add किए हैं, वे सही दिखाई दे रहे हैं या नहीं।

    अगर आपने Sitemap का URL Add किया है, तो उस पर भी Click करके Check कर सकते हैं कि Sitemap Open हो रहा है या नहीं।

    अगर किसी Particular Page को Index होने से रोकना हो तो क्या करें?

    अगर आप अपनी Website के किसी Particular Post या Page को Google Search में Index नहीं करवाना चाहते हैं, तो इसके लिए केवल Robots.txt का इस्तेमाल न करें।

    Blogger में आप Post Editor के अंदर Custom Robots Tags के माध्यम से Noindex का Option इस्तेमाल कर सकते हैं।

    इसके लिए:

    1. Blogger Dashboard में जाएं।

    2. Posts में जाकर उस Post को Open करें जिसे Index नहीं करवाना चाहते।

    3. Post Settings में Custom Robots Tags का Option देखें।

    4. Noindex को Select करें।

    5. Post को Update कर दें।

    ध्यान दें: Noindex का इस्तेमाल तभी करें जब आप सच में उस Page को Search Results में नहीं दिखाना चाहते। अपनी सभी जरूरी Blog Posts पर गलती से Noindex Enable न करें।

    Robots.txt File में बदलाव करते समय किन बातों का ध्यान रखें?

    अगर आप अपने Blog की Robots.txt File में कोई बदलाव करना चाहते हैं, तो कुछ जरूरी बातों का ध्यान जरूर रखें:

    • बिना जानकारी के Robots.txt File में कोई भी Rule Add न करें।

    • Disallow: / जैसे Rule को बिना समझे Add न करें, क्योंकि इससे पूरी Website की Crawling Block हो सकती है।

    • अपने Sitemap का सही HTTPS URL Add करें।

    • अपनी जरूरी Blog Posts और Pages की Crawling Block न करें।

    • Robots.txt और Custom Robots Header Tags को एक जैसा न समझें। दोनों का काम अलग-अलग है।

    • बार-बार बिना जरूरत Robots.txt File में बदलाव न करें।

    • किसी भी बदलाव के बाद अपनी Robots.txt File को दोबारा Open करके Check करें।

    Conclusion

    इस Post में हमने आपको बताया कि Blogger में Custom Robots.txt File कैसे Add करते हैं और Robots.txt File क्या होती है।

    इसके साथ ही हमने आपको यह भी बताया कि Robots.txt File Crawling को कैसे Control करती है और किसी Particular Page को Google Search में Index होने से रोकने के लिए Noindex का इस्तेमाल कैसे किया जाता है।

    हमें उम्मीद है कि आपको यह जानकारी अच्छी तरह समझ आ गई होगी।

    अगर आपको इस Article से संबंधित कोई सवाल पूछना है, तो आप Comment Box में अपना सवाल पूछ सकते हैं।

    अगर आपको यह Article अच्छा लगा हो, तो इसे अपने दोस्तों और Family Members के साथ भी जरूर Share करें।

    हम आपसे मिलते हैं अगली Post में ऐसी ही महत्वपूर्ण जानकारी के साथ।

    Post a Comment

    0 Comments

    Copyright © Famous Hindi Quotes | Designed by Monika