Robots.txt File Kya Hai और Robots.txt File Kaise Banaye जानिए हिन्दी में

Robots.txt File Kya Hai इसके बारे अगर आपको जानना है तो आप इस आर्टिकल को पुरा पढे क्युकी आज मे आपको Robot txt File Kya Hai , कैसे काम करता है, इसके क्या फायदे हैं और इसको Blogger में कैसे Add करते हैं यह सब आज मैं आपको यहां बताने वाला हु अगर आपकी कोई Website है तो आप Robots.txt File के बारे में जरूर जाने

आपकी कोई वेबसाइट है तो आपने यह जरूर देखा होगा कि‌ कभी कभी हम अपने Website के Category को Google में Index नहीं करना चाहते है फिर भी वो Index हो जाता है और कभी कभी हमारा आर्टिकल Google Search Console में Index करते हैं फिर भी वो Google Search में नहीं दिखाई देता है ऐसा क्यु होता है यह सब जानने के लिए यह आर्टिकल पुरा पढे तो ही आप समझ पाओगे

Robot.txt File Kya Hai तो Robots.txt File एक छोटा सा Text File है जो Root Folder में रहता है Robots.txt File एक Robot कि तरही होता है जो हम कमांड देते हैं वैसा ही काम करता है वैसे ही जब आप अपने ब्लॉग पर कोई नई पोस्ट दालते हो या पोस्ट को Update करते हो तो Robots.txt File Search Engine को बताता है कि आज आपने यह पोस्ट नई दाली है और यह पोस्ट को Update किया है

जिससे Search Engine आपके Post को Index करके अपने Search Result में दिखाता है यह Robots.txt File कि छोटी सी Information है अभी तो आगे आपको मे इसके बारे में बहुत कुछ बताने वाला हु जैसे कि इसके फायदे क्या है, इसको कैसे बनाते है, इसका Basic Format क्या है और इसको Blogger में कैसे Add करते हैं ऐसे बहुत से Robots.txt File से जुड़े Topic के बारे में बताने वाला हु अगर आपको Robots.txt File के बारे में पुरी Information चाहिए तो यह आर्टिकल पुरा पढे

Robots.txt File Kya Hai

Robots.txt File एक Text File है जिसमें हम जो लिखते है वो ही Search Engine पालन करता है

Example :

अगर आप अपने ब्लॉग के Category को Search Engine में नहीं दिखाना चाहते है तो आप इसको Robots.txt File में लिखे और इसको अपने ब्लॉग में Add करदे जब भी Google, Yahoo, Bing के Search Engine ब्लॉग पर आएंगे आपके पोस्ट को Index करने के लिए तभी उसको एक मेसेज यानी कि कमांड मिलेगा कि आप इस ब्लॉग के इस सभी चीजों को Index करो और इन सभी चीजों को Index न करें

Robots.txt File आपके सभी Post या Page में होता ही है और इसे Search Engine को फायदा होता है कि आपके ब्लॉग की कोन सी चीजो को उसे Index करना है और कोन कोन सी चीजें उसे Index नहीं करनी है

Website के लिए Robots.txt File क्यो जरूरी है

जब भी Search Engine आपके वेबसाइट या ब्लॉग पर Indexing करने के लिए आता है तो सबसे पहले वो Robots.txt को देखता है और उसमें लिखें गए Text को Follow करके Indexing करता है लेकिन जब भी उसको आपके ब्लॉग पर Robots.txt File नहीं मिलती है तो वो आपके ब्लॉग के सभी content और page को Index करके चला जाता है और इसे आप जो चीज Google Search में नहीं दिखाना चाहते थे वो भी दिखने लगता है

लेकिन अगर आप अपने ब्लॉग में Robots.txt File Add करते हैं और उसमें जो लिखते हैं उसके आधीन ही Search Engine आपके ब्लॉग के पोस्ट को Index करेगा और जिसको Index नहीं कराना चाहते है वो Index नहीं करेगा और जिससे आप जो चीज Google Search में नहीं दिखाना चाहते है वो नहीं दिखता है

Robots.txt File Ko Use Karen Ka Kya Fayade Hai

• आप इसे Search Engine को बता सकते है कि वो आपके ब्लॉग कि कोन कोन सी चीजें Index करे और कोन कोन सी चीजें Index न करें
• आप अपने Website के Duplicate File या Page कै Noindex करा सकते हो
• आप अपने वेबसाइट की Category, Tags, Author Page और Comments को Noindex करा सकते है
• आप अगर कुछ File, PDF, Image इत्यादि को Index न कराना चाहते है तब
• आप इसे अपनी वेबसाइट को Secure कर सकते है
• Internal Search Results Pages को आप Index न कराना चाहते हैं तब
• आप Robots.txt File में Sitemap Add करके किसी भी पोस्ट को Search Engine में जल्द Index करा सकते है
• आप इससे Low Quality Page block करके अपनी वेबसाइट का SEO कर सकते है
• आप इससे किसी भी Secure File, Page को Noindex करा सकते हैं

Robots.txt File Kaise Banaye

अगर आप अपने ब्लॉग के लिए Robots.txt File नहीं बनाया है तो आपको अपने ब्लॉग के लिए जल्द ही Robots.txt File बना लेना चाहिए यह ब्लॉग के लिए बहुत जरूरी है तो चलिए Robots.txt File कैसे बनाते हैं वो जानते है

आप इन्टरनेट पर Robots.txt File बनाने वाली कई वेबसाइट मिल जाएगी लेकिन आपको Internet पर Robots.txt File बनाने वाली वेबसाइट ढुढने की कोई जरूरत नहीं है क्युकी मे आपको नीचे Robots.txt File को Code दे दुंगा जिसको आप Copy करके अपने ब्लॉग वेबसाइट में Add कर सकते है आर्टिकल के लास्ट में बताए गए तरीके से

User-agent: Mediapartners-Google
Disallow:
User-agent:
Disallow: /search
Allow: /
Sitemap: https://neuhindi.com/sitemap.xml


लेकिन आपको इस Code में जो https://neuhindi.com लिखा उसके जगह पर आपको अपने ब्लॉग का URL देना है

चलिए अब इस Code के Syntax को पहले समझते हैं

Robots.txt के Syntax का मतलब क्या है?

आपको Code में दिए गए Syntax को जरूर समझना चाहिए ही है

User – agent: Mediapartners – Google : आप इसके द्वारा Google AdSense के Code को User से छिपा सकते है

User – agent : यह Code आपकी वेबसाइट पर आने वाले User के लिए है कि वो आपकी वेबसाइट पर क्या क्या देख सकते है और क्या क्या नहीं देख सकते है आप इसे हमेशा Disallow ही रहने दें क्युकी यह आपकी वेबसाइट के Security के लिए बहुत जरूरी है

Disallow: /search : अगर आप अपने पोस्ट के Keyword को नहीं दिखाना चाहते है तो आप इसे हमेशा Disallow ही रखे और अगर आप

• अपने किसी पोस्ट को Google Search में नहीं दिखाना चाहते है तो उस पोस्ट के URL को यहां Paste करके उसको आप Disallow कर सकते है जिससे Search Engine उसको Index नहीं करेगा और वो Search Results में नहीं दिखेगा
• यहां पर आप किसी भी Post, Page के URL को Paste करके उसे Disallow कर सकते है और Google उसको Index नहीं करेगा

Allow : इससे आप User को जो दिखना चाहते है वो दिखा सकते है और इसे आप हमेशा Allow ही रहने दें क्युकी यह Search Engine को Index करने की अनुमति देता है

Sitemap : Sitemap आपके ब्लॉग कि नई पोस्ट कि जानकारी Search Engine को देता है जिससे Search Engine उसे जल्द Index करके अपने Search Results में दिखाता है

Sitemap इसके अलावा यह भी बताता है कि आपकी वेबसाइट पर कितनी पोस्ट अभी तक Publish हुई है

ऊपर दिए गए Code को आप Modified कर सकते हो अपनी मर्जी से नीचे दिए Commend को उस Code में Paste करके

आप नीचे दिए गए Commend का Use करके Search Engine को अपने हिसाब से पोस्ट और पेज को Index करने की अनुमति दे सकते हैं

आप इससे किसी particular page या post को Index होने से बचा सकते है

User-agent: *

Disallow: /page URL

आप इससे किसी भी particular search engine को आपकी particular page या post को Index करने से बचा सकते है

User-agent: Googlebot

Disallow: /page URL

अगर आप Google Search Engine में आपकी particular page या post को Index नहीं कराना चाहते है तो आप User-agent: Googlebot और जिस Page या Post Noindex कराना चाहते है उसे Disallow: /page URL लिखे

अगर आप User-agent: के आगे Googlebot, Bingbot, Yandexbot कोई भी Search Engine को Index करने से रोक सकते है

आप नीचे दिए गए Commend को Use करके आप example-subfolder/ को Search Engine में Index होने से बचा सकते है

User-agent: *

Disallow: /example-subfolder/

Website में Robots.txt File है कि नहीं कैसे पता करें

Robots.txt File Root Folder में रहता है। आप अपने Website की Robots.txt File को नीचे दिए गए तरीके से पता लगा सकते हैं और Google भी नीचे दिए गए तरीके से ही पता लगाता है

Step 1 : सबसे पहले तो आपको Browser में जाना है

Step 2 : अब आपको अपने Website के URL के Last में robots.txt लिखके Search करना है नीचे गए तरीके से

https://www.yourwebsite.com/robots.txt

Step 3 : Search करते ही आपके सामने आपकी वेबसाइट की Robots.txt File आ जाएगी आप नीचे Screenshot में देख सकते है मेरी वेबसाइट की Robots.txt File

Website के कोन कोन से Page को Robots.txt File द्वारा Block करना चाहिए है

आपको नीचे दिए गए चीजों को आपको Robots.txt File द्वारा जरूर Noindex करना चाहिए

• Category
• Tags
• Comments
• Author
• Links
• Admin

इन सब चीजों को आपको Noindex कराना बहुत जरूरी SEO के लिए

आप यह सब Blogger में अच्छे नहीं कर सकते है लेकिन आप अगर WordPress User है तो आप Yoast SEO Plugin के द्वारा यह सब Noindex करा सकते है

Blogger Me Robots.txt File Kaise Add Kare

Step 1 : सबसे पहले आपको नीचे दिए गए Code को Copy करना है लेकिन उससे पहले https://neuhindi.com कि जगह अपनी वेबसाइट की URL Add करनी है

User-agent: Mediapartners-Google
Disallow:
User-agent:
Disallow: /search
Allow: /
Sitemap: https://neuhindi.com/sitemap.xml

Step 2 : आपको blogger.com पर जाना है

Step 3 : 

1. अब आपको Setting पर किल्क करना है
2. उसके बाद Search Preferences पर किल्क करना है
3. उसके बाद आपको Custom robots.txt के सामने Edit लिखा है उस पर किल्क करना है

Step 4 : 

1. उसके बाद Yes पर किल्क करना है
2. अब आपके सामने एक Box Open हो जाएगा
3. उसमें आपको ऊपर Copy किया हुआ Code Paste करना है लेकिन Code में https://neuhindi.com कि जगह अपने ब्लॉग कि URL देना है
4. अब आपको Save Changes पर किल्क करना है और Save कर लेना है

• अब आपके ब्लॉग में Robots.txt File Add हो चुकी है और अब को भी Search Engine वहीं Index करेगा जो Robots.txt File उसे Allow करेगा

आप Blogger में Robots.txt File लगाने के लिए आप हमारा यह Video देख सकते है और Video पसंद आये तो चैनल को SUBSCRIBE  जरुर करे

यह जरूर पढ़े :-

• Free Me Blog Website Kaise Banaye
• Blogging क्या है और Blog क्या है
• Domain Name क्या है और Domain Name कितने प्रकार के होते है?
• SEO Friendly Blog Post Kaise Likhe
• Domain Name कैसे खरीदें? (GoDaddy, Bigrock और Namecheap) से
• Email Id कैसे बनाएं?

दोस्तों मुझे आशा है कि Robots.txt File Kya Hai इसके बारे में पुरी जानकारी आपको हमारे आर्टिकल से मिल गई होगी। फिर भी अगर आपको इसके संबंधित कोई भी जानकारी चाहिए तो आप मुझे नीचे Comment Box में पुछ सकते है जितना हो सके इतनी मे आपको Help करने की पुरी कोशिश करुंगा।

अगर आपको हमारा यह आर्टिकल अच्छा लगा है तो उसे आप Social Media पर Share करे अपने दोस्तों और अन्य लोगों के साथ जिससे इसके बारे में और भी लोगों को पता चले और वो भी जान सके Robot.txt File Kya Hai