क्रॉल बजट क्या है ? Crawl Budget Kise Kahte Hain ?

दोस्तों जब बात SEO की होती है या जब बात Search Engine Ranking की होती है तो उसमें एक शब्द अधिकतर सुनने को मिलता है जिसे ‘crawl budget‘ का नाम दिया जाता है । एस.ई.ओ या डिजिटल मार्केटिंग के क्षेत्र में काम करने वाले नए लोग या अनुभवी लोग भी क्रॉल बजट जैसे विषय पर भ्रमित दिखाई देते हैं। हालांकि, ऐसे अनेक अच्छे एस.ई.ओ हैं जो सर्च इंजन की बारीकियों को अच्छे से समझते व जानते हैं ।

क्या होता है क्रॉल बजट हिंदी में जानिए:
(what is crawl budget in Hindi)

दिन सोमवार, 16 जनवरी 2017 को पहली बार Gary Illyes जो कि गूगल सर्च के क्रॉलिंग और इंडेक्सिंग टीम के मेंबर हैं, के द्वारा Crawl Budget के सन्दर्भ में एक विस्तृत नोट जारी किया गया । अगर आप उनके लेख को पूरा पढ़ना चाहते हैं तो कृपया यहाँ क्लिक करें What Crawl Budget Means for Googlebot.

दुनियां के अन्य बड़े वेबमास्टर्स क्रॉल बजट को अपने अपने नज़रिये को परिभाषित करते हैं अतः क्रॉल बजट की कोई एक सटीक परिभाषा नहीं है, मगर सर्च इंजन की रैंकिंग में क्रॉल बजट एक महत्वपूर्ण भूमिका अदा करता है; इसलिए इसे जान लेना भी जरूरी है ।

क्रॉल बजट से जुडी प्रचलित परिभाषायें –

परिभाषा 1:
एक निश्चित ‘समय सीमा’ के अंदर गूगल बॉट द्वारा क्रॉल और इंडेक्स किये गए ‘वेब पेजों’ की संख्या को ही ‘क्रॉल बजट’ कहते हैं ।

परिभाषा 2:
किसी वेबसाइट के कुल वेब पेजों को क्रॉल व इंडेक्स करने में गूगल बॉट द्वारा लगा ‘समय’ व इस्तेमाल किया गया ‘संसाधन’ (resources) ‘क्रॉल बजट’ कहलाता है ।

चलिए बात को आगे बढ़ाते हैं,

गूगल के ऑफिसियल नोट में Gary Illyes ने क्रॉल बजट को 2 भागों में बांटा था, जिसमें पहला था Crawl Rate Limit और दूसरा था Crawl Demand. गैरी एलएस के कथन के अनुसार किसी वेबसाइट या ब्लॉग का क्रॉल बजट उसके – क्रॉल रेट लिमिट और क्रॉल डिमांड पर निर्भर करता है ।

अतः यहाँ क्रॉल बजट से संबंधित एक नई परिभाषा जन्म लेती है जो इस प्रकार है –

क्रॉल बजट को 2 महत्वपूर्ण कारकों से लिया गया है जो हैं क्रॉल रेट और क्रॉल डिमांड। आपकी वेबसाइट की क्रॉल दर और क्रॉल डिमांड को ध्यान में रखते हुए क्रॉल बजट को ये कहा जा सकता है – “आपकी वेबसाइट से वेब पेजों की कुल संख्या या यूआरएल जिसे गूगल बॉट क्रॉल कर सकता है या फिर वो क्रॉल करना चाहे” ।

क्या है क्रॉल दर सीमा (crawl rate limit):

क्रॉल रेट लिमिट, अर्थात गूगल अपने क्रॉलिंग बॉट्स को एक सीमा के अंदर ही रखता है जिससे की आपकी वेबसाइट के कई पेज एक साथ तेज़ी से क्रॉल न हों । यदि गूगल बहुत तेज़ी से जल्दी जल्दी आपकी वेबसाइट को क्रॉल करेगा तो यह संभावना है की आपका सर्वर हैंग हो जाय या फिर बहुत धीमा रेस्पॉन्स करने लगे । इसीलिए गूगल ने क्रॉलिंग रेट लिमिट को लागू किया ताकि आपकी वेबसाइट क्रॉलिंग के दौरान धीमी न हो जाय ।

क्रॉल दर में वृद्धि और गिरावट के पैमाने –

• यदि आपकी वेबसाइट की गति धीमी है और सर्वर प्रतिक्रिया समय अधिक है तो यहां क्रॉल दर की सीमा गिर जाएगी और गूगलबॉट आपकी वेबसाइट के कुछ पेज को ही क्रॉल कर पायेगा ।
• यदि आपकी वेबसाइट की गति तेज़ है और सर्वर प्रतिक्रिया समय न्यून है तब आपकी वेबसाइट का क्रॉल रेट सीमा बढ़ सकती है ।
• गूगल सर्च कंसोल में जाकर आप क्रॉल दर की सीमा को बढ़ा सकते हैं किन्तु फिर भी कोई गारंटी नहीं है की गूगल आपकी वेबसाइट का क्रॉल रेट बढ़ा दे ।

क्या है क्रॉल डिमांड (crawl demand):

यदि आपकी वेबसाइट या फिर उसके पेजों का इंडेक्सिंग डिमांड कम है तो यह संभव है की गूगलबॉट आपकी वेबसाइट और उसके पेजों को क्रॉल करना ही छोड़ दे । गूगल हमेशा से यह कहते आया है की उन्हीं वेबसाइट का क्रॉल डिमांड हाई होता है जिनके कंटेंट लेटेस्ट और पॉपुलर होते हैं । अतः यदि हमें अपनी वेबसाइट और उसके पेजों का क्रॉल डिमांड बढ़ाना है तो ट्रेंडी, लेटेस्ट और यूनिक कंटेंट लिखने होंगे ।

ध्यान दें,

क्रॉल रेट लिमिट और क्रॉल डिमांड के विषय में बतलाने का मेरा उद्देश्य है की आप क्रॉल बजट को अच्छे से जान लें ।

अंत में,

पखेरू का यह लेख विशेषकर Crawl Budget को समझने के लिए लिखा गया था । मुझे उम्मीद है अब तक आप क्रॉल बजट क्या है ये बात समझ गए होंगे । मेरा अगला लेख Crawl Budget के SEO Effects पर आधारित होगा । ये हम जान चुके हैं की Googlebot हमारी वेबसाइट पर एक निश्चित समय के लिए आता है अतः हमें अपने क्रॉल बजट को कैसे मैनेज करना चाहिए तक गूगलबॉट हमारी वेबसाइट के ज्यादा पन्नों को क्रॉल कर सके । इसके अतिरिक्त अगले भाग में हम यह भी चर्चा करेंगे की हम अपनी वेबसाइट या ब्लॉग का Crawl Demand कैसे बढ़ा सकते हैं । वेबसाइट की अच्छी रैंकिंग के लिए अच्छा SEO आवश्यक है और अच्छे SEO के लिए जरूरी है Crawl Budget को अच्छे से मैनेज करना । Crawl Budget, SEO के लिए महत्वपूर्ण क्यों है इसपर जल्द ही मैं एक और आर्टिकल प्रकाशित करूँगा ।

लेखक:
रवि प्रकाश शर्मा