بودجه خزش (Crawl Budget) چیست و چگونه آن را بهینه کنیم؟

ما در این مقاله به بررسی crawl budget می پردازیم و به شما می گوییم بودجه خزش چیست . همانطور که می دانید خزیدن و نمایه سازی کردن (ایندکس) روندی هستند که Googlebot طی آن ها تمامی محتوا و کد موجود در یک صفحه وب را بررسی کرده و آن را تجزیه و تحلیل می کند و در واقع رشد تجارت شما از دنیای آنلاین به خزیدن و نمایه سازی صحیح صفحات وب شما بستگی دارد.

گزارش اطلاعات Google Index در کنسول جستجوی گوگل URL  شما را آزمایش می کند و ابزار بازرسی URL ، وضعیت فهرست فعلی سایت شما را نشان می دهد. اما گوگل همیشه تمامی صفحات سایت را بلافاصله پس از انتشار و یا بهینه سازی شدن خزش نمی کند.

در حقیقت، گاهی اوقات، ممکن است ایندکس سایت در گوگل هفته ها طول بکشد و این مدت طولانی ممکن است در زمینه سئو به شما ضرر وارد شود ، به عنوان مثال موردی که در اکثر مواقع اتفاق می افتد این است که ممکن است لندینگ پیجی که به تازگی بهینه شده است توسط گوگل ایندکس و یا نمایه نشود و شما دیگر قادر نخواهید بود افراد مختلف را از کمپین های تبلیغاتی خود و … مطلع کنید.

در چنین مواقعی شما باید زمان بهینه سازی بودجه خزش خود را بهینه سازی کنید. ما در این مقاله به شما خواهیم گفت که بودجه خزش چیست و چگونه می توانید آن را بهینه سازی کنید.

بودجه خزش چیست؟

بودجه خزش (crawl budget) تعداد متوسط صفحاتی است که گوگل در هر روز در سایت شما می خزد. این تعداد ممکن است تغییر کند و مقدار ثابتی ندارد اما به طور کلی ، نسبتاً پایدار است. گوگل ممکن است هر روز 6 صفحه را در سایت شما خزش کند و یا ممکن است 5000 صفحه را ایندکس کند، حتی ممکن است هر روز 4،000،000 صفحه را نمایه سازی کند!

تعداد صفحاتی که توسط گوگل خزش می شود ، “بودجه” شما می باشد. در حالت کلی بودجه خزش شما توسط اندازه سایتتان تعیین می شود. سلامت سایت نیز بر اساس تعداد خطاهایی است که گوگل در طول انجام مراحل با آن ها روبرو می شود و تعداد پیوندها به سایت شما از این طریق تعیین می شود. برخی از این فاکتورها مواردی هستند که می توانید در آن ها تأثیر مستقیم بگذارید، که در ادامه مقاله بودجه خزش چیست بیشتر به آن ها می پردازیم.

خزنده چگونه کار می کند؟

یک خزنده وب مانند گوگل بات لیستی از URL ها را برای خزیدن در یک سایت دریافت می کند و این لیست را به طور سیستماتیک طی می کند. هر چند وقت یکبار پرونده robots.txt شما را می گیرد تا مطمئن شود که همچنان اجازه دارد هر URL را بخزد و یا خیر.  سپس URL ها را تک به تک می خزد. هنگامی که یک خزنده یک URL را می خزد و محتویات آن را تجزیه می کند ، URL  های جدیدی را که در آن صفحه پیدا کرده است اضافه می کند و دوباره به لیست مواردی که باید خزش در آن ها انجام شود مراجعه می کند.

چندین رویداد باعث می شود گوگل احساس کند یک URL باید خزیده شود و این سیستم بر اساس تعدادی از معیار های استاندارد شروع به خزیدن می کنند. گوگل ممکن است پیوندها و یا لینک های جدیدی را پیدا کرده باشد که به محتوا اشاره می کنند ، یا کسی آن را توییت کرده است و یا حتی ممکن است در نقشه سایت XML ، و غیره به روز شده باشد. وقتی تشخیص داد که باید ایندکس انجام شود آن را به لیست خود اضافه می کند.

چه زمانی بودجه خزیدن مهم است؟

تا کنون گفتم بودجه خزش چیست ، همانطور که می دانید گوگل در طول روزURL های زیادی را در سایت شما جستجو می کند و مقدار زیادی خزنده اختصاص داده است تا مشکلی ایجاد نشود. اما هر چه میزان صفحات سایت شما بیشتر باشد و سایت شما بزرگ تر باشد خزیدن طولانی تر خواهد شد.

در صورتی که سایت شما 250،000 صفحه دارد و  ممکن است نتواند در یک روز 2500 صفحه را ایندکس کند. البته برخی از صفحات مانند صفحه اصلی بیش از سایر صفحات خزیده خواهد شد و اگر شما کاری انجام ندهید ممکن است سایت شما دیر تر از حد موعد خزش انجام شود و این تغییرات خاص در سایت شما حتی تا 200 روز طول می کشد!

بودجه خزیدن یا Crawl budget اکنون مسئله ای بزرگ و مهم است به همین دلیل در این جا به شما توضیح داده ایم بودجه خزش چیست . برای تعیین اینکه آیا سایت شما دارای بودجه خزیدن است و یا خیر مراحل زیر را دنبال کنید. در این مراحل تصور می شود که سایت شما دارای تعداد نسبتاً کمی URL است که توسط گوگل خزیده می شود اما آن ها را فهرست نمی کند.( به عنوان مثال به دلیل اضافه کردن متا )

• در ابتدا باید مشخص کنید که چند صفحه در سایت خود دارید ، تعداد URL های شما در نقشه سایت XML ممکن است شروع خوبی باشد.
• وارد کنسول جستجوی Google شوید.
• به قسمت “Legacy Tools ” بروید و سپس Crawl stats” ” را انتخاب کنید. در نهایت میانگین صفحات خزیده شده در روز را یادداشت کنید.
• تعداد صفحات را بر روی عدد “Average crawled per day ” تقسیم کنید.

گوگل چه نوع URL هایی را می خزد؟

بعد از اینکه دریافتید بودجه خزش چیست واقعاً باید بدانید که گوگل کدام URL ها را در سایت شما می خزد. تنها راه دانستن آن این است که به اطلاعات مربوط به سرور سایت خود نگاه کنید.

گزارش های سرور خود را دریافت کرده و به آن ها نگاه کنید.

بسته به نوع میزبانی شما ، ممکن است همیشه نتوانید پرونده های گزارش خود را دریافت کنید. با این حال ، اگر حتی فکر می کنید که به دلیل بزرگ بودن سایت خود باید روی بهینه سازی بودجه خزش (crawl budget) کار کنید ، باید آن ها را دریافت کنید. اگر میزبان شما اجازه دریافت آن ها را نمی دهد ، باید میزبان خود را تغییر دهید.

اصلاح بودجه خزیدن سایت شما بسیار شبیه به تعمیر ماشین است. با نگاه کردن به قسمت بیرونی نمی توانید آن را تعمیر کنید ، باید موتور آن را باز کنید. در ابتدا نگاه به اطلاعات مربوط به سایت خود بیاندازید. به سرعت متوجه خواهید شد که در گزارش ها اشکالات بسیار زیادی وجود دارد. تعداد زیادی از ارور های 404 متداول را پیدا می کنید که فکر می کنید بی معنی هستند اما واقعیت این است که شما باید آن ها را برطرف کنید. شما باید این اشکالات را از بین ببرید و مطمئن شوید که سایت شما مشکلی ندارد.

راه های افزایش بودجه خزش چیست

اکن.ن شما می دانید بودجه خزش چیست بیایید مواردی را بررسی کنیم که در واقع تعداد صفحاتی که گوگل می تواند در سایت شما خزش کند را بهبود می بخشد. در ادامه این موارد افزایش بودجه خزش را معرفی خواهیم کرد.

نگهداری و مراقبت از وب سایت: خطاها را کاهش دهید.

قدم اول برای بهبود خزیدن صفحات بیشتر این است که مطمئن شوید صفحات خزیده شده یکی از دو کد بازگشت احتمالی را  باز می گرداند : 200 (برای “تأیید”) یا 301 (برای “به اینجا بروید”). همه کدهای برگشتی دیگر لازم نمی باشند. برای پی بردن به این موضوع ، باید گزارش های سرور سایت خود را مشاهده کنی و برای دریافت آن ها می توانید از ابزارهایی مانند گوگل آنالیتیکس استفاده کنید.  اکثر بسته های تحلیلی تنها صفحاتی را که دارای 200 عدد هستند ردیابی می کنند. بنابراین بسیاری از خطاهای سایت خود را در این ابزار ها پیدا نخواهید کرد.

پس از ثبت گزارش های سرور ، سعی کنید خطاهای رایج را پیدا کرده و آن ها را برطرف کنید. ساده ترین راه برای انجام این کار یافتن کلیه URL هایی است که صفحات 200 یا 301 را برنمی گرداند و سپس مرتب سازی بر اساس تعداد دفعات دسترسی به آن ها انجام می شود. رفع یک خطا ممکن است به این معنی باشد که شما باید کد مخرب را برطرف کنید و یا ممکن است مجبور شوید URL را به جای دیگری هدایت کنید. اگر می دانید چه چیزی باعث بروز خطا شده است، می توانید منبع را نیز اصلاح کنید.

منبع خوب دیگر برای یافتن خطاها Google Search Console است . اگر از افزونه یواست سئو پریمیوم استفاده می کنید می توانید با استفاده از مدیریت ریدایرکت ها ، آن ها را به راحتی هدایت کنید .

قسمت هایی از سایت خود را مسدود کنید.

اگر میخواهید بدانید راه افزایش بودجه خزش چیست اگر بخش هایی از سایت خود را دارید که واقعاً نیازی به خزیدن گوگل در آن ها وجود ندارد ، آن ها را با استفاده از robots.txt مسدود کنید . این کار را تنها درصورتی انجام دهید که دقیقاً با روند تغییر مسیر ها آشنا هستید در غیر این صورت برای انجام این کار از یک متخصص کمک بگیرید. یکی از مشکلات رایجی که در سایت های تجارت الکترونیک بزرگ تر مشاهده می شود این است که آن ها راهی برای فیلتر کردن محصولات دارند. هر فیلتر ممکن است URL های جدیدی برای Google اضافه کند. در مواردی از این دست ، شما می توانید به Google spider اطلاع دهید که تنها یک یا دو فیلتر و نه همه آن ها را مجاز می دانید.

زنجیره های تغییر مسیر و یا ریدایرکت ها را کاهش دهید.

وقتی 301 URL را هدایت می کنید ، اتفاق عجیبی رخ می دهد. گوگل آن URL جدید را می بیند و آن URL را به لیست خود اضافه می کند. البته گوگل همیشه بلافاصله آن را دنبال نمی کند و در ابتدا آن را به لیست کارهای خود اضافه می کند و سپس ادامه می یابد.

وقتی زنجیره ریدایرکت ها را دارید روند انجام موارد مختلف بسیار کند تر می شود. به عنوان مثال ، وقتی URL  غیر www را به URL که از www استفاده می کند هدایت می کنید ، سپس http را به https منتقل می کنید ، در هر جا دو ریدایرکت دارید ، بنابراین خزیدن برای همه چیز طولانی تر است.

پیوندها و لینک های بیشتری را دریافت کنید.

دریافت پیوندهای بیشتر تنها مربوط به عالی بودن و با کیفیت بودن محتوا نیست ، بلکه بیشتر مربوط به محبوب بودن می باشد و اینکه مردم و افراد دیگر چه میزان شما را می شناسند و به شما اعتماد دارند. این مسئله بیشتر مربوط به روابط عمومی و داشتن تعامل خوب در شبکه های اجتماعی است.

جمع بندی

در این مقاله سعی ردیم بگوییم بودجه خزش چیست و چگونه می توانید crawl budget را افزایش دهید.

زمانی که شما با یک مشکل نمایه سازی با ایندکس شدن حاد روبرو هستید ، قطعاً باید به خطاهای خزیدن، مسدود کردن بخش هایی از سایت خود و برطرف کردن زنجیره های تغییر مسیر مراجعه کنید. با این حال لینک سازی روشی بسیار کند برای افزایش بودجه خزیدن شما می باشد. از طرف دیگر اگر قصد ایجاد یک سایت بزرگ را دارید و می خواهید ایندکس شوید، ساخت لینک باید بخشی از روند صعودی شما باشد و در مدت کوتاه بدست نخواهد آمد. اگر چه بهینه سازی بودجه خزش کمی سخت به نظر می رسد اما با دنبال کردن ترفند ها و تکنیک هایی می توانید این کار را به راحتی انجام دهید.

اگر تعمیر و نگهداری سایت خود را به خوبی انجام می دهید، یا سایت شما نسبتاً کوچک است ، احتمالاً نیازی به آن نمی باشد. اگر سایت شما اندازه متوسطی دارد و به خوبی نگهداری می شود، انجام آن بر اساس ترفندهای فوق نسبتاً آسان است.

ژاکت را دنبال کنید

ژاکت در اینستاگرام

ژاکت در فیسبوک

ژاکت در لینکدین

ژاکت در توییتر