گوگل سند بهینه‌سازی بودجه خزش را به‌روزرسانی کرد

گوگل با هدف شفاف‌سازی هرچه بیشتر مفاهیم و اصطلاحات فنی، سند راهنمای «بهینه‌سازی بودجه خزش» (Optimize your crawl budget page) را به‌روزرسانی کرد. این تغییرات شامل الگوریتم‌های خزش نمی‌شود، اما حاوی نکات مهمی است که برای مدیران وب‌سایت‌ها می‌تواند بسیار مفید باشد.

در این آپدیت، برای نخستین‌بار به مفهوم «حد ظرفیت خزش اولیه» (Initial Conservative Crawl Capacity Limit) پرداخته شده است. گوگل می‌گوید سقف خزش را برای تمام وب‌سایت‌ها، فارغ از اندازه یا اعتبارشان، ابتدا پایین نگه می‌دارد تا رفتار سرور را ارزیابی کند. اگر سرور زمان پاسخگویی مناسبی نشان دهد و تقاضا برای خزش نیز بالا برود، سیستم‌های گوگل نیز ظرفیت خزش را به‌صورت خودکار و پلکانی افزایش می‌دهند. به زبان ساده، گوگل ابتدا با احتیاط وارد فرایند تخصیص بودجه خزش می‌شود، سپس اگر سرور بتواند به درستی از پس کار بربیاید، کراولرها با سرعت و حجم بیشتری سایت را پیمایش می‌کنند.

تغییرات کلیدی در بودجه خزش

در این به‌روزرسانی چند نکته کلیدی دیگر نیز اضافه شده است:

• ظرفیت خزش میان خزنده‌ها: اگرچه هرکدام از کراولرهای گوگل درخواست‌های خاص خودشان را ارسال می‌کنند، اما «حد ظرفیت خزش» میان آنها مشترک است. به بیان دیگر بالا بودن سطح خزش یکی از کراولرها، ظرفیت در دسترس سایر کراولرها را تحت تاثیر قرار می‌دهد.
• عوامل مؤثر بر تقاضای خزش: عواملی مانند اندازهٔ سایت، دفعات به‌روزرسانی، کیفیت صفحات و ارتباط آن‌ها با سایر سایت‌ها بر روی میزان تقاضای خزش گوگل‌بات تاثیرگذار است.
• پشتیبانی از کشینگ HTTP: گوگل بار دیگر به اهمیت استفاده از کد وضعیت ۳۰۴ (Not Modified) تاکید کرده است. با این کار، اگر صفحه‌ای از زمان آخرین خزش تغییری نکرده باشد، کراولرها به‌جای دانلود مجدد منابع، از نسخهٔ ذخیره‌شده استفاده کرده و پهنای باند و منابع سرور ذخیره می‌شود.
• بهینه‌سازی زمان پاسخگویی سرور: بهبود زمان پاسخگویی سرور و بهینه‌سازی منابع آن، سرعت بارگذاری صفحات را افزایش می‌دهد. در نتیجه، ظرفیت خزش وبسایت‌ها نیز افزایش پیدا می‌کند.

حد ظرفیت خزش محافظه‌کارانه چیست؟

حد ظرفیت خزش محافظه‌کارانه یا «Conservative Crawl Limit»، به سقف اولیه‌ای از درخواست‌های هم‌زمان گفته می‌شود که گوگل به‌صورت پیش‌فرض برای همه وب‌سایت‌ها در نظر می‌گیرد. در این مرحله، خزش با کمترین فشار ممکن آغاز می‌شود تا از ایجاد بار اضافی روی سرور جلوگیری شود.

این مقدار برای همه وب‌سایت‌ها یکسان است و به اندازه آنها بستگی ندارد. اگر سرور پاسخ‌های سریع و بدون خطا ارائه دهد، گوگل به‌تدریج این سقف را افزایش می‌دهد؛ اما در صورت کندی یا بروز خطا، این محدودیت ثابت می‌ماند یا کاهش پیدا می‌کند.

سند راهنمای «بهینه‌سازی بودجه خزش» برای سه گروه از وب‌سایت‌ها اهمیت عملیاتی بیشتری دارد، زیرا هرکدام از آنها با چالش‌های متفاوتی در مدیریت منابع خزش روبه‌رو هستند:

• سایت‌های بسیار بزرگ: وب‌سایت‌هایی که بیش از یک میلیون صفحهٔ منحصربه‌فرد دارند. محتوای آن‌ها نسبتاً پویاست و بخش قابل‌توجهی از صفحات‌شان به‌طور مداوم به‌روزرسانی می‌شود. در این مقیاس، مدیریت بودجه خزش و جلوگیری از هدررفت ظرفیت‌های آن، حیاتی است.
• سایت‌های متوسط به بالا: وب‌سایت‌هایی با بیش از ۱۰ هزار صفحه که محتوای آن‌ها با نرخ بالایی تغییر می‌کند. این سایت‌ها معمولاً بودجهٔ خزش کافی برای پوشش تمام صفحات تازه را ندارند و نیازمند اولویت‌بندی هوشمندانه‌تری هستند.
• سایت‌هایی با صفحات کشف‌شده اما ایندکس‌نشده: وب‌سایت‌هایی که درصد بالایی از صفحات آن‌ها در سرچ کنسول با وضعیت «Discovered – Currently Not Indexed» گزارش شده‌اند. در این وضعیت، گوگل صفحات وب‌سایت را کشف کرده، اما ظرفیت کافی برای خزش آن‌ها را در اختیار ندارد.

این به‌روزرسانی اگرچه تغییری در مکانیسم اصلی سیستم‌های خزش ایجاد نکرده، اما با شفاف‌سازی مفاهیمی مانند «حد ظرفیت خزش» و «تقاضای خزش»، به متخصصان سئو و مدیران فنی کمک می‌کند تا درک دقیق‌تری از نحوهٔ تخصیص منابع توسط گوگل داشته باشند و بر اساس آن، استراتژی محتوایی و فنی سایت خود را تنظیم کنند.