چگونه خطاهای Crawl Errors گوگل وبمستر تولز را رفع کنیم؟

احتمالا برای شما هم پیش آمده که گزارش خطاهای Crawl سرچ کنسول را بررسی کنید و متوجه شوید که صدها خطای مختلف در این صفحه وجود دارد. مهم ترین مشکلی که در این زمان برای شما پیش می آید، این است که نمی دانید از کجا شروع کنید. اما نگران نباشید؛ در این مقاله قصد داریم نحوه رفع خطاهای ۴۰۴ را با هم بررسی کنیم. با ما همراه باشید:

خونسردی خودتان را حفظ کنید

خطاهای کراول معمولا قابل پیشگیری نیستند و برای همه پیش می آیند. همچنین این خطاها سریعا روی عملکرد سئو شما هم تاثیر نمی گذارند و به همین خاطر نیازی به نگرانی بابت این موضوع نیست. البته بهتر است سعی کنید در کوتاه ترین زمان ممکن این مشکلات را برطرف کنید. اینکه تعداد خطاهای کراول شما کم باشد، یک سیگنال مثبت برای گوگل محسوب می شود و نشانه این است که وبسایت شما در وضعیت خوبی قرار دارد. همچنین اگر تعداد خطاهای این بخش کمتر باشد، کاربران هم کمتر با خطاهای مربوط به سرور و سایت مواجه خواهند شد. آموزش سرچ کنسول گوگل را برای شناخت بیشتر این ابزار مطالعه کنید.

سرچ کنسول از مهمترین ابزارهایی است که متخصصان سئو و وبمستران باید با آن به طور کامل آشنا باشند. بنابراین یادگیری سرچ کنسول گوگل یک اصل جدایی ناپذیر از سئو است. دوره سرچ کنسول ژاکت آکادمی یکی از بهترین آموزش‌هایی است که در این زمینه می‌توانید بگذرانید. حتما سرفصل‌های این دوره را مشاهده کرده و در صورت نیاز آن را تهیه کنید.

اول از همه، تمامی خطاها را به عنوان رفع شده علامت بزنید

ممکن است این توصیه در ابتدای کار کمی خنده دار به نظر برسد، اما با این کار می توانید به شکل منظم تری با خطاهای کراول مقابله کنید. اولین بار که به خطاهای Crawl نگاه می کنید، ممکن است صدها خطای مختلف را مشاهده کنید. پیدا کردن مسیر خودتان از بین این همه خطا ممکن است کار خیلی سختی باشد.

به همین خاطر بهتر است قبل از هرکاری، تمامی خطاها را به عنوان رفع شده علامت بزنید (Mark As Fixed) و سپس از ابتدا شروع کنید. خطاهای Crawl غیرمرتبط دوباره ظاهر نخواهند شد و خطاهایی که رفع کردن آن ها خیلی مهم است، دوباره در گزارش دیده خواهند شد. پس از اینکه گزارش را به صورت کامل پاک کردید، باید کارهای زیر را انجام دهید.

خطاها را هفته ای یکبار چک کنید

یک روز ثابت را در طول هفته برای بررسی خطاهای کراول انتخاب کنید و هر هفته این بخش را بررسی کنید. به این ترتیب مقدار خطاهای کراول کمتر خواهند شد و به راحتی قابل رفع شدن هستند. به این ترتیب متوجه خواهید شد که کدام خطاها هفته قبل وجود نداشته اند و به راحتی می توانید آن ها را برطرف کنید. البته این خطاها انواع مختلفی دارند که در ادامه تمامی آن ها را بررسی خواهیم کرد:

خطاهای ۴۰۴ کلاسیک

این نوع خطا متداول ترین خطا در سایت های مختلف است و البته برطرف کردن آن نیز خیلی راحت است. در سرچ کنسول می توانید مبدا تمام خطاهای ۴۰۴ را به راحتی پیدا کنید. فقط کافیست روی خطای موردنظر کلیک کنید تا یک پنجره شبیه به عکس زیر برای شما باز شود:

لازم به ذکر است که اطلاعات تب Linked From همیشه به روز نیست. ممکن است این صفحه حاوی URLهایی باشد که دیگر وجود ندارند و یا به URL حاوی خطا لینک داده نمی شوند. در این تب گوگل به ما می گوید که خطا را در کدام صفحه پیدا کرده است، نه اینکه در حال حاضر کدام صفحه به آن لینک داده است.

خطاهای ۴۰۴ نیز به انواع مختلفی دسته بندی می شوند که در ادامه تمامی آن ها را بررسی خواهیم کرد:

• خطاهای ۴۰۴ ناشی از لینک دهی سایت های دیگر: اگر سایت های دیگر به صفحه ای از سایت شما لینک داده باشند که دیگر وجود ندارد، فقط کافیست با ریدایرکت ۳۰۱ لینک خراب را به آدرس صحیح انتقال دهید.
• خطاهای ۴۰۴ ناشی از لینک دهی داخلی یا سایت مپ: در صورتی که لینک اشتباهی که باعث خطای ۴۰۴ شده باشد در سایت خود شما یا سایت مپ آن قرار داشته باشد، به راحتی قابل رفع است. در اینجا نیز شما می توانید از ریدایرکت ۳۰۱ برای انتقال صفحه استفاده کنید. به این ترتیب خطا از بین می رود، اما قدرت لینک به صفحه جدید منتقل می شود.
• خطاهای ناشی از جاوا اسکریپت: برخی اوقات با خطاهای عجیبی مواجه می شوید که چندین صفحه مختلف از سایت شما به یک صفحه لینک داده اند. وقتی که بررسی می کنید، متوجه می شوید که این URLها همگی نسبی هستند و در فایل های اسکریپتی مانند تصویر زیر وجود دارند:
  
  طبق گفته گوگل، این نوع خطای ۴۰۴ اصلا مهم نیست و شما می توانید به راحتی آن را نادیده بگیرید.
• خطاهای ۴۰۴ غیرقابل شناسایی: برخی اوقات ممکن است خطاهایی را مشاهده کنید که منبع آن ها غیرقابل شناسایی است. داده هایی که گوگل در بخش Crawl در اختیار شما قرار می دهد، همیشه قابل اعتماد نیستند. می توانید این خطاها را هم با ریدایرکت ۳۰۱ رفع کنید.
  همیشه به یاد داشته باشید که خطاهای کراول ۴۰۴ را به عنوان رفع شده علامت بزنید. اگر این خطاها دوباره مشاهده شدند، باید بیشتر تحقیق کنید و دلیل این موضوع را بررسی کنید، اما اگر آن ها را دوباره مشاهده نکردید، نیازی هم نیست که کاری انجام دهید.
• خطاهای ۴۰۴ نرم: این یکی از اصطلاحات ابداعی گوگل است. ۴۰۴ نرم به صفحه سفیدی گفته می شود که ربات های گوگل با آن مواجه می شود و به دنبال آن کد وضعیت ۲۰۰ را برمی گردانند. در واقع صفحات دارای خطای ۴۰۴ نرم صفحاتی هستند که گوگل فکر می کند باید ۴۰۴ باشند، اما نیستند. گوگل با این روش به شما می گوید که این صفحات محتوای خیلی کمی دارند. روش حل این مشکل هم مثل بقیه خطاهای ۴۰۴ خیلی راحت است:
  • اگر خطا در صفحاتی دیده می شود که نباید وجود داشته باشند، می توانید با ریدایرکت ۳۰۱ آن ها را به آدرس یکی از صفحات فعلی خودتان انتقال دهید.
  • اگر URLای که دارای خطای ۴۰۴ نرم است یکی از صفحات محتوایی شما است و نمی توانید آن را ریدایرکت کنید، بهتر است سعی کنید محتوای ارزشمندی به آن اضافه کنید تا توسط گوگل راحت تر شناسایی شود.

پس از اینکه تمامی خطاهای ۴۰۴ سایت خودتان را رفع کردید، آن ها را به عنوان رفع شده علامت گذاری کنید و سپس به سراغ صفحاتی بروید که دارای خطاهای سرور ۵۰۰ هستند.

خطاهای ۵۰۰

خطاهای ۵۰۰ که مربوط به سرور هستند، تنها نوع خطای Crawlای هستند که باید نگران آن ها باشید. اگر ربات های گوگل به صورت مرتب در سایت شما با خطای ۵۰۰ مواجه شوند، یک سیگنال قوی برای گوگل است که صفحه موردنظر دچار مشکل است. در نهایت نیز این موضوع باعث به خطر افتادن رنکینگ شما خواهد شد.

این نوع خطاها به دلایل متعددی رخ می دهند. مثلا ممکن است به دلیل یک ساب دامین، دایرکتوری یا حتی پسوند فایل، سرور به جای نمایش صفحه موردنظر، کد وضعیت ۵۰۰ را نمایش دهد. برای رفع این خطاها نیز می توانید از یک برنامه نویس کمک بگیرید و با ارسال لیست تمامی خطاهای ۵۰۰ سایت خودتان، از او بخواهید که آن ها را رفع کند.

برخی اوقات ممکن است خطاهای ۵۰۰ به دلیل یک مشکل موقتی پیش بیایند. برای مثال در صورتی که سرور برای مدتی Down باشد، این مشکل در لیست خطاهای سرچ کنسول نمایش داده می شود. با بررسی فایل های لاگ و صحبت با سرویس دهنده هاست خودتان، می توانید دلیل این موضوع را به راحتی متوجه شوید. در این موارد بهتر است مراقب باشید که چنین مشکلاتی دوباره پیش نیایند.

لیست خطاهای سرور در گوگل سرچ کنسول را بررسی کنید و سعی کنید تا جایی که ممکن است آن ها را محدود کنید. ربات های گوگل باید همیشه بتوانند بدون هیچگونه محدودیت فنی به صفحات شما دسترسی داشته باشند. حتما راهنمای کار با سرچ کنسول را مطالعه کنید.

دیگر خطاهای کراول

تا به اینجا مهم ترین و متداول ترین خطاهای کراول را بررسی کردیم اما برخی اوقات ممکن است با خطاهایی مثل ۴۰۰، ۵۰۳، Access Denied، Faulty Redirects و… نیز مواجه شوید.

در اکثر مواقع گوگل توضیح می دهد که چطور می توانید با این مشکلات مواجه شوید و چگونه آن ها را رفع کنید. به صورت کلی بهتر است خطاهایی که مشاهده می کنید را همان موقع رفع کنید و از بروز دوباره آن جلوگیری نمایید. هرچقدر که تعداد خطاهای کراول ربات های گوگل کمتر باشد، اعتماد گوگل به سایت شما هم بیشتر خواهد بود. صفحاتی که خطای زیادی دارند، از لحاظ تجربه کاربری هم خیلی قوی نیستند و نسبت به صفحات دیگر رنک پایین تری خواهند داشت.

خلاصه مقاله

• تمامی خطاهای Crawl را به عنوان رفع شده علامت گذاری کنید.
• هفته‎ ای یکبار این گزارش را بررسی کنید.
• خطاهای ۴۰۴ را با ریدایرکت کردن URLهای اشتباهی یا تغییر لینک های داخلی و سایت مپ برطرف کنید.
• از بروز خطاهای سرور جلوگیری کنید و در صورت بروز، از سرویس دهنده هاست خودتان برای رفع آن ها کمک بگیرید.
• برای رفع خطاهای دیگر منابع گوگل را بررسی کنید.