جان مولر از تیم جستجوی گوگل هشدار داد که تنظیمات نادرست در سرویسهای امنیتی میتواند تمام صفحات سایت را از ایندکس گوگل حذف کند. به گفته وی، این سرویسها ممکن است گوگلبات را به عنوان یک ربات مهاجم تشخیص دهند؛ در نتیجه بهجای محتوای واقعی، صفحهٔ خطای امنیتی برای ایندکس در نظر گرفته میشود.
بسیاری از سایتها برای مقابله با حملات مخرب، از سرویسهای امنیتی مانند فایروال (WAF) استفاده میکنند. این سرویسها یک لایهٔ محافظتی دارند که ترافیک ورودی را بررسی میکند تا در صورت لزوم ربات مهاجم را مسدود نماید. با این حال، گاهی همین مکانیسم دفاعی، گوگلبات را بهاشتباه در دستهٔ رباتهای مخرب قرار میدهد.
در چنین حالتی، سرویس امنیتی ارتباط را قطع نمیکند، بلکه صفحهای با عنوان «آیا شما ربات هستید؟» به گوگلبات نشان میدهد. این صفحه که دارای کد وضعیت ۲۰۰ است، بهعنوان محتوای قابل ایندکس در نظر گرفته شده و بر روی ایندکس صفحات واقعی تاثیر میگذارد.
این چالش در هزاران سایت دیگر نیز بهصورت یکسان وجود دارد. وقتی گوگل با انبوهی از صفحات کاملاً مشابه روبهرو شود، ممکن است یکی از این نسخهها را که بر روی سایتی کاملاً متفاوت میزبانی میشود، بهعنوان نسخهٔ اصلی (Canonical) انتخاب کند. در نتیجه صفحات شما از ایندکس خارج شده و یا به نام دامنهای دیگر ثبت میگردد.
در همین رابطه، ماریو اشمیت از تیم گوگل میگوید: «صفحات امنیتی فقط به گوگلبات و رباتهای مشابه نشان داده میشوند و کاربران عادی آن را نمیبینند. به همین دلیل است که وقتی صفحات واقعی از نتایج جستجو حذف میشوند، مشکل اصلی از چشم مدیران سایت پنهان میماند.»
جان مولر سه گام اساسی را برای رفع این مشکل پیشنهاد میدهد:
- ردیابی الگوی حذف: در گزارش Page Indexing کنسول جستجو به دنبال صفحاتی بگردید که به دلیل «تکراری بودن» ایندکس نشدهاند.
- بازرسی دقیق URL: با ابزار URL Inspection بررسی کنید که گوگل چه محتوایی را خزیده و چه صفحهای را بهعنوان Canonical انتخاب کرده است.
- تماس با تیم فنی: پس از شناسایی مشکل، از تیم فنی بخواهید تا تنظیمات را طوری تغییر دهد که گوگلبات و سایر خزندههای معتبر به محتوای اصلی دسترسی داشته باشند.
از آنجاییکه منشأ خطاهای امنیتی اغلب در لایۀ میانی شبکه یعنی CDN یا WAF اتفاق میافتد، اطمینان حاصل کنید که این سرویسها مسیری شفاف و بدون مانع را برای گوگلبات فراهم میکنند.
تحریریه ژاکت
مشاهده تیم تحریریه
