بررسی خطای Error – Invalid sitemap URL detected; syntax not understood
اگر در ROBOTS.TXT با خطای فوق مواجه هستید، تحت هیچ شرایطی نباید به ابتدای مسیر نقشه Allow اضافه کنید. این یک مشکل از جانب گوگل هست و باید صبر کنید تا راه حل آن توسط منابع رسمی و کارشناسان گوگل مورد بررسی و اطلاع رسانی شود.
اخیرا راهکار بسیار اشتباهی در وب درحال گسترش است که یک کاربر عادی ناشناخته پیشنهاد داده به ابتدای آدرس نقشه سایت از Allow استفاده شود که این موضوع کاملا اشتباه است. یوزر ایجنت گوگل برای Allow فقط مسیرهای بعد از / را پشتیبانی می کنه و googlebot مسیرهای دارای https:// را پشتیبانی و کراول نمی کند.
✅ true:
sitemap:
❌ wrong:
Allow: sitemap:
true:
Allow: /sample/
wrong:
Allow:
در کنسول جستجوی گوگل گزارش های زیادی دیده می شود که بعضا حتی نیازی به رسیدگی ندارند. همچنین مشکلاتی را خواهید دید که ممکن است باگ یا حاصل یک رویداد مشخص نشده باشد. در این مواقع فقط باید به توصیه های کارشناسان رسمی و موضع گیری های منابع شناخته شده مرتبط بپردازید و قبل از انجام هر راهکاری حتما تحقیق کرده و مستندات را مطالعه کنید.
در خطای فایل robots.txt بخوبی fetch می شود و با اضافه کدن Allow نتنها مشکل رفع نمی شود، بلکه نقشه هم خوانده نمی شود.
🔗 https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt
☑️ The user agent named Googlebot is not allowed to crawl any URL that starts with https://example.com
نویسنده علیرضا ناجی
سایر مقالات نویسندهعلیرضا ناجی، فعال حوزه سئو و اسکیما می‌باشد. وی در زمینه تحقیق و ترجمه مقالات و آموزش حوزه فناوری اطلاعات، سئو و اسکیمای حرفه ای، بازی های رایانه ای و شبکه های اجتماعی فعالیت می‌کند و جدیدترین عناوین را به صورت محتوی غنی منتشر می‌نماید.
