10 روش برای اینکه گوگل سایت شما را ایندکس کند

اگر گوگل وب سایت شما را ایندکس نکند، تقریباً نامرئی هستید. برای هرگونه جستجو نمایش داده نخواهید شد و به هیچ وجه ترافیک ارگانیک نخواهید داشت. در این مقاله به روش های ایندکس سایت می پردازیم و به شما می آموزیم که چگونه هر یک از سه مشکل زیر را برطرف کنید:

• کل وب سایت شما ایندکس نشده است.
• برخی از صفحات شما index می شوند، اما برخی دیگر اینگونه نیستند.
• صفحات وب تازه منتشر شده شما به اندازه کافی سریع ایندکس نمی شوند.

crawling (خزیدن) و  indexing (ایندکس کردن) چیست؟

گوگل با crawl یا خزیدن در وب صفحات، وب جدید را کشف می کند و سپس آن ها این صفحات را به فهرست خود اضافه می کنند. آنها این کار را با استفاده از عنکبوت وب به نام Googlebot انجام می دهند.

بیایید چند اصطلاح کلیدی را تعریف کنیم.

crawling: فرآیند پیوندهای وب برای کشف محتوای جدید

indexing: فرآیند ذخیره هر صفحه وب در یک پایگاه داده گسترده

Web spider: قطعه ای از نرم افزار طراحی شده برای انجام مراحل خزیدن در وب

Googlebot: عنکبوت وب گوگل.

وقتی چیزی را گوگل می کنید، از گوگل می خواهید که همه صفحات مربوطه را از فهرست آنها نمایش دهد. از آنجا که اغلب میلیون ها صفحه متناسب با این حساب وجود دارد، الگوریتم رتبه بندی Google بهترین تلاش خود را برای مرتب سازی صفحات انجام می دهد تا در ابتدا بهترین و مرتبط ترین نتایج را مشاهده کنید.

نکته مهمی که در اینجا بیان می کنیم این است که indexing و رتبه بندی دو چیز متفاوت است.

indexing برای مسابقه نشان داده می شود. رتبه بندی برنده شدن است.

بدون حضور در مسابقه در وهله اول نمی توانید برنده شوید.

چگونه بررسی کنید که آیا در گوگل index  شده اید؟

برای بررسی ایندکس سایت در گوگل به Google بروید، سپس سایت را جستجو کنید: yourwebsite.com

این تعداد تقریباً تعداد صفحات شما را در فهرست گوگل نشان می دهد.

اگر می خواهید وضعیت فهرست یک URL خاص را بررسی کنید، از همان سایت استفاده کنید:

yourwebsite.com/web-page-slug

اگر صفحه index نشود، هیچ نتیجه ای نشان داده نمی شود.

اکنون لازم به ذکر است که اگر کاربر سرچ کنسول گوگل هستید، می توانید با استفاده از گزارش Coverage، اطلاعات دقیق تری در مورد وضعیت index وب سایت خود دریافت کنید. سرچ کنسول از مهمترین ابزارهایی است که متخصصان سئو و وبمستران باید با آن به طور کامل آشنا باشند. بنابراین یادگیری سرچ کنسول گوگل یک اصل جدایی ناپذیر از سئو است. دوره سرچ کنسول ژاکت آکادمی یکی از بهترین آموزش‌هایی است که در این زمینه می‌توانید بگذرانید. حتما سرفصل‌های این دوره را مشاهده کرده و در صورت نیاز آن را تهیه کنید.

پس لازم است در سرچ کنسول به این آدرس بروید:

Google Search Console > Index > Coverage

به تعداد صفحات معتبر (با هشدار و بدون هشدار) نگاه کنید.

اگر این دو عدد در مجموع چیزی به جز صفر باشند، گوگل حداقل برخی از صفحات وب سایت شما را ایندکس کرده است. در غیر این صورت، پس شما یک مشکل جدی در ایندکس سایت در گوگل دارید، زیرا هیچ یک از صفحات وب ایندکس نمی شوند.

همه کسانی که وب سایتی را اداره می کنند و به فکر بازدید از گوگل هستند، باید از سرچ کنسول گوگل استفاده کنند. این خیلی مهم است. برای ثبت سایت خود در سرچ کنسول، اینجا را بخوانید.

همچنین می توانید از Search Console برای بررسی ایندکس شدن صفحه خاصی استفاده کنید. برای انجام این کار، URL  را در ابزار بازرسی URL جایگذاری کنید.

اگر آن صفحه ایندکس شده باشد، می گوید “URL در Google است”.

اگر صفحه ایندکس نشده باشد، عبارت “URL is not on Google” را مشاهده خواهید کرد.

روش های ایندکس سایت در گوگل

متوجه شدید که وب سایت یا صفحه وب شما در Google ایندکس نشده است؟ این روش را امتحان کنید:

• به سرچ کنسول گوگل بروید.
• به ابزار بازرسی URL بروید.
• URL را که می خواهید گوگل آن را ایندکس کند، در نوار جستجو قرار دهید.
• صبر کنید تا گوگل URL را بررسی کند.
• روی دکمه “indexing request” کلیک کنید.

این فرایند هنگام انتشار یک پست یا صفحه جدید تمرین خوبی است. شما به طور موثر به Google می گویید که چیز جدیدی به سایت خود اضافه کرده اید و آنها باید نگاهی به آن بیندازند.

با این حال، بعید است درخواست indexing مشکلات اساسی را که گوگل از ایندکس صفحات قدیمی جلوگیری می کند، حل کند. در این صورت، برای تشخیص و برطرف کردن مشکل لیست زیر را دنبال کنید.

• بلوک های crawler را در فایلtxt خود حذف کنید.
• برچسب های noindex را بردارید.
• صفحه را در نقشه سایت خود قرار دهید.
• پیوندهای داخلی nofollow را برطرف کنید.
• پیوندهای داخلی “قدرتمند” اضافه کنید.
• اطمینان حاصل کنید که صفحه ارزشمند و منحصر به فرد است.
• صفحات با کیفیت پایین را حدف کنید
• بک لینک با کیفیت بالا بسازید

1) بلوک های crawler را در فایل robots.txt خود حذف کنید.

آیا گوگل کل وب سایت شما را ایندکس نمی کند؟ عئم ایندکس سایت در گوگل می تواند به دلیل crawl block در چیزی به نام فایل robots.txt  باشد.

برای بررسی این موضوع، به yourdomain.com/robots.txt بروید.

به دنبال هر یک از این دو قطعه کد باشید:

هر دوی این موارد به Googlebot می گویند که اجازه جستجوی هیچ صفحه ای در سایت شما را ندارند. برای رفع مشکل، آنها را حذف کنید.

اگر Google حتی یک صفحه وب را ایندکس نکند، یک crawl block در robots.txt نیز می تواند مقصر باشد. برای بررسی اینکه آیا این مورد وجود دارد، URL  را در ابزار بازرسی URL در Google Search Console جایگذاری کنید. برای نشان دادن جزئیات بیشتر، روی بلوک Coverage کلیک کنید، سپس به دنبال ارور “Crawl allowed? No: blocked by robots.txt” بگردید.

این نشان می دهد که صفحه در robots.txt مسدود شده است.

در این صورت، فایل robots.txt خود را مجدداً بررسی کنید تا هرگونه قانون “disallow” مربوط به صفحه یا زیرمجموعه مربوطه را بررسی کنید.

در صورت لزوم آن را بردارید.

2) برچسب های noindex را بردارید.

اگر به گوگل بگویید صفحات شما را بررسی نکند، گوگل آن ها را ایندکس هم نمی کند. این برای خصوصی نگه داشتن برخی از صفحات وب مفید است. دو راه برای انجام آن وجود دارد:

روش 1: برچسب متا

صفحات دارای هر یک از این برچسب های متا در بخش <head> توسط Google ایندکس نمی شوند:

<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>

این یک برچسب روبات متا است و به موتورهای جستجو می گوید که آیا می توانند صفحه را ایندکس کنند یا خیر.

SIDENOTE قسمت کلیدی مقدار “noindex” است. اگر آن را مشاهده کردید، صفحه روی نو اینکدکس تنظیم شده است.

برای یافتن همه صفحات دارای برچسب متنی noindex در سایت خود، با Ahrefs ’Site Audit یک crawl را اجرا کنید. به گزارش indexing بروید. به دنبال هشدارهای “page Noindex” باشید.

برای دیدن همه صفحات تحت تأثیر کلیک کنید. متا برچسب noindex را از هر صفحه ای که متعلق به آن نیست حذف کنید.

روش 2: برچسب X ‑ Robots

خزده های وب همچنین به عنوان پاسخ X ‑ Robots-Tag HTTP احترام می گذارند. می توانید این کار را با استفاده از زبان برنامه نویسی سمت سرور مانند PHP یا در پرونده .htaccess یا با تغییر در پیکربندی سرور خود پیاده سازی کنید.

ابزار بازرسی URL در Search Console به شما می گوید که آیا گوگل به دلیل این سرصفحه از خزیدن صفحه مسدود شده است. فقط URL خود را وارد کنید، سپس به دنبال “Indexing allowed? No: ‘noindex’ detected in ‘X‑Robots-Tag’ http header”  باشید.

اگر می خواهید این مشکل را در سراسر سایت خود بررسی کنید، در ابزار حسابرسی سایت Ahrefs یک crawler اجرا کنید، سپس از فیلتر “Robots information in HTTP header” در صفحه اکسپلورر استفاده کنید:

برای ایندکس سایت در گوگل به توسعه دهنده خود بگویید صفحاتی را که می خواهید ایندکس شود، این عنوان را از آن حذف کنند.

3) صفحه را در نقشه سایت خود قرار دهید.

یک نقشه سایت به گوگل می گوید کدام صفحات در سایت شما مهم هستند و کدام یک از این موارد مهم نیستند. همچنین ممکن است راهنمایی کند که چند بار باید دوباره crawl شوند.

گوگل باید بتواند صفحات موجود در وب سایت شما را بدون توجه به اینکه در نقشه سایت شما هستند پیدا کند، اما با این وجود قرار دادن آنها روش خوبی برای ایندکس سایت در گوگل  است.

برای بررسی اینکه آیا صفحه ای در نقشه سایت شما قرار دارد یا خیر، از ابزار بازرسی URL در سرچ کنسول استفاده کنید. اگر خطای “URL is not on Google” و “Sitemap: N / A” را مشاهده کردید، آن صفحه در نقشه سایت شما وجود ندارد یا ایندکس نشده است.

اگر می خواهید تمام صفحاتی را که قابل خزش و قابل ایندکس شدن در نقشه سایت شما نیستند، پیدا کنید، یک crawler را در حسابرسی سایت Ahrefs اجرا کنید. به صفحه Explorer بروید و این فیلترها را اعمال کنید:

این صفحات باید در نقشه سایت شما باشد، بنابراین آنها را اضافه کنید. پس از پایان کار، به Google اطلاع دهید که با پینگ این URL نقشه سایت خود را به روز کرده اید:

http://www.google.com/ping؟sitemap=http://yourwebsite.com/sitemap_url.xml

آن قسمت آخر را با URL نقشه سایت خود جایگزین کنید. سپس باید چیزی شبیه به این را ببینید:

این باید سرعت صفحه بندی گوگل در صفحه را فراهم کند.

4) برچسب های canonical را بردارید.

یک برچسب کنونیکال به گوگل می گوید که نسخه برگزیده یک صفحه است. به نظر می رسد چیزی شبیه به این است:

<link rel = “canonical” href = “/ page.html /”>

اکثر صفحات یا فاقد برچسب canonical هستند، یا اگر برچسب canonical دارند به گوگل می گویند آن صفحه نسخه برگزیده و احتمالاً تنها نسخه است. به عبارت دیگر، شما می خواهید این صفحه ایندکس شود.

اما اگر صفحه شما دارای rogue canonical است، می تواند به Google در مورد نسخه دلخواه این صفحه که وجود ندارد، بگوید. در این صورت، صفحه شما ایندکس نمی شود.

برای بررسی کننیکال، از ابزار بازرسی URL Google استفاده کنید. اگر کنونیکال به صفحه دیگری اشاره کند، هشدار “Alternate page with canonical tag” را مشاهده خواهید کرد.

اگر این مورد وجود ندارد و می خواهید صفحه را index کنید، برچسب canonical را بردارید.

مهم

برچسب های canonical همیشه بد نیستند. اگر مشاهده کردید که صفحه شما یک مجموعه canonical دارد، پس صفحه کنونیکال را بررسی کنید. اگر این واقعاً نسخه مطلوب صفحه است و نیازی به ایندکس صفحه موردنظر نیز نیست، برچسب آن باید باقی بماند.

5) بررسی کنید که صفحه orphan یا یتیم نباشد.

صفحات orphan یا یتیم صفحه هایی هستند که به آنها پیوند داخلی وجود ندارد.

از آنجا که Google با crawl در وب محتوای جدید را کشف می کند، بنابراین نمی توانند صفحات orphan را از طریق این روند کشف کند. بازدیدکنندگان وب سایت نیز نمی توانند آنها را پیدا کنند.

برای بررسی صفحات یتیم، سایت خود را با حسابرسی سایت Ahrefs جستجو کنید. در مرحله بعد، گزارش پیوندها را برای خطاهای “صفحه یتیم (فاقد پیوند داخلی است)” بررسی کنید:

این همه صفحاتی را نشان می دهد که هم ایندکس می شوند و هم در نقشه سایت شما وجود دارند، اما هیچ پیوند داخلی به آنها وجود ندارد.

مهم

این فرایند فقط زمانی درست است که دو چیز درست باشد:

• تمام صفحاتی که می خواهید فهرست بندی کنید در نقشه سایت شما وجود دارد.
• در هنگام تنظیم پروژه در حسابرسی سایتAhrefs ، برای استفاده از صفحات موجود در نقشه سایت خود به عنوان نقطه شروع crawl، کادر را علامت زده اید.

می توانید صفحات orphan را به یکی از دو روش اصلاح کنید:

• اگر صفحه مهم نیست، آن را حذف کرده و از نقشه سایت خود حذف کنید.
• اگر صفحه مهم است، آن را در ساختار لینک داخلی وب سایت خود قرار دهید.

6) پیوندهای داخلی nofollow را برطرف کنید.

پیوندهای نوفالو پیوندهایی با برچسب rel = “nofollow” هستند. آنها از انتقال PageRank به URL مقصد جلوگیری می کنند. Google همچنین پیوندهای nofollow را crawl نمی کند.

آنچه گوگل در این باره می گوید:

اساساً، استفاده از nofollow باعث می شود که ما پیوندهای هدف را از نمودار کلی وب خود حذف کنیم. با این حال، اگر سایر سایت ها بدون استفاده از nofollow به آنها پیوند دهند، یا اگر URL ها از طریق نقشه سایت به Google  ارسال شوند، ممکن است صفحات مورد نظر همچنان در فهرست ما ظاهر شوند.

به طور خلاصه، برای ایندکس سایت در گوگل باید اطمینان حاصل کنید که تمام لینک های داخلی به صفحه های قابل ایندکس شدن دنبال می شوند.

برای این کار، از ابزار Ahrefs ’Site Audit برای جستجوی سایت خود استفاده کنید. گزارش پیوندها را برای صفحات قابل ایندکس شدن با خطاهای “Page has nofollow incoming internal links only” بررسی کنید.

با فرض اینکه می خواهید Google صفحه را ایندکس کند، برچسب nofollow را از این پیوندهای داخلی حذف کنید. در غیر این صورت، یا صفحه را حذف کنید یا آن را noindex کنید.

7) پیوندهای داخلی “قدرتمند” اضافه کنید.

گوگل با جستجوی وب سایت شما محتوای جدید را کشف می کند. اگر از پیوند داخلی با صفحه مورد نظر غافل شوید، ممکن است آنها نتوانند آن را پیدا کنند.

یک راه حل آسان برای حل این مشکل و ایندکس سایت در گوگل  افزودن پیوندهای داخلی به صفحه است. این کار را می توانید از طریق هر صفحه وب دیگری که Google می تواند crawl و ایندکس کند، انجام دهید. با این حال، اگر می خواهید Google  هرچه سریع تر صفحه را فهرست کند، منطقی است که این کار را از یکی از صفحات “قدرتمند” خود انجام دهید.

چرا؟ زیرا Google احتمالاً سریع تر از صفحات با اهمیت کمتر چنین صفحاتی را بازیابی می کند.

برای انجام این کار، به Explorer سایت Ahrefs بروید، دامنه خود را وارد کنید، سپس از گزارش بهترین پیوندها بازدید کنید.

این نشان می دهد که همه صفحات وب سایت شما بر اساس رتبه بندی URL (UR) مرتب شده اند. به عبارت دیگر، ابتدا معتبرترین صفحات را نشان می دهد.

این لیست را کم کنید و به دنبال صفحات مربوطه بگردید تا از آنجا پیوندهای داخلی به صفحه مورد نظر اضافه کنید.

سپس گوگل دفعه بعد که دوباره صفحه را بازگرداند، آن پیوند را مشاهده و دنبال خواهد کرد.

نکته حرفه ای

صفحه ای را که پیوند داخلی را از آن اضافه کرده اید، در ابزار بازرسی URL Google جایگذاری کنید. دکمه ” Request indexing” را بزنید تا به Google اطلاع دهید که چیزی در صفحه تغییر کرده است و آنها باید در اسرع وقت دوباره آن را بازیابی کنند. این ممکن است روند کشف پیوند داخلی و در نتیجه صفحه موردنظر برای ایندکس شما را تسریع کند.

8) مطمئن شوید که صفحه ارزشمند و منحصر به فرد است.

بعید است گوگل صفحات با کیفیت پایین را ایندکس کند، زیرا برای کاربرانش هیچ ارزشی ندارند. این ها مواردی است که جان مولر گوگل در مورد فهرست بندی در سال 2018 گفت:

ما هرگز همه URL های شناخته شده را ایندکس نمی کنیم، این کاملا طبیعی است. من می خواهم به ایجاد سایت عالی و الهام بخش بپردازم، سپس همه چیز معمولاً بهتر پیش می رود.

او اشاره می کند که برای ایندکس سایت در گوگل ، لازم است صفحه شما “عالی و الهام بخش” باشد.

اگر موارد فنی موجب ایندکس نشدن صفحه شماست، کمبود ارزش می تواند مقصر باشد. ارزش این است که صفحه را با نگاهی تازه مرور کنید و از خود بپرسید: آیا این صفحه واقعا ارزشمند است؟ آیا اگر یک کاربر از نتایج جستجو بر روی آن کلیک کند، آیا در این صفحه ارزش پیدا می کند؟

اگر پاسخ به هر یک از این سوالات منفی است، پس باید محتوای خود را بهبود ببخشید.

9) حذف صفحات با کیفیت پایین (برای بهینه سازی “crawl budget“)

وجود بیش از حد زیاد صفحات بی کیفیت در وب سایت شما فقط باعث هدر رفتن crawl budget می شود.

آنچه گوگل در این باره می گوید:

اتلاف منابع سرور در [صفحات کم ارزش] فعالیت crawl را از صفحاتی که واقعاً دارای ارزش هستند تخلیه می کند، که ممکن است باعث تاخیر قابل توجهی در کشف محتوای عالی در یک سایت شود.

فکر کنید مانند معلمی که مقالات را درجه بندی می کند، یکی از این مطالب مربوط به شماست. اگر آنها ده مقاله برای نمره دادن داشته باشند، خیلی سریع به مقاله شما می رسند. اگر صد تا داشته باشند، کمی بیشتر طول می کشد. اگر هزاران نفر داشته باشند، حجم کار آنها بسیار زیاد است و ممکن است هرگز در درجه بندی مقاله شما قرار نگیرند.

Google  اعلام کرده است که crawl budget موضوعی نیست که بیشتر ناشران نگران باشند” ، و “اگر سایتی کمتر از چند هزار URL داشته باشد، بیشتر اوقات به طور کارآمد crawl می شود”.

هنوز هم، حذف صفحات با کیفیت پایین از وب سایت خود هرگز چیز بدی نیست. این فقط می تواند در بودجه خزش تأثیر مثبت داشته باشد.

10) بک لینک با کیفیت بالا بسازید.

بک لینک ها به گوگل می گویند که یک صفحه وب مهم است. اگر کسی در حال پیوند دادن به آن است، پس باید ارزش داشته باشد. اینها صفحاتی هستند که گوگل می خواهد آنها را ایندکس کند.

برای شفافیت کامل، گوگل فقط صفحات وب را با بک لینک ایندکس نمی کند. صفحات ایندکس شده زیادی وجود دارد که بدون بک لینک هستند. با این حال، Google  صفحات دارای پیوندهای با کیفیت را که از اهمیت بیشتری برخوردار اند، به احتمال زیاد سریع تر از آنهایی که فاقد آن هستند، crawl می کند. که منجر به سریع تر ایندکس شدن می شود.

indexing ≠ ranking

ایندکس سایت در گوگل یا صفحه وب در گوگل به معنای رتبه بندی یا بازدید نیست.

آنها دو چیز متفاوت هستند.

ایندکس شدن به معنای آگاهی گوگل از وب سایت شما است. این بدان معنا نیست که آنها می خواهند آن را برای هرگونه سوال مرتبط و ارزشمند رتبه بندی کنند.

اینجاست که سئو ارائه می شود، به معنای هنر بهینه سازی صفحات وب شما برای رتبه بندی برای سوالات خاص.

به طور خلاصه، SEO  شامل موارد زیر است:

• یافتن آنچه مشتریان شما در جستجوی آن هستند.
• ایجاد محتوا پیرامون آن موضوعات
• بهینه سازی آن صفحات برای کلمات کلیدی مورد نظر شما
• ساخت بک لینک
• بازنشر منظم محتوا برای “همیشه سبز” نگه داشتن آن

سخن پایانی

فقط دو دلیل برای عدم ایندکس سایت در گوگل وجود دارد:

1. مسائل فنی مانع انجام آنها می شود.
2. آنها سایت یا صفحه شما را برای کاربران خود بی کیفیت و بی ارزش می دانند.

ممکن است که هر دو این مسائل وجود داشته باشد. با این حال، ما می گوییم که مسائل فنی بسیار رایج تر است.

با استفاده از چک لیست بالا، می توانید موضوع ایندکس سایت در گوگل را حل کنید.

اگر بخواهید برای هر سوال جستجوی ارزشمند سایت خود را رتبه بندی کنید و یک جریان ثابت از ترافیک ارگانیک را به خود اختصاص دهید، SEO موضوعی حیاتی است.

ژاکت را دنبال کنید

ژاکت در اینستاگرام

ژاکت در فیسبوک

ژاکت در لینکدین

ژاکت در توییتر