ایندکس نشدن دو دسته علت دارد. دسته‌ی فنی: چیزی جلوی گوگل را گرفته، مثل تگ noindex، robots.txt، خطای سرور یا ریدایرکت. این‌ها قطعی و قابل رفع‌اند. دسته‌ی کیفی: گوگل صفحه را دیده ولی ارزش ایندکس ندانسته، چون محتوا کم، تکراری یا بدون لینک داخلی است. اول با URL Inspection در سرچ کنسول ببینید کدام است؛ همان صفحه دلیل را می‌نویسد.
اول مطمئن شوید واقعاً ایندکس نیست
- در گوگل بنویسید site:yourdomain.com. صفحههای ایندکس‌شده‌ی سایت می‌آید؛ عددش تقریبی است.
- برای یک صفحه‌ی مشخص، آدرس کاملش را بعد از site: بنویسید.
- دقیق‌تر از همه: URL Inspection در سرچ کنسول. (راه‌اندازی سرچ کنسول)
ایندکس بودن با رتبه داشتن فرق دارد. صفحه‌ای که ایندکس است ولی برای هیچ عبارتی در صفحههای اول نیست، مشکل رتبه دارد، نه ایندکس.
وضعیت‌های گزارش Pages
| وضعیت | معنی | مشکل است؟ |
|---|---|---|
| Excluded by ‘noindex’ tag | صفحه تگ noindex دارد | فقط اگر نمی‌خواستید |
| Blocked by robots.txt | خزش بسته است | فقط اگر نمی‌خواستید |
| Page with redirect | آدرس به جای دیگری می‌رود | نه؛ عادی است |
| Not found (404) | صفحه وجود ندارد | اگر باید وجود داشته باشد |
| Alternate page with proper canonical tag | نسخه‌ی دیگری از صفحه اصلی است | نه |
| Duplicate without user-selected canonical | گوگل آن را تکراری دیده و خودش نسخه‌ی اصلی را انتخاب کرده | بررسی کنید |
| Discovered – currently not indexed | آدرس را می‌شناسد ولی هنوز نخزیده | برای سایت تازه عادی؛ اگر ماه‌ها بماند، نه |
| Crawled – currently not indexed | خزیده ولی ایندکس نکرده | معمولاً کیفیت یا تکرار |
| Server error (5xx) | سرور هنگام خزش خطا داده | بله |
| Soft 404 | صفحه کد ۲۰۰ می‌دهد ولی محتوای «پیدا نشد» یا خالی دارد | بله |
بیشتر ردیف‌های این گزارش عادی‌اند. تعداد زیاد «Not indexed» به‌تنهایی نشانه‌ی مشکل نیست؛ مهم این است که صفحه‌هایی که می‌خواهید ایندکس شوند در آن فهرست‌ها نباشند.
ده علت، به ترتیب بررسی
- تیک «جلوگیری از موتورهای جستجو» در وردپرس. تنظیمات، خواندن. رایج‌ترین علت در سایت‌های تازه.
- تگ noindex از افزونه‌ی سئو، روی یک صفحه یا یک نوع محتوا.
- robots.txt. (راهنمای robots.txt)
- سایت تازه است. ایندکس دامنه‌ی نو چند روز تا چند هفته طول می‌کشد.
- هیچ لینکی به صفحه نیست. صفحه‌ی یتیم، حتی در نقشه‌ی سایت، دیر یا هرگز ایندکس می‌شود.
- محتوای کم یا تکراری. صفحه‌ی چندخطی، توضیح محصول کپی‌شده، صفحههای برچسب و آرشیو.
- کانونیکال اشتباه. تگ canonical به آدرس دیگری اشاره می‌کند.
- خطای سرور یا کندی شدید هنگام خزش. (خطای ۵۰۳ و ۵۰۴)
- سرور جلوی گوگل را گرفته: فایروال، محدودیت کشور یا مسدودسازی ربات.
- جریمه یا مشکل امنیتی. بخش‌های Manual actions و Security issues را ببینید.
بررسی یک صفحه
- آدرس را در URL Inspection وارد کنید.
- اگر نوشته «URL is not on Google»، بخش Page indexing دلیل را میگوید.
- Test Live URL را بزنید تا وضعیت همین لحظه را ببینید. اگر Live Test موفق است ولی گزارش قبلی خطا داشت، مشکل قبلاً رفع شده.
- View tested page نشان می‌دهد گوگل صفحه را چطور دیده: اگر محتوا در آن نیست، با JavaScript ساخته می‌شود و گوگل به آن نرسیده.
- اگر همه‌چیز درست است، Request Indexing بزنید.
«Crawled – currently not indexed»
سخت‌ترین حالت، چون مانع فنی نیست. گوگل میگوید این صفحه را خوانده‌ام و فعلاً لازمش ندارم. کارهایی که کمک می‌کند:
- صفحه را واقعاً بهتر کنید: جواب کامل‌تر، مثال، جدول، تجربه‌ی دست‌اول.
- از صفحههای مرتبط و پربازدید به آن لینک داخلی بدهید. (ساختار محتوا و لینک داخلی)
- صفحههای خیلی شبیه را ادغام کنید و قدیمی‌ها را با ۳۰۱ به نسخه‌ی کامل بفرستید.
- صفحههای کمارزش (برچسبهای تک‌مطلبی، آرشیو تاریخ) را noindex کنید تا سهم خزش به صفحههای مهم برسد.
درخواست ایندکس پشت‌سرهم کمکی نمی‌کند.
نقش هاست
| موضوع | اثر |
|---|---|
| خطای 5xx و قطعی | گوگل خزش را کم می‌کند و صفحههای تازه دیرتر ایندکس می‌شوند |
| پاسخ کند سرور | تعداد صفحه‌هایی که در هر بازدید خزیده می‌شود کم می‌شود |
| مسدود شدن ربات گوگل در فایروال | هیچ‌چیز ایندکس نمیشود |
| SSL نامعتبر | نسخه‌ی https خوانده نمیشود |
وضعیت خزش را در سرچ کنسول، Settings، Crawl stats ببینید: میانگین زمان پاسخ و درصد خطاها. (سرعت سایت و سئو، اثر هاست بر سئو)
چقدر صبر کنم؟
| وضعیت | زمان معمول |
|---|---|
| صفحه‌ی تازه در سایت جاافتاده | چند ساعت تا چند روز |
| سایت و دامنه‌ی تازه | چند روز تا چند هفته |
| بعد از رفع noindex یا robots.txt | چند روز تا دو هفته |
| بعد از بهبود محتوا | چند هفته |
سوال‌های رایج
همهی صفحههای سایت باید ایندکس شوند؟
نه. صفحههای جستجو، سبد خرید، برچسبهای کممحتوا و صفحههای تکراری بهتر است ایندکس نشوند.
صفحه قبلاً ایندکس بود و حالا نیست.
یا تغییری در سایت (noindex، ریدایرکت، حذف) یا گوگل آن را کمارزشتر از قبل ارزیابی کرده. URL Inspection دلیل فعلی را میگوید.
محتوای تولیدشده با هوش مصنوعی ایندکس نمیشود؟
ملاک گوگل مفید بودن است، نه روش تولید. محتوای انبوه و کمارزش، با هر روشی ساخته شده باشد، ایندکس نمیشود. (موضع گوگل دربارهی محتوای هوش مصنوعی)
