چرا صفحه جدید در گوگل ایندکس نمی‌شود؟ مسیر عیب‌یابی با شواهد

برای پیدا کردن علت ایندکس نشدن صفحه سایت، ابتدا نشانی دقیق آن را در URL Inspection سرچ کنسول بررسی کنید. سپس مشخص کنید مشکل در کدام مرحله است: کشف نشانی، دسترسی و خزش، اجازهٔ ایندکس یا انتخاب صفحه برای ایندکس. ثبت دوبارهٔ درخواست، بدون شناخت این مرحله، جای عیب‌یابی را نمی‌گیرد.

در این راهنما از وضعیت گزارش به شواهد و اقدام بعدی می‌رسیم؛ تا بدانید چه چیزی را باید اصلاح کنید و از کجا بفهمید اصلاح شما دیده شده است.

ابتدا مطمئن شوید مسئله واقعاً ایندکس نشدن است

پیدا نکردن صفحه با کلمهٔ کلیدی دلخواه، به‌تنهایی نشان نمی‌دهد که ایندکس نشده است. حتی جست‌وجوی site: هم فهرست کامل صفحات ایندکس‌شده را نشان نمی‌دهد؛ بنابراین آن را آزمون قطعی ندانید. راهنمای عملگر site در گوگل

در سرچ کنسول، URL کامل را وارد کنید؛ تفاوت نسخه‌های HTTP و HTTPS، www و بدون www یا نشانی قبل و بعد از انتقال را نادیده نگیرید.

• URL is on Google: صفحه ایندکس شده است؛ این وضعیت تضمین رتبه یا نمایش در هر جست‌وجو نیست.
• URL is not on Google: بخش Page indexing را باز کنید و دلیل گزارش‌شده را بخوانید.

گزارش اولیه اطلاعات ذخیره‌شدهٔ گوگل را نشان می‌دهد. Test live URL وضعیت فعلی دسترسی را آزمایش می‌کند؛ موفقیت آن تضمین ایندکس و تأیید انتخاب کنونیکال نیست. راهنمای URL Inspection

قبل از تغییر تنظیمات، یک پروندهٔ کوتاه بسازید: URL، تاریخ انتشار، متن وضعیت، زمان آخرین خزش، نتیجهٔ تست زنده و آخرین تغییر فنی سایت. این اطلاعات مبنای مقایسهٔ قبل و بعد خواهند بود.

درخت تشخیص ایندکس نشدن صفحه سایت

از بالای درخت شروع کنید. اگر مانعی پیدا شد، آن را رفع کنید و دوباره مسیر را طی کنید؛ یک صفحه ممکن است هم‌زمان چند مشکل داشته باشد.

جدول زیر مشخص می‌کند برای تصمیم‌گیری در هر شاخه چه مدرکی نیاز دارید. این ترتیب، روش اجرایی پیشنهادی برای عیب‌یابی است؛ جایگزین بررسی جزئیات هر URL نیست.

شاخه	شواهد موردنیاز	اقدام بعدی
۱. دسترسی	نتیجهٔ تست زنده، قانون مسدودکنندهٔ robots.txt، کد پاسخ، مقصد ریدایرکت، لاگ سرور یا CDN	رفع مانع همان URL و آزمایش دوباره
۲. مجوز ایندکس	متای robots یا googlebot در HTML و هدر X-Robots-Tag	حذف noindex ناخواسته از محل تولید آن
۳. نسخهٔ اصلی	کنونیکال اعلام‌شده، کنونیکال منتخب گوگل و مقایسهٔ دو صفحه	تأیید انتخاب درست یا اصلاح سیگنال‌های متناقض
۴. کشف و خزش	وضعیت ناشناخته یا Discovered، حضور در سایت‌مپ، لینک داخلی و شواهد دسترسی سرور	ایجاد مسیر کشف و بررسی مانع احتمالی خزش
۵. پردازش محتوا	وضعیت Crawled، HTML رندرشده، محتوای اصلی و صفحات مشابه	رفع نقص رندر یا بهبود محتوای متمایز

شاخه ۱: آیا گوگل می‌تواند صفحه را دریافت کند؟

بازشدن صفحه در مرورگر شما کافی نیست. ممکن است شما وارد حساب کاربری باشید، نسخهٔ کش‌شده ببینید یا درخواست ابزار گوگل با محدودیت دیگری مواجه شود. ابتدا نتیجهٔ تست زنده را با پاسخ واقعی سرور مقایسه کنید.

پاسخ سرور و ریدایرکت را بررسی کنید

برای صفحهٔ عمومی و مستقلی که باید ایندکس شود، انتظار دارید محتوای درست با پاسخ موفق، معمولاً 200، دریافت شود. اما 200 به‌تنهایی تضمین ایندکس نیست. مستندات کدهای HTTP و خزش گوگل

پاسخ یا وضعیت	بررسی عملی
401 یا 403	الزام ورود، محدودیت دسترسی، فایروال و قوانین ضدربات را بررسی کنید.
404 یا 410	اگر صفحه باید وجود داشته باشد، انتشار و مسیر آن را اصلاح کنید؛ حذف واقعی الزاماً خطا نیست.
429 یا خطاهای 5xx	محدودیت درخواست و اختلال سرور را با زمان رخداد در لاگ‌ها تطبیق دهید.
3xx	مقصد و زنجیرهٔ انتقال را بررسی کنید؛ وضعیت ایندکس مقصد را جداگانه بسنجید.
200 با پیام خطا یا محتوای خالی	احتمال Soft ۴۰۴ یا مشکل تولید محتوا را بررسی کنید.

برای بررسی اولیه می‌توانید در بخش Network ابزار توسعه‌دهندهٔ مرورگر، درخواست اصلی صفحه را ببینید. اگر خطا فقط برای گوگل گزارش شده، از مسئول هاست بخواهید لاگ همان URL و بازهٔ زمانی را بررسی کند؛ نتیجهٔ مرورگر خودتان را به همهٔ درخواست‌ها تعمیم ندهید.

robots.txt را با noindex اشتباه نگیرید

فایل robots.txt خزش را کنترل می‌کند؛ ابزار مطمئنی برای جلوگیری از ایندکس نیست. یک URL مسدودشده ممکن است از طریق لینک‌های دیگر شناخته شود و بدون دریافت محتوایش در نتایج ظاهر شود. مستندات robots.txt گوگل

اقدام: قانون مسدودکنندهٔ مسیر صفحه را پیدا کنید و فقط اگر این صفحه باید عمومی و قابل‌خزش باشد، همان محدودیت ناخواسته را اصلاح کنید. حذف کامل فایل robots.txt راه‌حل پیش‌فرض نیست.

شاخه ۲: آیا خود سایت ایندکس را ممنوع کرده است؟

دستور noindex ممکن است در HTML یا هدر پاسخ HTTP باشد. برای نمونه:

<meta name="robots" content="noindex">

یا در هدر:

X-Robots-Tag: noindex

متای مخصوص googlebot را هم بررسی کنید. اگر چند دستور وجود دارد، اضافه‌کردن index لزوماً اثر noindex را خنثی نمی‌کند؛ دستور محدودکننده باید از منبع درست حذف شود. مستندات متای robots و X-Robots-Tag

در سایت وردپرسی، برای یافتن منشأ مشکل این نقاط را بررسی کنید: تنظیمات نمایش به موتورهای جست‌وجو، تنظیم همان نوشته در افزونهٔ سئو، تنظیم نوع محتوا و کد سفارشی قالب یا سرور. ملاک نهایی، خروجی صفحه و هدر است، نه صرفاً وضعیت یک گزینه در پنل.

پس از اصلاح، کش مرتبط را پاک کنید و دوباره HTML و هدر را ببینید. اگر خزش با robots.txt بسته باشد، گوگل نمی‌تواند دستور صفحه را بخواند؛ برای صفحه‌ای که باید ایندکس شود، هر دو مانع را بررسی کنید.

شاخه ۳: آیا گوگل نشانی دیگری را نسخهٔ اصلی می‌داند؟

کنونیکال، نشانی ترجیحی برای مجموعه‌ای از صفحات یکسان یا بسیار مشابه است. اگر گزارش از نسخهٔ جایگزین یا تکراری حرف می‌زند، نشانی فعلی را با مقصد کنونیکال مقایسه کنید.

سه سؤال بپرسید:

1. آیا این دو URL واقعاً یک محتوا را ارائه می‌کنند؟
2. آیا کنونیکال اعلام‌شده به صفحهٔ درست اشاره دارد؟
3. آیا لینک‌های داخلی، سایت‌مپ و ریدایرکت‌ها همان نسخه را تقویت می‌کنند؟

اگر صفحه فقط نسخهٔ پارامتردار یک محصول است و نسخهٔ اصلی درست انتخاب شده، ایندکس نشدن جداگانهٔ آن می‌تواند طبیعی باشد. اگر مقاله‌ای مستقل اشتباهاً به صفحهٔ دسته کنونیکال شده، خروجی قالب یا افزونه را اصلاح کنید.

کنونیکال یک سیگنال است و گوگل الزاماً انتخاب شما را نمی‌پذیرد. برای صفحات واقعاً مستقل، علاوه بر تنظیم درست، تمایز محتوایی هم باید روشن باشد. راهنمای تجمیع URLهای تکراری گوگل

شاخه ۴: گوگل صفحه را نمی‌شناسد یا هنوز آن را نخزیده است

وضعیت Discovered – currently not indexed یعنی URL کشف شده، اما هنوز خزیده نشده است. این برچسب به‌تنهایی خرابی هاست یا ضعف محتوا را اثبات نمی‌کند. در مقابل، Crawled – currently not indexed یعنی خزش انجام شده ولی صفحه فعلاً ایندکس نشده؛ برای آن به شاخهٔ بعد بروید. توضیح وضعیت‌ها در گزارش Page indexing

برای URL ناشناخته یا هنوز نخزیده، این مسیر را اجرا کنید:

1. لینک داخلی بسازید. از صفحه‌ای مرتبط و در دسترس، به نشانی نهایی لینک بدهید؛ مثلاً از مقالهٔ مادر یا دستهٔ مرتبط.
2. خود لینک را بررسی کنید. پیوند معمولی با <a href="..."> مسیر قابل‌خزش روشن‌تری از یک دکمهٔ صرفاً جاوااسکریپتی فراهم می‌کند. راهنمای لینک‌های قابل‌خزش گوگل
3. سایت‌مپ را بررسی کنید. مطمئن شوید URL مطلوب در فایل وجود دارد و فایل قابل‌دریافت است. سایت‌مپ به کشف کمک می‌کند، اما تضمین خزش یا ایندکس نیست. مستندات سایت‌مپ گوگل
4. دامنهٔ مشکل را مشخص کنید. یک URL عقب مانده یا همهٔ صفحات جدید؟ برای حالت دوم، پاسخ‌های سرور و تغییرات مشترک سایت را هم بررسی کنید.

برای اجرای مرحلهٔ سوم، راهنمای سایت‌مپ چیست؟ آموزش ساخت و ثبت Sitemap در گوگل را ببینید.

نبودن اطلاعات Referring page در URL Inspection به‌تنهایی ثابت نمی‌کند صفحه لینک داخلی ندارد؛ این بخش ممکن است همهٔ اطلاعات کشف را نمایش ندهد. لینک را در خود صفحهٔ مبدأ نیز بررسی کنید. راهنمای اطلاعات کشف URL

شاخه ۵: صفحه خزیده شده، اما ایندکس نشده است

از وضعیت Crawled نباید فوراً نتیجه گرفت که «محتوا بی‌کیفیت است». ابتدا ببینید گوگل چه محتوایی دریافت و رندر کرده است، سپس سراغ ارزیابی محتوا بروید.

محتوای رندرشده را بررسی کنید

در تست زنده، HTML و تصویر صفحه را باز کنید. عنوان، متن اصلی، اطلاعات محصول یا بخش ضروری صفحه باید در خروجی وجود داشته باشد. پوستهٔ خالی، پیام خطای API یا محتوایی که فقط پس از تعامل خاص ظاهر می‌شود، نشانهٔ نیاز به بررسی فنی است.

گوگل جاوااسکریپت را پردازش می‌کند، اما خطای اجرا یا دسترسی‌نداشتن به منابع می‌تواند محتوای قابل‌مشاهده را تغییر دهد. اسکرین‌شات را همراه HTML بررسی کنید. مبانی سئوی جاوااسکریپت در مستندات گوگل

ارزش مستقل صفحه را بسنجید

اگر خروجی فنی درست است، صفحه را با نزدیک‌ترین محتوای موجود سایت مقایسه کنید:

• چه پرسش متفاوتی را پاسخ می‌دهد؟
• چه اطلاعات، مثال یا راهنمای عملی تازه‌ای دارد؟
• آیا متن محصول فقط نسخهٔ توضیحات تأمین‌کننده است؟
• آیا کاربر برای تکمیل پاسخ، ناچار است به صفحهٔ دیگری برود؟

برای بهبود، بخش ناقص را کامل کنید یا هم‌پوشانی غیرضروری را برطرف کنید. افزایش بی‌هدف تعداد کلمات راه‌حل نیست؛ گوگل تعداد کلمات ترجیحی تعیین نکرده است. این پرسش‌ها ابزار ارزیابی تحریریه‌اند، نه تشخیص قطعی علت ایندکس نشدن. راهنمای محتوای مفید گوگل

مثال فرضی: فروشگاهی دو صفحه با عنوان متفاوت اما توضیحات، تصاویر و مشخصات یکسان ساخته است. پیش از درخواست مجدد، باید روشن کند آیا واقعاً دو محصول مستقل دارد یا دو مسیر برای یک محصول. در حالت اول، اطلاعات متمایز واقعی را کامل می‌کند؛ در حالت دوم، نسخهٔ اصلی را مشخص می‌کند.

بعد از اصلاح، چطور نتیجه را پیگیری کنیم؟

پیشنهاد اجرایی این است که برای هر اصلاح، شواهد قبل و بعد نگه دارید:

مورد	چیزی که ثبت می‌کنید
تشخیص	وضعیت اولیه و مدرک پشتیبان، مانند هدر noindex
اصلاح	محل تغییر و زمان دقیق انجام آن
آزمون	پاسخ و محتوای فعلی صفحه، همراه نتیجهٔ تست زنده
پیگیری	زمان خزش بعدی و وضعیت تازهٔ همان URL

پس از رفع مانع، برای URL مهم می‌توانید Request indexing بزنید. گوگل می‌گوید خزش مجدد ممکن است از چند روز تا چند هفته زمان ببرد؛ این بازه موعد تضمینی ایندکس نیست. درخواست‌های تکراری برای همان URL نیز خزش را سریع‌تر نمی‌کنند. راهنمای درخواست خزش مجدد

اگر گزارش هنوز نسخهٔ پیش از اصلاح را نشان می‌دهد، ابتدا تاریخ آخرین خزش را با زمان تغییر مقایسه کنید. برای وضعیت Crawled بدون تغییر واقعی، ثبت مکرر درخواست اقدام مفیدی محسوب نمی‌شود.

اگر مشکل چندین صفحه را درگیر کرده، نمونه‌ها را بر اساس قالب یا نوع محتوا گروه‌بندی کنید؛ مثلاً نوشته‌ها، محصولات و دسته‌ها. مقایسهٔ یک صفحهٔ سالم با یک صفحهٔ مشکل‌دار از همان گروه، بررسی را هدفمندتر می‌کند. برای چارچوب گسترده‌تر، راهنمای سئو تکنیکال چیست؟ راهنمای کاربردی بهینه‌سازی فنی سایت را بخوانید.

پرسش‌های متداول

قدم بعدی را با مدرک انتخاب کنید

برای رفع ایندکس نشدن صفحه، اول مانع دسترسی و مجوز ایندکس را بررسی کنید؛ سپس نسخهٔ اصلی، مسیر کشف و محتوای دریافت‌شده را بسنجید. هر تغییر باید به یک شاهد مشخص پاسخ دهد و پس از اجرا دوباره آزمایش شود.

برای بررسی مشکل خزش یا ایندکس در سبک‌تر، نشانی صفحه و وضعیت گزارش سرچ کنسول را بفرستید. تصویر بخش Page indexing و زمان آخرین تغییر هم کمک می‌کند مشخص کنیم مسئله به اصلاح همان صفحه نیاز دارد یا ممیزی فنی گسترده‌تر.