خطاهای page indexing در گوگل سرچ کنسول

هر سئوکاری باید کار با ابزار گوگل سرچ کنسول رو بلد باشه.

سرچ کنسول در مورد عملکرد ارگانیک سایتتون و خزیده و ایندکس شدنش، اطاعات مهمی رو در اختیار شما قرار میده.

گزارش خزیدن و ایندکس شدن در بخش Page indexing وجود داره و در این مقاله هم میخوایم در مورد همین موضوع صحبت کنیم.

با خوندن این مقاله با خطاهایی که در بخش page indexing سایتتون میبینید، آشنا میشید و میتونید برطرفشون کنید.

اما اول ببینیم که فرایند ایندکس شدن چجوری توسط گوگل انجام میشه.

---

فهرست:

• کشف، خزیدن و ایندکس شدن چگونه انجام می‌شود؟
• خطاهای بخش Not indexed
  • خطای Excluded by ‘noindex’ tag
  • خطای Blocked by page removal tool
  • خطای Server error (5xx)
  • خطای Redirect error
  • خطای Blocked by robots.txt
  • خطای Blocked due to unauthorized request (401)
  • خطای Crawled – currently not indexed
  • خطای Discovered – currently not indexed
  • خطای Alternate page with proper canonical tag
  • خطای Duplicate without user-selected canonical
  • خطای Duplicate, Google chose different canonical than user
  • خطای Not found (404)
  • خطای Page with redirect
  • خطای Soft 404
  • خطای Blocked due to access forbidden (403)
  • خطای Blocked due to other 4xx issue
• خطاهای بخش Improve page appearance
  • خطای Indexed, though blocked by robots.txt
  • خطای Page indexed without content
• جمع بندی

---

کشف، خزیدن و ایندکس شدن چگونه انجام می‌شود؟

برای خزیدن یه URL، گوگل اول باید اون رو کشف کنه. پیدا کردن یه صفحه از راه های مختلفی امکانپذیر هستش، مثل: دنبال کردن لینک از صفحات دیگر (هم در سایت و هم خارج از سایت) و پردازش نقشه‌ سایت XML. بعد از اینکه این صفحات کشف شدند، برای ایندکس شدن توی صف قرار میگیرند.

در مرحله خزیدن، گوگل URL رو درخواست میکنه و اطلاعات مورد نظر رو دریافت میکنه. پس از دریافت اطلاعات، این صفحه به Indexer که فرآیند ایندکس شدن رو مدیریت میکنه تحویل داده میشه.

در هنگام ایندکس شدن، گوگل سعی میکنه اطلاعات جمع آوری شده در مرحله خزیدن رو درک کنه. به بیان ساده، در هنگام ایندکس، اعتبار و ارتباط URL برای کلمات کلیدی مشخص میشه.

هنگامی که URL ها ایندکس میشن، اونها رو در صفحه نتایج جستجو (SERP) میتونیم ببینیم.

یعنی که صفحات شما تنها در صورتی میتونند در SERP ظاهر بشن که مرحله آخر رو با موفقیت پشت سر گذاشته باشند.

---

خطاهای بخش Not indexed

در این قسمت میخوایم، نگاهی به خطاهای بخش page indexing در گوگل سرچ کنسول بندازیم و درباره این موارد صحبت کنیم:

✅انواع خطاهایی که ممکن است به شما نشان دهد
✅چه چیزی باعث این مسائل میشود و
✅چگونه باید آنها را برطرف کنید

حواستون باشه که خیلی از URL هایی که در بخش ایندکس نشده هستند به دلایل درستی حذف شدند. اما باید مرتباً بررسی‌شون کنید و ببینید که کدوم URL ها ایندکس نشدند و URLهای مهم رو باید حتما ایندکس کنید.

خطای Excluded by ‘noindex’ tag

رباتِ گوگل صفحه‌ای رو پیدا کرده ولی چون تگ نوایندکس داره نمیتونه ایندکسش کنه. بهتره که به طور مرتب این URL ها رو بررسی کنید تا مطمئن بشید که صفحات درست رو نوایندکس کردید.

بیشتر بخوانید: رفع خطای Excluded by ‘noindex’ tag در گوگل سرچ کنسول

خطای Blocked by page removal tool

این URL ها با استفاده از ابزار Removal از گوگل مسدود شدند. اما یادتون باشه که هر حذفی از طریق ابزار Removal انجام میشه موقتی هستش و معمولاً پس از ۹۰ روز، گوگل دوباره این صفحات رو در نتایج جستجو نشون میده. اگر میخواید یک صفحه را به طور دائم مسدود کنید، میتونید اون رو

❌حذف کنید

❌ریدایرکت کنید

❌ یا تگ noindex بهش اضافه کنید

بیشتر بخوانید: چگونه از ابزار Removals در گوگل سرچ کنسول استفاده کنیم؟

خطای Server error (5xx)

همونطوری که از اسمش پیداست، این خطا به خطاهای سرور با کدهای وضعیت 5xx، مثل ۵۰۲ Bad Gateway یا ۵۰۳ Service Unavailable اشاره داره.

باید این خطا رو طور منظم نظارت و بررسی کنید، زیرا گوگل نمیتونه صفحاتی رو که خطای سرور دارند ایندکس کنه. در این مورد باید با شرکت هاستینگ خودتون تماس بگیرید تا این خطاها رو برطرف کنند یا بررسی کنید که آیا این خطاها ناشی از آپدیت یا تغییر در سایت شما هستند یا خیر.

بیشتر بخوانید: آموزش رفع خطای ۵۰۰ Internal Server Error در وردپرس

خطای Redirect error

خطای Redirect error نشون میده ریدایرکتی که انجام دادید کار نمیکنه و بنابراین ربات گوگل و کاربران از یه URL قدیمی به آدرس جدید منتقل نمیشند. چنین اشتباهاتی معمولاً با پیکربندی ضعیف ریدایرکت، مانند استفاده از زنجیره‌ها یا حلقه‌ها به وجود میاد.

بیشتر بخوانید: آموزش رفع خطای “Redirect error” در گوگل سرچ کنسول

خطای Blocked by robots.txt

Robots.txt فایلیه که دستورالعمل هایی در مورد نحوه خزیدن سایت در اختیار ربات های موتور جستجو قرار میده.

اگه یه صفحه‌ای قراره ایندکس بشه، گوگل باید ابتدا اون رو بخزه، بنابراین باید URL های مسدود شده توسط robots.txt رو چک کنید و بررسی کنید که آیا قصد دارید اونها رو مسدود شده بذارید یا میخواید که ایندکس بشن.

بیشتر بخوانید: خطای Blocked by robots.txt در گوگل سرچ کنسول

خطای Blocked due to unauthorized request (401)

کد وضعیت ۴۰۱ unauthorized request به این معنیه که سرور درخواست رباتِ گوگل رو رد کرده چون نیاز به شناسه کاربری و رمز عبور معتبر هستش. ربات گوگل نمیتونه صفحاتی که نیاز به ورود به سیستم دارند رو ایندکس کنه- این معمولاً در محیط‌های مرحله‌بندی رخ میده. در این مورد، یا باید مجوز رو حذف کنید یا ربات گوگل رو تأیید کنید تا بتونه به صفحات دسترسی داشته باشه.

اگر این URL ها قرار نیست که ایندکس بشن، این وضعیت مشکلی نداره. با این حال، برای دور نگه داشتن این URL ها از دسترس گوگل، مطمئن شید که گوگل نمیتونه محیط مرحله‌بندی شما رو پیدا کنه. برای اینکار لینک های داخلی و خارجیش رو حذف کنید.

بیشتر بخوانید: خطای Blocked due to unauthorized request (401)

خطای Crawled – currently not indexed

در این وضعیت، ربات گوگل یه URL رو خزیده اما منتظره تا تصمیم بگیره که آیا باید ایندکسش کنه یا نه.

اگر میخواید بدونید که چه چیزی میتونه باعث این وضعیت بشه و چگونه به این مشکل رسیدگی کنید، حتماً مقاله ما در مورد نحوه رفع Crawled – currently not indexed رو بخونید.

بیشتر بخوانید: حل مشکل Crawled-currently not indexed گوگل سرچ کنسول

خطای Discovered – currently not indexed

این خطا یعنی اینکه گوگل یه URL رو پیدا کرده -مثلا، در نقشه سایت – اما هنوز اون رو نخزیده.

در اکثر موارد این وضعیت یعنی، گوگل به زودی اون رو میخزه. این مشکل همچنین میتونه با مشکلات بودجه خزش مرتبط باشه، یا اینکه گوگل وب سایت شما رو بی کیفیت میدونه.

اگر می‌خواید درباره این وضعیت اطلاعات بیشتری کسب کنید، مقاله‌ی ما در مورد نحوه رفع «Discovered – currently not indexed» رو از دست ندید.

بیشتر بخوانید: حل مشکل Discovered-currently not indexed گوگل سرچ کنسول

خطای Alternate page with proper canonical tag

این خطا در مورد URL تکراری از یه صفحه کنونیکال هستش که با تگ پذیرفته شده مشخص شده. تگ های کنونیکال برای تعیین صفحه اصلی از بین چندین صفحه تکراری استفاده میشند.

در بیشتر موارد، این وضعیت نیازی به اصلاح نداره. با این حال، اگه میخواید مطمئن بشید که تگ‌های کنونیکال شما درست هستند، راهنمای ما در مورد نحوه رفع خطای Alternate page with proper canonical tag در گوگل سرچ کنسول رو مطالعه کنید.

بیشتر بخوانید: آموزش رفع خطای Alternate page with proper canonical tag در گوگل سرچ کنسول

خطای Duplicate without user-selected canonical

در این وضعیت، صفحات تکراری توی سایتتون موجود هستش ولی هیچ نسخه کنونیکالی براشون مشخص نشده. این یعنی که گوگل URL هایی که توی این خطا بهتون نشون میده رو به عنوان کنونیکال نمیبینه.

میتونید از URL inspection tool استفاده کنید تا متوجه بشید که گوگل کدوم URL رو به عنوان کنونیکال انتخاب کرده. برای نکات بیشتر، مقاله ما در مورد خطای Duplicate without user-selected canonical رو بررسی کنید.

بیشتر بخوانید: آموزش رفع خطای Duplicate without user-selected canonical در گوگل سرچ کنسول

خطای Duplicate, Google chose different canonical than user

شما یه صفحه کنونیکال رو انتخاب کردید، اما گوگل صفحه دیگه‌ای رو به عنوان کنونیکال در نظر گرفته.

صفحه‌ای که میخواید به‌عنوان کنونیکال داشته باشید ممکنه به‌اندازه یه صفحه دیگه دارای لینک داخلی قوی نباشه، پس گوگل میتونه اون رو به عنوان نسخه اصلی در نظر بگیره.

اگر میخواید در مورد دلایل و راه‌حل‌های احتمالی این وضعیت اطلاعات بیشتری کسب کنید، راهنمای ما در مورد نحوه رفع خطای Duplicate, Google chose different canonical than user رو بخونید.

بیشتر بخوانید: رفع خطای Duplicate, Google chose different” canonical than user” در گوگل سرچ کنسول

خطای Not found (404)

خطای ۴۰۴ نشون میده که صفحه درخواستی یافت نشده چون یا تغییر کرده یا حذف شده. صفحاتی با این خطا در هر وب سایتی وجود دارند و به طور کلی، اگه تعدادشون کم باشه به سایتتون هیچ آسیبی از نظر سئو نمیرسونند. اما، هر زمان که کاربر با یه صفحه Not found مواجه میشه، تجربه کاربری بدی توی سایتتون داره.

اگر این مشکل رو در گزارش مشاهده کردید، آدرس‌های اینترنتی آسیب‌دیده رو مرور کنید و بررسی کنید که آیا میتونید خطاهای « Not found (404)» رو برطرف کنید.

بیشتر بخوانید: رفع خطای Not Found (404) در گوگل سرچ کنسول

خطای Page with redirect

در این وضعیت، صفحاتد ریدایرکت شدند، بنابراین ایندکس نشدند. صفحاتی که توی این وضعیت وجود دارند به طور کلی نیازی به اصلاحشون نیست.

برای ریدایرکت دائمی یه صفحه، باید اون صفحه رو به نزدیکترین صفحه ریدایرکت ۳۰۱ کنید. ریدایرکت صفحات ۴۰۴ به صفحه اصلی میتونه منجر به این بشه که گوگل اونها رو به عنوان soft 404 تلقی کنه.

بیشتر بخوانید: آموزش رفع خطای Page with redirect در گوگل سرچ کنسول

خطای Soft 404

مشکل Soft 404 به این معنیه که یه صفحه وضعیت ۲۰۰ OK رو برمیگردونه، اما محتویاتش رو مثل یه خطا نشون میده، چون خالیه یا محتوای کمی داره، یا ممکنه این صفحات محتوای کاربرپسند داشته باشند که به صفحات دیگه هدایت میشن، اما همچنان کد HTTP 200 OK رو برمیگردونند.

برای رفع خطاهای Soft 404، می تونید:

➕محتوای این صفحات را بهبود ببخشید
➕آنها را به نزدیکترین صفحه ریدایرکت ۳۰۱ کنید
➕سرور خود را طوری پیکربندی کنید که کدهای ۴۰۴ یا ۴۱۰ مناسب را برگردانند.

بیشتر بخوانید: خطای Soft 404 در مقابل Not Found (404): تفاوت و نحوه رفع آنها

خطای Blocked due to access forbidden (403)

کد وضعیت ۴۰۳ Forbidden یعنی که سرور درخواست رو متوجه شده اما تأییدش نمیکنه. می‌تونید به بازدیدکنندگان ناشناس اجازه دسترسی بدهید تا ربات گوگل بتونه به URL دسترسی داشته باشه یا اگه این امکان وجود نداره، URL رو از نقشه سایت حذف کنید. اگه گوگل نباید به این URL ها دسترسی داشته باشه، بهتره از تگ noindex بهشون اضافه کنید.

بیشتر بخوانید: آموزش رفع خطای Blocked due to access forbidden در گوگل سرچ کنسول

خطای Blocked due to other 4xx issue

ممکنه URL های شما به دلیل مشکلات 4xx که در انواع دیگه خطاها مشخص نشدند ایندکس نشده باشه. خطاهای کدهای وضعیت 4xx عموماً به مشکلات ناشی از سرویس گیرنده اشاره دارند- این صفحات رو بررسی کنید تا متوجه بشید که مشکل از کجاست.

با استفاده از ابزار URL Inspection میتونید در مورد علت ایجاد هر مشکل اطلاعات بیشتری کسب کنید. با توجه به کد خاصی که ظاهر میشه، مشکلات رو برطرف کنید. اگه نتونستید خطا رو از بین ببرید، URL رو از نقشه سایت خودتون حذف کنید.

بیشتر بخوانید: آموزش رفع خطای “Blocked due to other 4xx issue” در گوگل سرچ کنسول

---

خطاهای بخش Improve page appearance

اگرچه URLهایی که در بخش Improve page appearance قرار دارند جزو ایندکس گوگل هستند، اما بازم باید نگاهی بهشون بندازید. آنها رو برطرف کنید تا مطمئن بشید URL های آسیب دیده به سئو سایتتون آسیبی نمی‌رسونند.

خطای Indexed, though blocked by robots.txt

استفاده از دستورالعمل های robots.txt تضمین نمیکنه که صفحه ای ایندکس نشه. ممکنه گوگل همچنان یه صفحه رو بدون بازدیدش ایندکس کنه، مثلا اگه لینک داشته باشه ممکنه این اتفاق بیافته.

در این شرایط، صفحات آسیب دیده با وضعیت Indexed, though blocked by robots.txt نشون داده میشن.

استراتژی ایندکس خودتون رو مجدداً ارزیابی کنید و تصمیم بگیرید که چه صفحاتی در این وضعیت میخواید ایندکس بشن و چه مواردی رو از خزیدن باید در فایل robots.txt مسدود کنید.

بیشتر بخوانید: آموزش رفع خطای Indexed, though blocked by robots.txt در گوگل سرچ کنسول

خطای Page indexed without content

گاهی اوقات، یه URL ایندکس میشه حتی اگه:

⛔صفحه ای که منتشر کردید محتوایی نداشته باشه یا
⛔گوگل نمیتونه محتواش رو بخونه یا بهش دسترسی داشته باشه

اگرچه این موضوع جزئی به نظر میرسه اما نباید نادیده بگیریدش.

برای مطالعه بیشتر در مورد این موضوع، به مقاله رفع “Page indexed without content” در وبلاگ ما نگاهی بیندازید.

بیشتر بخوانید: آموزش رفع خطای “Page indexed without content” در گوگل سرچ کنسول

---

جمع بندی

گزارش page indexing در گوگل سرچ کنسول نشون میده که وضعیت ایندکس سایت شما سیاه هستش یا سفید. همچنین مشکلات جزئی رو نشون میده که همیشه نیازی به اصلاح ندارند.

حواستون باشه که همیشه و به طور منظم گزارش page indexing گوگل سرچ کنسول رو بررسی کنید و زمانی که با استراتژی ایندکس شما مطابقت نداره، مداخله کنید.

در این مقاله در مورد رفع خطاهای page indexing در گوگل سرچ کنسول صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.