آموزش رفع خطای "Page indexed without content" در گوگل سرچ کنسول

“Page indexed without content” یه وضعیت در گوگل سرچ کنسول هستش و یعنی اینکه صفحه ایندکس شده ولی گوگل محتوای اون رو پیدا نکرده و یا اینکه نتونسته بخونه.

اگرچه خطای “Page indexed without content” در گوگل سرچ کنسول نسبتاً نادر هستش، اما زمانی که به وجود میاد، باید حتما برطرفش کنید. چون اگه محتوایی در صفحه وجود داشته باشه که باید ایندکس بشه اما نشده به سئو سایتتون آسیب میرسونه.

متأسفانه، اطلاعات در مورد این وضعیت محدود یا متناقض هستند. اما نگران نباشید من کامل در مورد این مسئله توضیح میدم. بنابراین اگه میخواید با روش رفع خطای “Page indexed without content” در گوگل سرچ کنسول آشنا بشید تا آخر این مقاله همراه من باشید.

---

فهرست:

• دلایل خطای “Page indexed without content”
  • گوگل نمی تواند به محتوا دسترسی داشته باشد یا آن را پردازش کند
  • کلوکینگ (Cloaking)
  • مسائل رندرینگ
• چگونه خطای “Page indexed without content” را در گوگل سرچ کنسول پیدا کنیم؟
• چگونه خطای “Page indexed without content” را برطرف کنیم؟
  • صفحات دارای خطا را در گوگل سرچ کنسول بررسی کنید
  • لینک های داخلی و خارجی را تجزیه و تحلیل کنید
  • نحوه مشاهده صفحه توسط کاربران را با ربات گوگل مقایسه کنید
  • عیب یابی مشکلات رندرینگ
• جمع بندی

---

دلایل خطای Page indexed without content”

همونطور که گفتم، اگه وضعیت “Page indexed without content” رو در گزارش index مشاهده کردید، نشون میده که ربات گوگل نتونسته محتوای شما رو پیدا کنه یا بهش دسترسی داشته باشه، اما صفحه رو به دلیل لینک های داخلی و خارجی زیاد، ایندکس کرده.

شاید از خودتون بپرسید یه صفحه چجوری بدون محتوا میتونه ایندکس بشه؟

وقتی گوگل صفحه‌ای رو در وب‌سایت شما کشف میکنه، فایل robots.txt رو چک میکنه تا مطمئن بشه که میتونه ازش URL بازدید کنه.

هدف فایل robots.txt اینه که به ربات ها میگه از چه صفحاتی نباید بازدید کنند. به عبارت دیگه، اگر URLی در robots.txt مسدود شده باشه، ربات گوگل نباید اون رو بخزه و در کل اجازه دیدن محتواش رو نداره.

البته، بعضی وقتها URLی که در robots.txt مسدود کردید هم ممکنه ایندکس بشه.

بیشتر بخوانید: آموزش رفع خطای Indexed, though blocked by robots.txt در گوگل سرچ کنسول

از طرف دیگه، اگه URL شما قابل خزیدن و ایندکس شدن باشه(که یعنی توی فایل robots.txt مسدودش نکردید یا تگ noindex بهش ندادید):

⚡ربات گوگل میتونه آزادانه ازش بازدید کند
⚡و اگه دید ارزشش رو داره، ایندکسش میکنه

نکته مهمی که باید به خاطر بسپارید اینه که به گفته جان مولر، “حتما نباید محتوای یک صفحه ایندکس شود تا آن صفحه ایندکس بشود.”

به همین دلیله که یکی از مواردی که میتونید این وضعیت رو مشاهده کنید، زمانیه که یه صفحه بدون محتوا رو به اشتباه منتشر کردید یا محتوا رو حذف کردید و یه صفحه خالی برای کاربران در URL ایندکس شده باقی گذاشتید.

با این حال، اگه ربات‌ها دلایل خوبی برای ایندکس کردن یه URL داشته باشند اما به دلایلی نتونند به محتواش دسترسی داشته باشند یا پردازشش کنند، چنین صفحه‌ای ممکنه خطای “Page indexed without content” دریافت کنه.

در واقع چند دلیل وجود داره که گوگل ممکنه فکر کنه صفحه شما فاقد محتوا هستش، حتی اگه واقعاً محتوا داشته باشه:

گوگل نمی تواند به محتوا دسترسی داشته باشد یا آن را پردازش کند

یکی از دلایل اینه که صفحه شما در قالبی غیر قابل دسترس برای گوگل منتشر شده، بنابراین نمیتونه اون رو بخونه.

بر اساس اسناد رسمی گوگل، برای اینکه گوگل محتوای متنی صفحات شما رو مشاهده کنه، باید در یکی از انواع فایل های قابل ایندکس منتشر بشه.

مورد دیگه زمانیه که گوگل فکر میکنه صفحه‌ی ایندکس شده به دلیل مشکلات مربوط به سرور محتوایی نداره.

به گفته جان مولر: “این اساساً یک مشکل در سمت سرویس دهی سایت شما است، چیزی نیست که ما روی آن کنترل داشته باشیم، یا بتوانیم آن را از طرف خود اشکال زدایی کنیم. گاهی اوقات این یک محافظت بیش از حد از ربات یا یک CDN نادرست است.”

در این صورت گوگل نمیتونه محتوا رو پردازش کنه زیرا، به دلایلی، سرور شما نمیذاره ربات‌ها صفحه رو ببینند.

به عبارت دیگه، مثل این میمونه که گوگل هیچ اطلاعات اضافی در مورد صفحه شما نداره، به عنوان مثال، ممکنه نوع محتوا یا پاسخ HTTP رو تشخیص نده.

برای مشاهده چنین صفحاتی هنگام بررسی URL در سرچ کنسول این مراحل رو دنبال کنید:

در این صورت، باید با شرکت هاستینگ خودتون تماس بگیرید تا مشکل رو براتون حل کنند.

کلوکینگ (Cloaking)

یکی دیگه از دلایلی که ممکنه صفحه شما خطای “Page indexed without content” رو داشته باشه، اینه که محتوای متفاوتی رو به کاربران و ربات ها نشون میدید. به استثنای برخی موارد، این پنهانکاری که بهش میگن کلوکینگ برخلاف دستورالعمل های گوگل هستش.

چرا کلوکینگ برای گوگل مشکل سازه؟

چونکه در این حالت، گوگل میتونه محتوای صفحه شما رو ببینه، اما متوجه میشه که در واقع دو نسخه از اون وجود داره– یکی برای کاربران و یکی دیگه برای ربات‌ها.

در نتیجه، گوگل مشکوک میشه، زیرا چنین رفتاری رو نوعی اسپم با هدف دستکاری رتبه‌بندی و گمراه کردن کاربران در نظر میگیره، بنابراین دلش نمیخواد محتوای اون صفحه رو ایندکس کنه.

به گفته جان مولر، پنهان‌کاری میتونه روی تجربه کاربری تاثیری بذاره زیرا کاربران محتوای متفاوتی رو نسبت به آنچه که در SERP وعده داده شده مشاهده می‌کنند:

“اگر صفحه‌ای را برای یک جستجوی خاص به افراد توصیه کنیم و آن‌ها به آنجا بروند، و نتوانند آن محتوا را پیدا کنند، ناامید می شوند، و فکر می‌کنند ما آن‌ها را فریب داده‌ایم و مشکل کلوکینگ از آنجا ناشی می‌شود.”

از طرف دیگه، برخی از وب مسترها ممکنه از کلوکینگ برای نشون دادن محتوای غنی از کلمات کلیدی به ربات ها استفاده کنند تا رتبه بهتری بگیرند. در هر صورت فریب دادن گوگل ممکنه عواقب بدی برای سئو سایتتون داشته باشه.

در هر دو مورد، چنین رویکردی ممکنه منجر به پنالتی شدن سایت شما بشه.

مسائل رندرینگ

برای درک کامل محتوای صفحه و ارائه‌ی اون به کاربران در صفحه نتایج، ربات ها باید محتوای شما رو رندر کنند.

اما اگه برخی از فایل‌های مهم رو در robots.txt خود مسدود کرده باشید، ممکنه این کار امکان‌پذیر نباشه.

اگرچه اسناد رسمی گوگل در گزارش ایندکس میگه که “Page indexed without content” به دلیل مسدود شدن در فایل robots.txt به وجود نمیاد، اما از یه منظر دیگه هم میشه بهش نگاه کرد.

جمله بالا زمانی درسته که به مسدود کردن URL ها اشاره کنه. اما مسدود کردن منابع جاوا اسکریپت یا CSS در robots.txt ممکنه در واقع منجر به خطای“Page indexed without content” بشه.

به عبارت دیگه، اگر URL قابل خزیدن و ایندکس باشه، اما فایل‌های مهم رو در robots.txt مسدود کردید:

✨صفحه را می توان ایندکس کرد
✨اما ربات های موتور جستجو قادر به دسترسی و تجزیه و تحلیل محتوای آن نخواهند بود

این یعنی که ربات گوگل صفحه شما رو به طور کامل رندر نمیکنه چون اجازه دسترسی به منابع ضروری رو بهش ندادید.

علاوه بر این، به یاد داشته باشید که حتی اگه هیچ فایل مهمی رو در robots.txt خود مسدود نکنید، ممکنه صفحات شما همچنان در رندر شدن مشکل داشته باشند.

به خصوص زمانی که ارائه محتوای مبتنی بر جاوا اسکریپت خود رو برای موتورهای جستجو بهینه نکرده باشید، این اتفاق بیشتر میافته.

چرا؟ زیرا، گاهی اوقات، ربات گوگل ممکنه نتونه پردازش محتوای جاوا اسکریپت شما رو به تنهایی انجام بده و به جای محتوا فقط یه صفحه خالی ببینه.

و زمانی که رندر وب سایت شما مشکل داشته باشه، عواقب شدیدی برای سئو سایت داره، چون گوگل نمیتونه به طور کامل بفهمه صفحه شما در مورد چیه.

---

چگونه خطای “Page indexed without content” را در گوگل سرچ کنسول پیدا کنیم؟

می‌توانید وضعیت “Page indexed without content” رو در گزارش Index در بخش «Improve page appearance» پیدا کنید.

وارد صفحه وضعیت بشید تا لیست URL هایی که این خطا رو دارند ببینید.

راه دیگه برای بررسی این مشکل استفاده از ابزار URL Inspection است.

با استفاده از این ابزار میتویند یه URL خاص از سایتتون رو وارد کنید و وضعیت فعلی اون رو بررسی کنید. صفحاتی که خطای “Page indexed without content” داشته باشند، ‘URL is on Google’ و “Page indexed without content.” رو دریافت میکنند.

همچنین، با کلیک روی‘View crawled page’ می تونید بررسی کنید که ربات گوگل چگونه صفحه آسیب دیده رو میبینه. اما در مورد “Page indexed without content” ممکنه اطلاعات اضافی مثل HTML صفحه، عکس صفحه، یا اطلاعات بیشتر در مورد منابع صفحه در دسترس نباشه.

---

چگونه خطای “Page indexed without content” را برطرف کنیم؟

صفحات دارای خطا را در گوگل سرچ کنسول بررسی کنید

تجزیه و تحلیل صفحات “Page indexed without content” در گوگل سرچ کنسول میتونه به شما در تصمیم‌گیری در مورد مراحل بعدی کمک کنه. اگه وارد این صفحات بشید، معمولا صفحه خالی میبینید.

اگر برای شما هم همینطوره، بهتره تا در استراتژی ایندکس سایتتون تجدید نظر کنید و در نظر بگیرید که آیا این صفحات همچنان باید ایندکس بشن یا خیر.

لینک های داخلی و خارجی را تجزیه و تحلیل کنید

اگر یه صفحه بدون محتوا رو به اشتباه منتشر کنید یا محتوا رو حذف کنید و هیچ اقدامی برای بهینه سازی آن URL انجام ندید، اگه لینک های خارجی و داخلی داشته باشه گوگل گیج میشه.

چرا؟

چون وقتی گوگل لینک های زیادی رو به یه صفحه خاص میبینه، فکر میکنه صفحه مهمی هستش و برای ایندکس کردنش مشتاق تر میشه حتی اگه محتوایی نداشته باشه.

برای تجزیه و تحلیل کامل نحوه بررسی ربات ها، تجزیه و تحلیل گزارش رو با یه خزنده سئو مثل Screaming Frog انجام بدید.

راه حلی که انتخاب میکنید بستگی به این موارد داره:

• نمیخواهید صفحات آسیب دیده ایندکس باقی بمانند یا آنها را تغییر دهید:

1. آنها را از نقشه سایت خود حذف کنید.
2. نقش آنها را در ساختار وب سایت خود در نظر بگیرید. اگر در این مورد مطمئن نیستید، برای خدمات بهینه سازی ساختار وب سایت با پارس اوستا تماس بگیرید.
3. مقیاس مشکل و نحوه اعمال آن در اولویت های فعلی وب سایت خود را ارزیابی کنید.
4. تصمیم بگیرید که آیا می خواهید تگ noindex را اضافه کنید، صفحات آسیب دیده را ریدایرکت کنید یا حذف کنید.

• می خواهید صفحات آسیب دیده ایندکس باقی بمانند:

1. آنها را در نقشه سایت خود بگذارید.
2. وقتی URL را بدون محتوا منتشر کردید، محتوا اضافه کنید و از گوگل بخواهید که صفحات را دوباره بخزد.
3. منتظر بمانید تا گوگل تغییرات اعمال شده شما را دریافت کند.

---

نحوه مشاهده صفحه توسط کاربران را با ربات گوگل مقایسه کنید

حتی اگر صفحه از منظر کاربر در مرورگر کاملاً عادی به نظر برسه، ممکنه برای ربات ها متفاوت باشه.

و همونطور که میدونید، اگه گوگل چنین رفتاری رو کلوکینگ در نظر بگیره، برای سئو سایتتون خیلی بده.

برای تشخیص این موضوع، User Agent ربات گوگل رو در inspect کروم شبیه‌سازی کنید تا متوجه بشید که گوگل چجوری صفحه رو میبینه.

در inspect به تب «network» برید و «Network conditions» رو باز کنید. سپس، روی «Use browser default» در بخش User-agent کلیک کنید و «Googlebot Smartphone» را از لیست انتخاب کنید.

سپس، صفحه را ریفرش کنید تا از مرورگر بخواید نسخه صفحه‌ای که ربات گوگل میبینه رو بهتون نشون بده. مراحل انجام این کار رو میتونید توی این گیف مشاهده کنید.

اگه این نسخه از وب سایت شما به طور قابل توجهی با آنچه که به کاربران نشان میدید متفاوت هستش، یعنی گوگل فکر میکنه می خواید چیزی رو ازش پنهان کنید.

برای رفعش، محتوایی رو که کاربر و گوگل متفاوت میبینه حذف کنید یا تغییر دهید تا نسخه‌ها یکی بشن.

به یاد داشته باشید که حتی اگه از عمد هیچ تغییری در محتوای خود ایجاد نکرده باشید، کلوکینگ اغلب منجر به حمله هک به وب‌سایت شما میشه. در این مورد، توصیه های گوگل رو برای رفع هک دنبال کنید تا مشکل رو برطرف کنید.

---

عیب یابی مشکلات رندرینگ

همونطور که میدونید، مسدود کردن منابع ضروری در robots.txt ممکنه منجر به مشکلات رندر بشه.

برای عیب‌یابی، فایل robots.txt خودتون رو بررسی کنید و ببینید که فایل‌های جاوا اسکریپت یا CSS رو مسدود نکردید.

اگه وب سایت بزرگی رو مدیریت میکنید، انجام دستورالعمل‌های Disallow در robots.txt به صورت دستی ممکنه فرآیندی طولانی و مستعد خطا باشه.

در این مورد، می‌تونید از تست Mobile-Friendly Test استفاده کنید و ببینید که کد منبع رندر شده برای گوگل چگونه به نظر میرسه. این ابزار همچنین یه اسکرین شات از نسخه موبایل رندر شده صفحه رو نشون میده و میتونید ببینید که آیا ربات ها محتوای شما رو متفاوت از کاربران میبینند یا نه.

برای انجام این کار، URL رو در ابزار وارد کنید و ‘View Tested Page’ رو بزنید.

در پانل سمت راست، به بخش ‘Page resources’ توجه کنید. هر منبعی رو که نتونه بارگیری کنه به شما نشون میده و مواردی رو که ربات گوگل توسط robots.txt مسدود شده رو به شما اطلاع میده.

همونطور که مشخصه، مسدود کردن فایل های مهم جاوا اسکریپت یه اشتباه رایج هستش، حتی در وب سایت های مدرن و بزرگ.

---

جمع بندی

خطای “Page indexed without content” یعنی که صفحات ایندکس شدند، اما به دلایلی، ربات گوگل نمیتونه به محتوای آن دسترسی داشته باشه یا اون رو پردازش کنه.

و اگرچه URL های آسیب دیده رو می توان در گوگل پیدا کرد، اما نباید اونها رو نادیده بگیرید.

چون اگه برای رفع خطای “Page indexed without content” اقدامی نکنید، برای سئو سایتتون امتیاز منفی محسوب میشه.

اگه این خطا رو برطرف نکنید، این مشکلات برای سئو سایتتون به وجود میاد:

• مسائل رتبه‌بندی چون ربات‌ گوگل نمیتونه صفحه شما رو درک کنه و اون رو برای هدف کاربر مناسب نشون بده
• کاهش تجربه کاربری و افزایش نرخ پرش، زیرا کاربران صفحه خالی رو مشاهده خواهند کرد.

در این مقاله در مورد رفع خطای “Page indexed without content” در گوگل سرچ کنسول صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.