آموزش رفع خطای "Blocked due to other 4xx issue" در گوگل سرچ کنسول

خطای “Blocked due to other 4xx issue” به این معنیه که صفحه شما با یکی از کدهای پاسخ 4xx HTTP به غیر از ۴۰۱، ۴۰۳، ۴۰۴ یا Soft 404 پاسخ میده و در نتیجه گوگل نمیتونه اون صفحه رو ایندکس کنه. اگرچه فهرست خطاهای 4xx زیاده، اما برخی از کدهای وضعیت HTTP به ندرت دیده میشن. به همین دلیله که گوگل همه اونها رو تحت وضعیت “Blocked due to other 4xx issue” گروه بندی می‌کنه. در حالی که خطاهای ۴۰۱، ۴۰۳، ۴۰۴ و Soft 404 توی وضعیت جداگانه‌ای نشون داده میشن.

قبل از اینکه این مبحث رو شروع کنیم، باید بدونید که گوگل در مرتب سازی خطاهای 4xx کامل نیست. یعنی گاهی اوقات ممکنه برخی از خطاهای ۴۰۴ رو تحت وضعیت “Blocked due to other 4xx issue” تقسیم بندی کنه.

تو این مقاله از پارس اوستا، علت به وجود اومدن این خطا و نحوه رفعش رو بهتون میگم.

---

فهرست:

• دلایل رایج خطای “Blocked due to other 4xx issue”
  • خطای Bad request (400)
  • خطای Blocked due to unauthorized request (401)
  • خطای Blocked due to access forbidden (403)
  • خطای Not found (404)
  • خطای Gone (410)
  • خطای Length Required (411)
  • خطای Too many requests (429)
• روش رفع خطای Blocked due to other 4xx issue
  • لیست صفحات آسیب دیده را در سرچ کنسول بررسی کنید
  • صفحاتی که این خطا را دارند و در نقشه سایت شما هستند را بررسی کنید
  • لینک های داخلی را تجزیه و تحلیل کنید
  • راه حل های خطای Blocked due to other 4xx issue
  • کد پاسخ را شناسایی کنید
  • صفحات دارای خطا را ریدایرکت کنید
  • وضعیت 4xx دیگری را تنظیم کنید
• جمع بندی

---

دلایل رایج خطای “Blocked due to other 4xx issue”

اگر در گزارش page indexing خطای “Blocked due to other 4xx issue” رو مشاهده کردید، این خطا به این معنی است که وب سایت شما با خطای 4xx دیگری مانند خطای ۴۰۴ مسدود شده است یعنی که:

❌ربات گوگل درخواستی برای بازیابی یه صفحه معین به سرور ارسال کرده

❌ سرور با یکی از کدهای وضعیت HTTP 4xx پاسخ داده. به دلیل خطا در سمت مرورگر یا موتور جستجو ( خطای سرویس گیرنده یا همون مشتری) اتفاق میفته

اگرچه بعضی از خطاهای 4xx نادر هستند، اما یادتونه باشه که هر چه وب سایت شما بزرگتر باشه، احتمال بیشتری برای مواجهه با این مشکلات خواهید داشت.

بیایید رایج‌ترین دلایل خطای Blocked due to other 4xx issue رو در گوگل سرچ کنسول بررسی کنیم.

خطای Bad request (400)

کد پاسخ ۴۰۰ HTTP وضعیتی رو نشون میده که در اون سرور به دلیل درخواست نادرستی که ارسال کردید نمیتونه صفحه خاصی رو ارائه بده.

دلایلش میتونه ساختار نادرست URL یا آپلود یه فایل فراتر از محدودیت آپلود سرور باشه.

خطای Blocked due to unauthorized request (401)

خطای Blocked due to unauthorized request (401) یکی از مسائل 4xx هستش که در وضعیت جداگانه‌ای در سرچ کنسول نشون داده میشه.

اگر کد پاسخ ۴۰۱ HTTP رو برای صفحه خود مشاهده کردید، نشون میده که URL درخواستی در پشت فرم ورود پنهان شده.

وب مسترها اغلب چنین صفحاتی رو مسدود میکنند زیرا نمیخوان ربات ها و کاربران به طور تصادفی اون محتوا رو در وب پیدا کنند.

بیشتر بخوانید: تنظیمات عمومی رنک مثدر غیر این صورت، تحقیق کنید که چرا سرچ کنسول این وضعیت رو بهتون نشون میده.

خطای Blocked due to access forbidden (403)

داشتن صفحه ای که کد وضعیت ۴۰۳ HTTP رو برمیگردونه به این معنیه که در صورت درخواست یه مرورگر یا موتور جستجو، سرور اجازه دسترسی به URL رو رد میکنه.

اگرچه در شرایطی این کد وضعیت کاملا طبیعی و حتی مورد نیاز هستش، اما اگه کنترل نشده باشه ممکنه مشکلاتی برای سئو سایتتون به بار بیاره.

این خطا هم در وضعیت جداگانه ای در گزارش page indexing نمایش داده میشه.

خطای Not found (404)

کد وضعیت ۴۰۴ HTTP نشون میده که سرور نمیتونه صفحه درخواستی رو پیدا کنه زیرا دیگه در وب سایت شما وجود نداره.

اگرچه ترسناک به نظر میرسه، اما گاهی اوقات تنظیم کد وضعیت ۴۰۴ ممکنه برای بهینه سازی محتوای یتیم یا محتوای تکراری در وب سایت شما لازم باشه.

گوگل این خطا رو هم در یه وضعیت جداگانه در گوگل سرچ کنسول نشون میده.

خطای Gone (410)

کد وضعیت ۴۱۰ HTTP نشون میده که یه صفحه برای همیشه از وب سایت شما حذف شده.

به طور کلی، این وضعیت باید نتیجه اقدامات عمدی شما باشه.

موارد استفاده از کد وضعیت ۴۱۰ برای یک صفحه:

✅هیچ تقاضای جستجو یا ارزش تجاری برای وب سایت شما نداره، بنابراین نمیخواید دیگه وجود داشته باشه

✅باعث هدر رفتن بودجه خزش سایت شما میشه. به این ترتیب، تنظیم کد وضعیت ۴۱۰ به ربات گوگل نشون میده که لازم نیست اون رو بخزه و باید URL رو از فهرست ایندکس حذف کنه.

و اگرچه نتیجه این URL ها مثل ۴۰۴ هستش، اما کد وضعیت ۴۱۰ به گوگل میگه دقیقا چه اتفاقی برای صفحه شما افتاده.

به این ترتیب، تنظیم کد وضعیت ۴۱۰ HTTP باعث میشه محتوای ناخواسته شما سریعتر از ۴۰۴ از صفحه SERP حذف بشه.

اما مراقب باشید: به دلیل شباهتش با خطای ۴۰۴، ممکنه گاهی اوقات در گزارش Page indexing وضعیت Not found (404) رو به جای Gone (410) ببینید.

خطای Length Required (411)

اگر کد پاسخ ۴۱۱ HTTP رو برای یه صفحه مشاهده کردید، یعنی که مرورگر شما هدر طول محتوا رو تعریف نکرده.

از دیدگاه سرور، هدر طول محتوا برای ارزیابی اندازه درخواست شما بسیار مهمه.

برای رفع این مشکل، باید با تیم طراحی سابت خود تماس بگیرید تا یه هدر مناسب تنظیم کنند.

خطای Too many requests (429)

“Too many requests (429)” با سایر وضعیت های 4xx که بالا توضیح دادیم فرق میکنه، زیرا گوگل اون رو به عنوان خطای سرور در نظر میگیره.

چرا؟

چون وقتی سرور شما با کد پاسخ ۴۲۹ HTTP پاسخ میده، به این معنیه که درخواست‌های زیادی رو در یک بازه زمانی معین دریافت کرده، مثلا، از خزنده‌های موتور جستجو.

با این حال، ربات‌های دوستانه، مثل ربات گوگل، نمی‌تونند در بارگذاری بیش از حد سرور نقش داشته باشند، چون زمانی که سرور کند میشه گوگل تعداد درخواست‌هایی که ارسال میکنه رو کاهش میده. بنابراین، گوگل این وضعیت رو ناشی از مشکلات سرور شما میدونه.

اما به یاد داشته باشید که هنوز خزنده‌ها و ربات‌های موتور جستجوی دیگه هستند که درخواست‌هایی رو به سرور شما ارسال می‌کنند و بر ظرفیت پردازش تأثیر میذارند.

به عنوان مثال، گاهی اوقات، حتی اگه ربات گوگل فقط یه درخواست ارسال کنه، ممکنه برای سرور شما بیش از حد باشه و نمیتونه مدیریتش بکنه، بنابراین ۴۲۹ رو برمیگردونه.

اگه Too many requests (429) برای سایت شما پیش میاد، حافظه پنهان یا همون کش مرورگرتون رو پاک کنید یا با ارائه‌دهنده هاست خودتون تماس بگیرید.

---

روش رفع خطای Blocked due to other 4xx issue

از اونجایی که وضعیت Blocked due to other 4xx issue ناشی از خطا در سمت مشتری یا همون کلاینت هستش، شاید اگه صحفه رو دوباره بارگذاری کنید این خطا رو دیگه نبینید.

اما این به این معنی نیست که کلا هیچ خطایی وجود نداره. بلکه نشون میده برخی از بازدیدکنندگان برای دیدن وب سایتتون با مشکل مواجه میشن، بنابراین باید حتما بهش رسیدگی کنید.

این مراحل رو دنبال کنید تا خطای Blocked due to other 4xx issue در سایت شما برطرف بشه.

بیشتر بخوانید: مدیریت ابزارک ها در وردپرس

لیست صفحات آسیب دیده را در سرچ کنسول بررسی کنید

وارد گزارش page indexing در سرچ کنسول بشید و به صفحه وضعیت برید تا URL های “Blocked due to other 4xx issue” رو بررسی کنید.

⭕بررسی کنید که چه تعداد از صفحات شما تحت تأثیر قرار گرفتند تا ارزیابی کنید که مشکل چقدر بزرگه

⭕و به دنبال الگو در ساختار URL صفحات باشید. سعی کنید ببینید آیا URL های آسیب دیده در یک دسته قرار میگیرند یا خیر.به احتمال زیاد بر اساس یک الگوی مشخص به وجود آمدند که تجزیه و تحلیل و رفع مشکل رو آسون تر میکنه.

هنگامی که وارد صفحه وضعیت میشید، روی نماد هرم معکوس کلیک کنید تا URLهای که می‌خواهید تجزیه و تحلیل کنید رو فیلتر کنید.

سپس، میتونید با استفاده از ابزار URL Inspection در مورد هر یک از صفحات آسیب دیده بیشتر اطلاعات به دست بیارید.

ابزار URL Inspection بهتون میگه که گوگل چقدر اون صفحه رو میخزه و اینکه چگونه کشفش کرده.

با این حال، معمولا برای صفحاتی که خطای Blocked due to other 4xx issue دارند گوگل نمیتونه صفحه ارجاع یا نقشه سایت رو تعریف کنه. پس، تشخیص ریشه های مشکل یکم سخته.

در این مورد، باید با طراحان سایتتون مشورت کنید. از اونجایی که اونها تاریخچه وب سایت شما و وابستگی فایل ها را میدونند، می تونند سرنخی از دلایل احتمالی این مشکل بهتون بدن.

صفحاتی که این خطا را دارند و در نقشه سایت شما هستند را بررسی کنید

برای رفع خطای Blocked due to other 4xx issue نظارت بر صفحاتی که این خطا رو دارند و در سایت مپ شما هم هستند باید بخشی جدایی ناپذیر از تجزیه و تحلیل شما در سرچ کنسول باشه.

میتونید همه URL‌های آسیب‌دیده رو به «All submitted URLs» در گوشه سمت چپ بالای گزارش فیلتر کنید تا فقط این صفحات رو بهتون نشون بده.

در حالت ایده آل، فایل های نقشه سایت شما فقط باید شامل صفحاتی باشه که با کد وضعیت ۲۰۰ پاسخ میدن. در غیر این صورت، باید از سایت مپ حذفشون کنید.

حتی اگر عمداً به برخی از صفحات خودتون کد وضعیت 4xx مانند “Gone (410)” دادید باید به خاطر داشته باشید که افزودن این صفحات به نقشه سایت باعث هدر رفتن بودجه خزش شما میشه.

علاوه بر این، اگه یک وب سایت بزرگ رو مدیریت می کنید، به جز نگاه کردن به لیست در سرچ کنسول، باید نقشه سایت خودتون رو به طور کامل بخزید. گزارش Page indexing فقط تا ۱۰۰۰ صفحه بهتون نشون میده که برای وب سایت های بزرگ کافی نیست.

بیشتر بخوانید: تنظیمات درون ریزی و برون ریزی افزونه رنک مث

لینک های داخلی را تجزیه و تحلیل کنید

کار دیگه ای که باید انجام بدید اینه که لینک های داخلی به صفحات Blocked due to other 4xx issue رو بررسی کنید.

طبق اسناد رسمی گوگل،صفحاتی که کدهای وضعیت HTTP 4xx (به جز ۴۲۹) برمیگردونند، بودجه خزش رو هدر نمیدن. اما بسیاری از لینک های داخلی که به صفحات 4xx اشاره می‌کنند میتونند روی نحوه خزیدن سایت شما توسط گوگل تاثیر بذارند.

چرا؟

چونکه وقتی به صفحاتی که براتون اهمیتی نداره لینک میدید، ربات گوگل فکر میکنه که واقعا برای شما مهم هستند. در نتیجه، از منابع خود استفاده میکنه تا به محتوایی برسه که در نهایت نمیتونه ببینه یا بهش دسترسی پیدا کنه.

به همین دلیله که بررسی لینک های داخلی به صفحات 4xx خیلی مهمه، به خصوص وقتی مطمئن هستید که برخی از اونها، مثل “Gone (410)” برای همیشه در وب سایتتون باقی میمونند.

اگه نمیتونید صفحات ارجاع دهنده رو در ابزار URL Inspection ردیابی کنید، باید یه خزیدن کامل توی وب سایتتون انجام بدید. برای انجام این کار، از یه خزنده سئو مثل Screaming Frog یا Deepcrawl استفاده کنید.

برای عیب یابی لینک داخلی نادرست، میتونید:

⭐لینک های خراب به صفحات 4xx رو حذف کنید (اینها اغلب صفحات ۴۰۴ یا ۴۰۰ هستند)،

⭐یا لینک های صفحات 4xx رو با لینک های مرتبط با کد وضعیت ۲۰۰ جایگزین کنید.

بیشتر بخوانید: تنظیمات عمومی رنک مث

راه حل های خطای Blocked due to other 4xx issue

در کل دو راه حل برای این خطا وجود داره: اون رو نادیده بگیرید یا بخواهید حلش کنید.

☕زمانی “Blocked due to other 4xx issue” رو نادیده بگیرید که:

1. فقط چند مشکل وجود داره که به طور قابل توجهی روی وب سایت شما تأثیر نمیگذاره، و میدونید که نیازی به توجه فوری ندارند.
2. به دلیل اقدامات عمدی شماست ،مثلا، تنظیم کد وضعیت HTTP 410.

☕باید صفحات “Blocked due to other 4xx issue” رو زمانی بررسی کنید که:

1. تعداد صفحات آسیب دیده قابل توجه باشه یا به طور مداوم در حال رشده
2. و نمی‌دونید چگونه اون رو برطرف کنید.

اگه گزینه دوم برای شما صادقه در ادامه این مقاله با من همراه باشید.

---

کد پاسخ را شناسایی کنید

هنگامی که تصمیم گرفتید صفحات Blocked due to other 4xx issue به اقدامات بیشتری نیاز دارند، باید بررسی کنید که کدوم کدهای پاسخ رو برمیگردونند.

این رو نمیتونید در گوگل سرچ کنسول پیدا کنید، بنابراین باید از inspect کروم کمک بگیرید.

می‌تونید عامل کاربرِ ربات گوگل رو در مرورگر خود شبیه‌سازی کنید و بررسی کنید که یه صفحه مشخص چه کد وضعیتی رو برمیگردونه.

برای انجام این کار، به «Network» برید و تب «Network conditions» رو در پایین باز کنید.

سپس، برای شبیه‌سازی User Agent ربات گوگل در بخش User-agent بر روی «Use browser default» کلیک کنید و «Googlebot Smartphone» رو از لیست انتخاب کنید.

در بالا، می‌بینید که فایل‌ها و منابع خاص مورد استفاده در صفحه شما چه کدهای وضعیتی رو برمیگردونند.

برای طی کردن این مراحل از گیف زیر کمک بگیرید:

راه حل آسون دیگه استفاده از ابزار Link Redirect Trace هستش. این افزونه کروم به شما امکان میده تا وضعیت HTTP صفحات خود رو هنگام بررسی هر وب‌سایتی در زمان واقعی ردیابی کنید.

صفحات دارای خطا را ریدایرکت کنید

یه روش خوب برای حل این خطا ریدایرکت ۳۰۱ صفحه هستش.

وقتی این صفحات رو ریدایرکت کنید که:

✅بخشی ضروری از ساختار سایت شما محسوب میشن و برای کسب و کار ارزشمند هستند
✅ همچنین بک لینک های زیادی دارند

با مطالعه راهنماهای ما برای ریدایرکت و رفع مشکلات “redirect error” در Google Search Console، نحوه ریدایرکت رو بیاموزید.

مراقب باشید: گاهی اوقات ممکنه داده‌های «Blocked due to other 4xx issue» در گوگل سرچ کنسول دقیق و به‌روز نباشند.

بنابراین، همیشه قبل از اقدام، کدهای پاسخ HTTP فعلی رو برای URL های آسیب دیده رو دوباره بررسی کنید.

وضعیت 4xx دیگری را تنظیم کنید

اگه صفحه Blocked due to other 4xx issue دیگه برای استراتژی وب سایتتون مهم نیست یا نمیتونید خطاش رو برطرف کنید، وضعیتش رو به ۴۰۴ یا ۴۱۰ تغییر بدید.

وقتی به ربات گوگل اطلاع میدید که صفحه‌ای وجود نداره، پس از مدتی، خزیدن اون رو به حداقل میرسونه زیرا متوجه میشه که محتوایی نداره.

همچنین، دیدن یه صفحه ۴۰۴ آموزنده به جای یه صفحه خالی، تجربه کاربری بهتری داره.

---

جمع بندی

Blocked due to other 4xx issue در گوگل سرچ کنسول خطاهای 4xx رو که ممکنه برخی از صفحات شما با آن پاسخ بدن نشون میده.

اگرچه برخی از اونها مشکل جدی برای ایندکس سایتتون محسوب نمیشن، اما گوگل اونها را به دلایلی در گزارش Page indexing ارائه میده.

برای بررسی دقیق سئوی فنی وب سایت خود با ما تماس بگیرید تا حتی خطاهای جزئی رو که ممکنه به مشکلات مهم تبدیل بشن و به سلامت وب سایت شما آسیب بزنند، بررسی بشن.

در این مقاله در مورد رفع خطای “Blocked due to other 4xx issue” در گوگل سرچ کنسول صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.