آموزش رفع خطای Blocked due to access forbidden در گوگل سرچ کنسول

خطای Blocked due to access forbidden (403) یه وضعیت در گوگل سرچ کنسول هستش و یعنی بعضی از صفحات سایتتون ایندکس نشدن چون سرور شما دسترسی ربات گوگل یا همون Googlebot رو بسته.

این خطا رو باید هر چه سریعتر برطرف کنید چون روی سئو سایتتون تاثیر منفی میذاره. توجه داشته باشید که این خطا از نوع تکتیکال هستش و برطرف کردنش نیاز به تکنیک فنی داره.

فهرست:

• دلیل خطای Blocked due to access forbidden (403)
• چگونه صفحات “Blocked due to access forbidden (403)” را عیب یابی کنیم؟
• آیا تمام صفحات “Blocked due to access forbidden (403)” باید ایندکس شوند؟
• جمع بندی

دلیل خطای Blocked due to access forbidden (403)

فرایند ایندکس شدن صفحات وقتی شروع میشه که ربات گوگل URL سایت شما رو پیدا میکنه. گوگل اون رو فوراً تو فهرست ایندکس قرار نمیده، بلکه صفحه رو میخزه تا اطلاعات بیشتری در موردش کسب کنه.

وقتی صفحه رو میخزه، میفهمه که برای چه سرچ هایی باید اون صفحه رو نشون بده و اینکه آیا برای کاربران مفید هستش یا نه.

خیلی کم اتفاق میافته که گوگل صفحه ای رو که نخزیده ایندکس کنه و اگه هم این اتفاق بیافته، برای سئوی سایت یه چیز منفیه. اگه میخواید بیشتر در مورد این قضیه بدونید، به این مقاله مراجعه کنید : آموزش رفع خطای Indexed, though blocked by robots.txt در گوگل سرچ کنسول

برای خزیدن یه صفحه، گوگل باید مثل یه مرورگر رفتار کنه. ربات گوگل درخواستی در مورد URL به سرور ارسال میکنه. سرور به چنین درخواست هایی با کدهای وضعیت HTTP پاسخ میده، که به مرورگرها و خزنده ها میگه که آیا و چگونه میتونند به محتوای اون URL دسترسی داشته باشند.

کد وضعیت ۴۰۳ یکی از پاسخ هایه که سرور ممکنه برای ربات گوگل ارسال کنه. کد وضعیت ۴۰۳ یعنی که:

?سرور متوجه درخواست شده و میدونه که صفحه رو کجا میتونه پیدا کنه،

?مرورگرها یا خزنده های درخواست کننده برای دسترسی به این منبع خاص به مجوز نیاز دارند،

?سرور درخواست رو رد کرد چونکه اعتبارنامه ارائه شده تضمین کننده اعطای آن مجوز نبود.

کد وضعیت ۴۰۳ ممکنه یه چیز عادی باشه و راهی هستش برای محافظت از داده های حساس در مقابل بازدیدکنندگان غیرمجاز. با این حال، وقتی سرور این کد وضعیت رو برای ربات گوگل ارسال میکنه، یعنی یه مشکلی وجود داره و باید حلش کنید.

ربات گول هیچ اعتباری رو هنگام درخواست ارائه نمیده، بنابراین تو این شرایط، سرور می بایست کد وضعیت ۴۰۱ رو ارسال میکرد. کد ۴۰۱ یعنی که درخواست به دلیل عدم وجود مدارک احراز هویتِ معتبر تکمیل نشده.

①هیچ موتور جستجویی و هیچ سروری کامل نیست و مثل انسان جایزالخطاس، بنابراین، ممکنه اشتباه کنه و جای کد دقیق تر ۴۰۱، کد ۴۰۳ رو بفرسته. صفحه ۴۰۱ هم ایندکس نمیشه، اما این مشکل رو با تغییر تنظیماتِ سرور میشه برطرف کرد.

②پشت پاسخ ۴۰۳، یه مشکل فنی عمیق تری در وب سایت شما وجود داره که باید منبعش بررسی بشه.

خطای “Blocked due to access forbidden (403)” نشون میده باید سرور بررسی بشه.

چگونه صفحات “Blocked due to access forbidden (403)” را عیب یابی کنیم؟

میتونید صفحاتی که تحت تأثیر خطای Blocked due to access forbidden (403) قرار گرفتند رو در بخش index گوگل سرچ کنسول پیدا کنید:

پس از کلیک بر روی خطا، نموداری رو مشاهده خواهید کرد که نشون میده تعداد صفحات تحت تأثیر در طول زمان چجوری تغییر کرده و لیستی از URL ها رو نشون میده. میتونید لیست رو با استفاده از دکمه واقع در گوشه بالا سمت راست Export کنید.

میتونید از گزینه فیلتر استفاده کنید و فقط صفحاتی رو ببینید که خطای “Blocked due to access forbidden (403)” دارند و در سایت مپ شما هم وجود دارند.

به این ترتیب، به راحتی میتونید URL هایی که نیاز به تعمیر فوری دارند، شناسایی کنید. از اونجایی که این URLها رو در نقشه سایت خودتون قرار دادید، از نظر استراتژیک برای شما مهم هستند و باید برای به دست آوردن ترافیک ارگانیک به سایت شما ایندکس بشن.

آیا تمام صفحات “Blocked due to access forbidden (403)” باید ایندکس شوند؟

ارزیابی اینکه کدوم صفحات حیاتی‌تر هستند، ما رو به اولین مرحله عیب‌یابی مشکل “Blocked due to access forbidden (403)” میرسونه. تو این مرحله باید تصمیم بگیرید که آیا صفحاتِ تحت تأثیر باید ایندکس بشن یا خیر.

سه حالت براش وجود داره:

① باید از ایندکس شدن صفحاتی که نباید در جستجوی گوگل یافت شوند اجتناب کنید.

اما ارسال وضعیت ۴۰۳ توسط سرور بهترین راه جلوگیری از ایندکس اون صفحه نیست. اگه میخواید صفحات بدون ایجاد آشفتگی در سایت شما ایندکس نشده باقی بمونند، تگ noindex بهشون بدید.

②ممکنه صفحاتی در وب‌سایت شما وجود داشته باشه که بخواهید در «جستجو» نمایش داده بشن، اما امکان مشاهده همه محتوا رو برای کاربرانی که لاگ این نکردند مسدود کنید.

ربات گوگل هرگز تو وب‌سایت شما لاگ این نمیکنه، بنابراین برای ایندکس شدن اون صفحه، باید به گوگل بات اجازه دسترسی به صفحات رو بدون مسدود کردن آن با دیوار ورود login wall بدهید. این یعنی که تنظیمات سرور رو تغییر بدید و با خزنده به گونه ای متفاوت از کاربران رفتار کنید.

گوگل در مواردی که به ربات گوگل محتوایی رو نشون میدید که با محتوایی که کاربران میبینه فرق میکنه محتاطه. برای همین باید با استفاده از داده‌های ساختاریافته بهش بگید که قضیه از چه قراره.

می‌تونید دستورالعمل‌هایی رو برای افزودن داده‌های ساختاریافته در دستورالعمل‌های گوگل پیدا کنید. بدون رعایت اونها، ممکنه سایتتون جریمه بشه.

③در نهایت، ممکنه صفحاتی در سایت شما وجود داشته باشه که بخواهید به صورت عمومی در دسترس باشند، اما کد وضعیت ۴۰۳ رو دارند.

تعمیر این صفحات میتونه خیلی زمان بر باشه، چون پیدا کردن دلیل این خطا یکم سخته.

دلایل کد وضعیت ۴۰۳:

جمع بندی

به طور خلاصه، خطای “Blocked due to access forbidden (403)” زمانی رخ میده که ربات گوگل نمیتونه صفحه شما رو بخزه چونکه سرور درخواستش رو رد کرده. برای رفع این خطا:

✅تگ noindex به صفحاتی که نمیخواید ایندکس بشن، اضافه کنید
✅تنظیمات سرور را تغییر دهید و داده های ساختاری مناسب رو برای صفحاتی که میخواید ایندکس بشن اما توسط دیوار ورود (login wall) محافظت میشن ارائه کنید.
✅فایل htaccess، افزونه‌های وردپرس، امنیت وب‌سایت برای صفحاتی که میخواید ایندکس بشن و برای هر بازدیدکننده قابل مشاهده باشند رو بررسی کنید.

خطای Blocked due to access forbidden (403)” در گوگل سرچ کنسول ممکنه نشانه مشکل پیچیده‌تری باشه. پس حتما از شخصی که دانش فنی داره برای برطرف کردنش کمک بگیرید.

خوشحالیم که تا انتهای مقاله همراه ما بودید، اگر فکر میکنید اطلاعاتی وجود دارد که در مقاله گفته نشده با ما در کامنت به اشتراک بگذارید تا همه کاربرها به خوبی از اطلاعات شما استفاده کنند. در صورت داشتن هرگونه سوال با تیم پشتیبانی ما در ارتباط باشید.