آموزش رفع خطای "Blocked due to unauthorized request (401)" در گوگل سرچ کنسول

خطای “Blocked due to unauthorized request (401)” در گوگل سرچ کنسول یعنی برخی از صفحات سایتتون ایندکس نشدند، چونکه:

❌ربات گوگل سعی کرده اون صفحات رو بخزه

❌اما سرور ازش مجوز خواسته

❌ربات گوگل هم هیچ مجوزی ارائه نکرده (در واقع هیچوقت ارائه نمیکنه)

❌سرور شما هم دسترسی ربات گوگل رو رد کرده، بنابراین ایندکس نشدند.

“Blocked due to unauthorized request (401)” مشکلیه که باید حتما برطرفش کنید، چونکه این صفحات باعث هدر رفتن بودجه خزش سایت شما میشن. علاوه بر این، این خطا ممکنه باعث بشه که صفحات مهم سایتتون ایندکس نشن، در نتیجه سئو سایتتون لطمه میخوره.

فهرست:

• دلایل خطای “Blocked due to unauthorized request (401)”
• روش رفع خطای “Blocked due to unauthorized request (401)”
  • آیا صفحات “Blocked due to unauthorized request (401)”باید ایندکس شوند؟
    • صفحات محافظت شده اما قابل ایندکس
    • صفحات غیرقابل ایندکس محافظت شده
    • صفحات در حال ساخت
  • گزینه اول: به ربات گوگل اجازه بدید صفحات شما را بخزد
  • گزینه دوم: مطمئن بشید که صفحه ۴۰۱ بودجه خزش شما رو هدر نمی‌دهد
• جمع بندی

دلایل خطای “Blocked due to unauthorized request (401)”

یکی از راه های ارتباط سرور با مرورگر و خزنده ها استفاده از کدهای وضعیته. کدهای وضعیت، اعداد سه رقمی هستند که اطلاعاتی رو درباره صفحه درخواست شده به مرورگر یا خزنده میدن.

کد وضعیت ۴۰۱ برای صفحاتی هستش که برای مشاهده نیاز به مجوز ورود دارند، در صورتی که این مجوز توسط درخواست کننده ارائه نشه، این کد وضعیت بهش برگردونده میشه.

اگه محتوای صفحه شما دارای رمز عبور باشه، گوگل نمیتونه اون رو بخزه و خزیدن، در بیشتر موارد، برای ایندکس شدن صفحات ضروری هستش.

روش رفع خطای “Blocked due to unauthorized request (401)”

برای پیدا کردن صفحاتی که خطای”Blocked due to unauthorized request (401)” دارند، برید توی سرچ کنسول و در بخش Index توی نوار سمت چپ، گزینه pages رو انتخاب کنید.

بعد از اینکه روی این خطا کلیک کردید، یه نمودار میبینید. این نمودار نشون میده که تعدادِ صفحاتی که این خطا رو دارند در طول زمان چه تغییری کرده. همچنین یه لیست از این URL ها رو بهتون نشون میده. لیست رو میتونید Export کنید.

حالا که لیستی از این صفحات دارید، باید تصمیم بگیرید که کدوم رو میخواید ایندکس کنید.

آیا صفحات “Blocked due to unauthorized request (401)”باید ایندکس شوند؟

همونطور که میدونید لازم نیست همه صفحات سایت ایندکس بشن. در واقع، صفحاتی که می‌خواید ایندکس کنید رو باید به صورت استراتژیک انتخاب کنید.

این قانون به ویژه در مورد صفحاتی که توسط دیوار ورود (login wall) ایمن شدند اعمال میشه.

میتونیم صفحات محافظت شده با رمز عبور رو به سه دسته تقسیم کنیم:

⭕صفحات محافظت شده اما قابل ایندکس

گاهی اوقات صفحه محافظت شده با رمز عبور باید در نتایج جستجو نمایش داده بشه.

مثلا فرض کنید سایت خبری پولی راه اندازی کردید و یه مقاله جنجالی منتشر کردید. می خواید که کاربران این مقاله رو پیدا کنند و اگه خواستند به تمام مقاله رو دسترسی داشته باشند اشتراک بخرند. در این حالت، صفحه دارای مقاله باید هم به مجوز ورود کاربران نیاز داشته باشه و هم توسط گوگل ایندکس بشه.

⭕صفحات غیرقابل ایندکس محافظت شده

با صفحاتی که محتواشون برای بازدیدکنندگانی کاربر سایت نیستند، کاربردی نداره، باید به گونه ای متفاوت رفتار بشه. هیچ دلیلی وجود نداره که کاربران اون صفحه رو توی گوگل پیدا کنند.

⭕ صفحات در حال ساخت

تا زمانی که در حال ساختن سایت خودتون هستید، مطمئنا نمی‌خواهید که در دسترس باشه و در نتایج جستجو بشه اون رو دید.

اما این یعنی، وضعیت «Blocked due to unauthorized request (401)» برای چنین شرایطی مناسبه؟

خیر، چون بودجه خزش سایت شما رو هدر میده.

با منابع محدود، گوگل باید در مورد تعداد دفعات و اینکه کدوم URLها خزیده بشن دقیق عمل کنه. وقتی بودجه خزش صرف چنین صفحاتی میشه صفحات ارزشمند کمتر مورد توجه خزنده های گوگل قرار می گیرند.

اگه در لیستِ صفحاتی که این خطا رو دارند از گزینه فیلتر استفاده کنید و فقط صفحاتی که توی سایت مپ شما هستند رو فیلتر کنید تمایز بین صفحات قابل ایندکس و غیر قابل ایندکس آسون تر میشه. برای اینکار فیلتر رو بذارید روی “All submitted pages”:

URL هایی که در نقشه سایت قرار دادید از نظر استراتژیک برای سایت شما مهم هستند و باید گوگل اونها رو توی نتایج جستجو نشون بده.

وقتی تصمیم گرفتید که صفحه ۴۰۱ توی کدوم دسته قرار میگیره، میتونید از یکی از روش های عیب یابی زیر استفاده کنید.

گزینه اول: به ربات گوگل اجازه بدید صفحات شما را بخزد

برای صفحه‌های ۴۰۱ که می‌خواید ایندکس بشن، باید تنظیمات سرور رو تغییر بدید تا ربات گوگل بتونه URL رو ببینه و بخزه. این یعنی که سرور شما باید با گوگل بات متفاوت از مرورگرهای کاربران رفتار کنه.

نشون دادن محتوای متفاوت به گوگل و کاربر خوشایند نیست و ممکنه گوگل برای کلوکینگ (cloacking) سایت شما رو جریمه کنه. به همین دلیل باید به گوگل بگید که چرا همچین کاری رو انجام دادید. می تونید این کار رو با اعمال داده های ساخت یافته در صفحات اشتراکی انجام بدید. دستورالعمل‌های گوگل بهتون میگه که چه داده‌های ساختاری رو به صفحات اشتراکی خود اضافه کنید.

گزینه دوم: مطمئن بشید که صفحه ۴۰۱ بودجه خزش شما رو هدر نمی‌دهد

با صفحاتی که خطای ۴۰۱ دارند و نباید ایندکس بشن چه باید کرد؟ میتونید در فایل robots.txt خزیدن در این صفحات رو مسدود کنید. فایل robots.txt دستورالعمل هایی داره که به خزنده ها میگه از کدام قسمت های سایت نمیتونند بازدید کنند.

با اینکار دیگه بودجه خزش سایتتون هدر نمیره.

همچنین چک کنید و ببینید که ربات گوگل چجوری صفحاتی رو که خطای ۴۰۱ دارند و نمیخواید ایندکس بشند رو پیدا کرده. برای این کار، از ابزار URL inspection استفاده کنید. روی نماد ذره بین، در لیست صفحات دارای خطا کلیک کنید.

از اطلاعات موجود در ابزار URL inspection، متوجه خواهید شد که چه لینک هایی گوگل رو به صفحه ۴۰۱ هدایت کرده.

میتونید صفحات ارجاع دهنده رو ویرایش کنید و این لینک ها رو پاک کنید. برای پیدا کردن تمام لینک های داخلی که به صفحات ۴۰۱ شما منتهی میشن، از یه خزنده سئو مثل screaming frog استفاده کنید.

راه حل هایی که در بالا توضیح داده شد به ایندکس کردن صفحات حیاتی برای سئو سایت شما کمک می کنند و از هدر رفتن بودجه خزش جلوگیری میکنند. با این حال، اگه وضعیت “Blocked due to unauthorized request (401)” به دلیل خطا در سرور شما به وجود اومده، ممکنه باز هم در آینده این اتفاق بیافته.

جمع بندی

به طور خلاصه، خطای “Blocked due to unauthorized request (401)” زمانی رخ میده که ربات گوگل سعی میکنه صفحات شما رو بخزه، اما سرور مجوز ورود درخواست میکنه و خزنده نمیتونه این مجوز رو ارائه بده.

تصمیم بگیرید که آیا این صفحات باید ایندکس شوند و:

✅تنظیمات سرور را تغییر دهید تا به ربات گوگل اجازه بدید از این URL ها بازدید کنه و داده های ساختاری مناسب اعمال کند، یا
✅ خزیدن در این قسمت‌های وب‌سایت رو در فایل robots.txt مسدود کنید

در این مقاله در مورد رفع خطای “Blocked due to unauthorized request (401)” در گوگل سرچ کنسول صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.