آموزش رفع خطای Indexed, though blocked by robots.txt در گوگل سرچ کنسول

خطای Indexed, though blocked by robots.txt در گوگل سرچ کنسول یعنی گوگل این صفحات رو ایندکس کرده در صورتی که در فایل robots.txt دسترسی به آنها برای ربات گوگل بسته شده بود.

✍اگه با فایل robots.txt آشنایی ندارد، قبل از ادامه این مقاله رو بخونید: فایل robots.txt چیست؟ روش ساخت فایل robots.txt

گوگل نمیدونه میخواید این صفحات ایندکس بشوند یا نه، پس به عنوان خطا اونها رو بهتون نشون میده.

در این مقاله نحوه رفع این مشکل رو میگم.

برای دریافت مشاوره به صفحه سئو سایت در شیراز مراجعه کنید.

فهرست:

• خطای Indexed, though blocked by robots.txt به چه معناست؟
• مراحل رفع خطای Indexed, though blocked by robots.txt
  • ویرایش فایل robots.txt با افزونه یواست Yoast
  • ویرایش فایل robots.txt با افزونه رنک مث rank math
• جمع بندی

خطای Indexed, though blocked by robots.txt به چه معناست؟

این خطا یعنی اینکه:

❌گوگل صفحه شما رو پیدا کرده و در نتایج جستجو نشون داده
❌اما بعدش، یه قانون در فایل robots.txt پیدا کرده که دستور میده صفحه خزیده و ایندکس نشه

تو این شرایط گوگل در مورد ایندکس کردن یا عدم ایندکس کردن صفحه سردرگم میشه و برای همین یه هشدار توی سرچ کنسول برای شما میفرسته تا از سردرگمی درش بیارید.

وقتی از ایندکس شدن صفحه ای توی فایل robots.txt جلوگیری میکنید، باید این رو بدونید که:

✨اگرچه گوگل در بیشتر موارد به robots.txt احترام میذاره، اما این فایل به تنهایی نمیتونه از ایندکس شدن صفحه جلوگیری کنه. دلایل زیادی میتونه برای ایندکس شدن صفحه وجود داشته باشه، مثلا اگه یه سایت به صفحه مسدود شده شما بک لینک بده باعث میشه گوگل صفحه رو ایندکس کنه.

✨از طرف دیگه، اگه صفحه قرار بوده ایندکس بشه، اما به طور تصادفی توسط robots.txt مسدود شده، باید صفحه رو از robots.txt بردارید تا مطمئن بشید خزنده‌های گوگل قابلیت دسترسی به اون رو دارند.

الان که میدونید این هشدار یعنی چی و چه دلایلی داره، بریم سراغ اینکه چجوری باید این خطا رو برطرف کنید.

مراحل رفع خطای Indexed, though blocked by robots.txt

برای وب‌سایت‌های کوچک، تعداد این صفحات معمولا خیلی کم هستش. اما اکثر وب سایت های بزرگ و سایت های فروشگاهی، مسلماً صدها یا حتی هزاران URL دارند. چونکه استفاده از گوگل سرچ کنسول برای مرور همه لینک ها امکان پذیر نیست، میتونید گزارش رو Export کنید.

برای Export، کافیه روی هشدار کلیک کنید:

تو این صفحه با کلیک کردن روی گزینه Export در گوشه‌ی بالا سمتِ راست، میتونید همه URL‌های مربوطه رو میبینید. از لیست گزینه های Export، انتخاب کنید که فایل با کدوم ویرایشگر صفحه دانلود و باز بشه.

اکنون که URL ها رو Export کردید، باید تک تک اونها رو چک کنید. اولا، تصمیم بگیرید که این صفحات باید ایندکس بشن یا ایندکش نشن.

ادامه‌ی راه به پاسخ این پرسش بستگی داره:

صفحاتی که باید ایندکس شوند

اگر تصمیم گرفتید که صفحه باید ایندکس بشه، فایل robots.txt خودتون رو آزمایش کنید و ببینید که آیا قانونی وجود داره که جلوی خزیده شدن صفحه رو بگیره؟

برای اینکار مراحل زیر رو دنبال کنید:

☕ robots.txt Tester را باز کنید

اول از همه باید از فایل robots.txt تست بگیرید، برای اینکار برید تو این صفحه https://www.google.com/webmasters/tools/robots-testing-tool

اگه حساب سرچ کنسول شما به بیش از یه وب سایت وصل هستش، وب سایت مورد نظر رو از لیست انتخاب کنید.

اکنون گوگل فایل robots.txt وب سایتتون رو نشون میده:

☕آدرس سایت خود را وارد کنید

در پایینِ صفحه، گزینه ای برای وارد کردن URL از وب سایت خودتون برای آزمایش پیدا خواهید کرد. حالا یکی از URLهایی که در خطای Indexed, though blocked by robots.txt از توی سرچ کنسول Export کردید رو وارد کنید.

☕اعتبار سنجی Robots.txt

در نهایت روی دکمه Test کلیک کنید.

اگه دسترسی به اون URLها در فایل robots.txt سایت شما بسته شده باشه پیام Disallowed و اگه بسته نشده باشه پیام Allowed رو بهتون میده.

همچنین، اون کدی که باعث شده صفحه بسته بشه رو با رنگ قرمز بهتون نشون میده.

☕ فایل Robots.txt را ادیت کنید

اگه robots.txt Tester کدی رو پیدا کرد که از دسترسی جلوگیری میکنه همینجا فایل رو ویرایش کنید و دوباره تستش کنید.

توجه داشته باشید که robots.txt Tester یه ابزارِ اشکال‌زدایی هستش و هرگونه تغییری که در اینجا ایجاد می‌کنید در robots.txt وب‌سایت شما منعکس نمیشه مگر اینکه محتوا رو در robots.txt وب‌سایت خودتون کپی و جای‌گذاری کنید.

بنابراین برای آپدیت کردن فایل robots.txt سایت خودتون میتونید از افزونه های سئو مثل رنک مث یا یواست کمک بگیرید.

ویرایش فایل robots.txt با افزونه یواست Yoast

برای ویرایش فایل robots.txt با افزونه یواست Yoast، وارد پیشخوان وردپرس شوید. در نوار ناوبری گزینه Yoast SEO رو انتخاب کنید و سپس وارد بخش ابزارها بشید. در این بخش، گزینه ویرایشگر فایل رو انتخاب کنید.

تو این قسمت میتونید فایل robots.txt رو ویرایش کنید.

کدی که از robots.txt Tester کپی کرده‌اید رو جای‌گذاری کنید و سپس روی دکمه”ذخیره تنظمیات به robots.txt” کلیک کنید تا تغییرات اعمال بشن.

ویرایش فایل robots.txt با افزونه رنک مث rank math

برای ویرایش فایل robots.txt با افزونه رنک مث برید به تنظیمات عمومی → ویرایش robots.txt:

کدی که از robots.txt Tester کپی کرده‌اید جای‌گذاری کنید و روی “ذخیره تغییرات” کلیک کنید.

صفحاتی که ایندکس نشدند

اگر تشخیص دادید که صفحه‌ای قرار نیست ایندکس بشه، اما گوگل اون رو ایندکس کرده، بخاطر این دلایل بوده:

⛔صفحات Noindex از طریق Robots.txt مسدود شده اند

⛔صفحات مسدود شده دارای بک لینک هستند

اگه نمیخواید صفحه ای در نتایج جستجو نشون داده بشه، باید با تگ noindex اینکار رو انجام بدید و نه از طریق فایل robots.txt.

فایل robots.txt فقط حاوی دستورالعمل هایی برای خزیدن هستش. به یاد داشته باشید، خزیدن و ایندکس دو فرآیند مجزا هستند.

جلوگیری از خزیدن صفحه ≠ جلوگیری از ایندکس شدن صفحه

برای جلوگیری از ایندکس شدن یه صفحه، می تونید از افزونه یوست و رنک مث استفاده کنید.

اما اگه تگ noindex رو اضافه کنید و همزمان موتور جستجو رو از خزیدن در این URLها مسدود کنید، از نظر فنی، به ربات گوگل اجازه نمیدید تا صفحه رو بخزه و بدونه که صفحه دارای تگ noindex هستش.

در حالت ایده‌آل، باید به ربات گوگل اجازه بدید تا در این صفحات بخزه و بر اساس تگ noindex، صفحه رو از لیست ایندکس حذف کنه.

❌از فایل robots.txt فقط برای مسدود کردن فایل‌ها (مانند تصاویر، PDF، فیدها و غیره) استفاده کنید، جایی که امکان اضافه کردن تگ niondex وجود نداره.

صفحاتی که از طریق robots.txt غیرمجاز کرده اید ممکنه بک لینک داشته باشند، در اینصورت ربات گوگل سعی میکنه صفحه رو ایندکس کنه.

درسته که توی فایل robots.txt ربات‌ها رو از خزیدن در صفحه منع کرده‌اید، اما چون صفحه بک لینک داره گوگل ایندکسش میکنه.

برای حل این مشکل، باید با سایتی که به صفحه بک لینک داده تماس بگیرید و ازشون بخواید لینک رو حذف کنند.

جمع بندی

هنگامی که مشکلات URL ها رو برطرف کردید، به هشدار گوگل سرچ کنسول برگردید و سپس روی دکمه Validate Fix کلیک کنید. حالا گوگل این URL ها رو دوباره بررسی میکنه و در صورت رفع خطا، مشکل از بین میره.

در این مقاله در مورد رفع خطای Indexed, though blocked by robots.txt صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.