آموزش رفع خطای "Submitted URL Has Crawl Issue" در گوگل سرچ کنسول

آیا خطای“Submitted URL has crawl issue” رو در گوگل سرچ کنسول خودتون مشاهده کردید؟

این مقاله بهتون نشون میده چگونه این مشکل رو برطرف کنید.

“Submitted URL has crawl issue”دشوارترین خطای ایندکس هستش. چونکه هیچ دستورالعمل واضحی برای برطرف کردنش وجود نداره.

با این حال، تو این مقاله علت های رایج و چگونگی رفعشون رو بهتون میگم.

اما اول بریم ببینم بخش Page indexing چیه و چه چیزهایی به ما نشون میده.

فهرست:

• گزارش Page indexing در گوگل سرچ کنسول
• خطاهای ایندکس گوگل سرچ کنسول
• استفاده از ابزار URL Inspection در گوگل سرچ کنسول
• علل رایج خطای “Submitted URL Has Crawl Issue”
• جمع بندی

گزارش Page indexing در گوگل سرچ کنسول

برای اینکه یه صفحه توی گوگل رتبه بگیره و به کاربران نشون داده بشه، باید اول گوگل اون رو کشف کنه، بخزه و ایندکسش کنه. در طی این فرایند، ابتدا گوگل از وجود یه URL مطلع میشه، محتواش رو بررسی میکنه و سپس براساس اطلاعات جمع آوری شده صفحه رو ایندکس میکنه.

اگه در این مسیر مشکلی پیش بیاد، گوگل نمیتونه این فرایند رو تکمیل کنه. پس توی سرچ کنسول خطا رو بهتون نشون میده تا برطرفش کنید.

برای دیدن ان خطاها وارد سرچ کنسول سایتتون بشید، بعدش توی منوی سمت چپ، «pages» رو انتخاب کنید:

در این قسمت گزارشی از صفحات ایندکس شده و نشده رو میتونید مشاهده کنید. با زدن روی هر دو وضعیت، می‌تونید تعداد صفحات رو با هم مقایسه کنید:

خطاهای ایندکس گوگل سرچ کنسول

هر صفحه‌ای که خطا داشته باشه گوگل نمیتونه ایندکسش کنه. پس اگه میخواید این صفحات ایندکس بشن، باید برطرفشون کنید.

گزارش Index خطاهای مختلفی رو بهتون نشون میده که در ادامه چندتاش رو معرفی میکنم.

خطای سرور (5xx) – این خطا یعنی سرور شما نتونسته صفحه وب رو ارسال کنه و در عوض برای گوگل خطای 5xx ارسال کرده.

خطای ریدایرکت (page with redirect) – گاهی اوقات نیازه یه URL ریدایرکت بشه، مثلا وقتی که صفحه دیگه در دسترس نیست یا محتواش منتقل شده. اما در بعضی مواقع ریدایرکت ها “زنجیره ای” میشن. یعنی که یه URL به صفحه‌ای ریدایرکت میشه و اون هم دوباره یه یه صفحه دیگه ریدایرکت میشه. هنگامی که این زنجیره ها بیش از حد بزرگ بشن، این خطا رو مشاهده خواهید کرد.

⚡بیشتر بخوانید: آموزش رفع خطای Page with redirect در گوگل سرچ کنسول

Submitted URL blocked by robots.txt – این خطا یعنی که صفحه‌ای رو از طریق فایل robots.txt مسدود کردید اما توی سایت مپ خودتون هم قرار دادید.

Submitted URL marked noindex- یعنی که صفحه‌ای رو به نقشه سایت اضافه کردید یا از گوگل خواستید که ایندکسش کنه،اما تگ noindex داره.

Submitted URL seems to be a Soft 404- صفحه‌ای در نقشه سایت شما وجود داره که کد وضعیت HTTP OK (Soft 404) رو از سرور میگیره. Soft 404 یعنی که کد وضعیت HTTP 200 هستش یعنی موفق بوده، اما، محتوای صفحه “not found” رو نشون میده.

Submitted URL returns unauthorized request (401) –صفحه سایتتون از سرور کد ۴۰۱ رو دریافت میکنه. اگه URLی رو در نقشه سایتتون قرار بدید که برای دیدن محتوا نیاز به ورود کاربر داشته باشه، این خطا رو مشاهده خواهید کرد.

⚡بیشتر بخوانید: آموزش رفع خطای “Blocked due to unauthorized request (401)” در گوگل سرچ کنسول

Submitted URL not found (404) – یه صفحه‌ای رو توی نقشه سایتتون قرار دادید که کد وضعیت HTTP 404 رو داره.

⚡بیشتر بخوانید: رفع خطای Not Found (404) در گوگل سرچ کنسول

Submitted URL has crawl issue – گوگل خطایی پیدا کرده اما در هیچ یک از دسته های بالا قرار نمی گیره.

استفاده از ابزار URL Inspection در گوگل سرچ کنسول

برای دریافت اطلاعات بیشتر در مورد اینکه چه مشکلی هنگام خزیدن پیش اومد، باید از “URL Inspection” استفاده کنید. این ابزار رو میتونید در منوی گوگل سرچ کنسول پیدا کنید.

برای استفاده از این ابزار اون را از منوی سرچ کنسول انتخاب کنید.

حالا آدرس صفحه ای که خطا داره رو وارد کنید. این ابزار هم برای صفحات AMP و هم غیر AMP کار میکنه. همچنین اگه محتوای کنونیکال داشته باشه بهتون میگه و در مورد هر محتوای تکراری یا جایگزین بهتون بازخورد میده.

پس از وارد کردن URL، گوگل آخرین گزارش خزش رو دریافت میکنه.

نتایجی که بهتون نشون میده نتایج زنده برای صفحه نیست بلکه اطلاعاتیه که از آخرین خزیدن صفحه به دست آورده، تاریخ آخرین خزش رو هم براتون مینویسه با عنوان “Last crawl”.

اگه بعد از این تاریخ تغییراتی در صفحه ایجاد کردید، میتویند از دکمه “Test Live URL” برای خزیدن مجدد استفاده کنید. با استفاده از این گزینه میتونید بررسی کنید که آیا راه حلتون براش جواب داده یا خیر.

با استفاده از “Test Live URL” صفحه وب در زمان واقعی واکشی میشه.

این اولین کاریه که باید برای رفع خطای “Submitted URL has crawl issue” انجام بدید. چون اغلب اوقات ممکنه در هنگام خزیدن صفحه مشکلی ایجاد بشه ولی الان برطرف شده باشه.

حواستون باشه وقتی که گوگل “Test Live URL” انجام میده، نقشه سایت یا صفحات ارجاع رو بررسی نمیکنه. بنابراین ممکنه نتایج تست زنده با خزیدن گوگل متفاوت باشه.

اگر در آزمون زنده، خزش موفقیت آمیز باشه، میتونید روی دکمه «Request indexing» کلیک کنید.

با این کار گوگل متوجه میشه که میتونه صفحه رو ایندکس کنه و خزیدن رو برنامه‌ریزی میکنه.

اما ممکنه یک یا دو هفته طول بکشه تا به نتیجه برسید.

اگر هنگام خزیدنِ زنده هم با خطا مواجه شدید، در ادامه دلایل رایجش رو ذکر میکنم تا بتونید برطرفش کنید.

علل رایج خطای “Submitted URL Has Crawl Issue”

5 دلیل رایج برای خطای “Submitted URL Has Crawl Issue”وجود داره:

• صفحاتی که خطای ۴۰۴ دارند را در نقشه سایت خود قرار دادید. بنابراین یا صفحه رو از نقشه سایت حذف کنید یا خطای ۴۰۴ رو با ریدایرکت برطرف کنید.

• دارایی هایی مثل تصاویر، ویدئوها، فایل های PDF و غیره در نقشه سایت خودتون قرار دادید. گوگل نمیتونه این دارایی ها رو بخزه. پس اونها رو از نقشه سایتتون حذف کنید.

• صفحاتی در نقشه سایت خود دارید که به تصاویر هدایت میشن. هر صفحه ای رو که به دارایی ها هدایت میشن از نقشه سایت حذف کنید.

• صفحه دارای خطای خزیدن بود اما اکنون مشکلی نداره، فقط گزارش index به‌روزرسانی نشده. (گاهی اوقات ممکنه چند روز طول بکشه تا گزارش index به روز بشه).

• صفحه رو حذف کردید بنابراین وضعیت HTTP 410 (“Gone”) رو داره. بین خزیدنِ گوگل و حذف صفحه از جستجوی گوگل تاخیر وجود داره. بنابراین تا یه مدت این خطا رو مشاهده خواهید کرد.

پس از رفع مشکلاتِ ذکر شده در بالا، از ابزار URL Inspection برای تست کارکرد صفحه استفاده کنید. پس از تست می تونید درخواست ایندکس بدید.

اگر علت جدیدی کشف کردید که در بالا ذکر نشده، لطفاً توی نظرات به ما بگید.

جمع بندی

گزارش Index در گوگل سرچ کنسول هر گونه خطا در سایت شما رو که مربوط به ایندکس شدن باشه نشون میده. همچنین، با استفاده از ابزار URL Inspection میتونید جدیدترین داده های خزیدن گوگل رو مشاهده کنید.

با استفاده از این ابزار می تونید خطاهایی رو که در حین خزیدن اتفاق افتاده ببینید. یعنی هر خطایی که هنگام خزیدن گوگل باهاش مواجه میشه و باعث میشه گوگل نتونه صفحه رو ایندکس کنه.

بنابراین باید این مشکل رو در اسرع وقت برطرف کنید.

سخت‌ترین خطای گوگل سرچ کنسول “Submitted URL has crawl issue” هستش. این خطا خیلی کلیه و گوگل اطلاعات بسیار کمی در مورد نحوه رفعش به ما میده.

در عوض، باید به ابزار “URL Inspection” مراجعه کنید. نسخه ذخیره شده گوگل رو با نسخه زنده (Live version) مقایسه کنید.

اگر نسخه زنده هیچ خطایی نداشته باشه، میتونیم درخواست بدیم که صفحه رو دوباره ایندکس کنه

که میتونه یک تا دو هفته طول بکشه.

اگر نسخه زنده هم خطایی داره، علل رو بررسی کنید و دوباره تست کنید.

وقتی گوگل بتونه صفحه رو بخزه، میتونه اون صفحه رو ایندکس کنه و در نتایج جستجو نشون بده.

در این مقاله در مورد رفع خطای “Submitted URL Has Crawl Issue” در گوگل سرچ کنسول صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.