«Not found (404)» و «Soft 404» وضعیت هایی در گوگل سرچ کنسول هستند که صفحات ایندکس نشده سایتتون رو نشون میدن. اسمشون مثل همه و هر دو میتونند به شدت به سئو سایتتون آسیب برسوند اما دلایل کاملاً متفاوتی دارند:

⚫در مورد Not Found (404) گوگل نمیتونه صفحه شما رو ایندکس کنه زیرا محتوایی در اون وجود نداره.

⚫در مورد “Soft 404″، صفحه گوگل رو گیج کرده. حتی اگه سرور میگه صفحه در دسترسه، اما محتواش گم شده.

رفع خطای «Not found (404)» و «Soft 404» برای تجربه کاربری، بهینه‌سازی بودجه خزش و استراتژی ایندکس سایت شما ضروری هستش.

توی این مقاله میخوایم تفاوت های اونها رو بیشتر بررسی کنیم و یاد بگیریم که چگونه باید برطرفشون کنیم.




فهرست:




به عبارت ساده، خطای “Not found (404)” زمانی رخ میده که شما با یه خزنده وب سعی می کنید از یه صفحه بازدید کنید، اما اون صفحه دیگه وجود نداره. بنابراین، وب سایت با پیام خطای 404 به شما میگه که نمیتونه صفحه مورد نظر رو پیدا کنه. گوگل صفحاتی رو با خطای 404 ایندکس نمیکنه زیرا محتوای ارزشمندی ارائه نمیده.

⚡ربات گوگل برای بازیابی یه صفحه مشخص با سرور شما ارتباط برقرار کرد

⚡سرور نتونست URL درخواستی رو پیدا کنه، بنابراین با کد پاسخ HTTP 404 پاسخ داد.

سرورها از طریق کدهای وضعیت با خزنده ها و مرورگرها ارتباط برقرار می کنند. هر زمان که صفحه ای رو بدون مشکل مشاهده میکنید، سرور به احتمال زیاد به درخواست مرورگر با کد وضعیت 200 پاسخ داده.

همچنین کدهای وضعیت بسیاری وجود دراه که به خطاهای احتمالی اشاره میکنه، به همین دلیل سرور نمیتونه به شما اجازه دسترسی به یه صفحه رو بده. کد وضعیت 404 یکی از اونهاست. به این معنی که صفحه در دسترس نیست زیرا سرور اون رو پیدا نکرده.

گوگل صفحات 404 رو ایندکس نمیکنه زیرا برای کاربران ارزشی ندارند.

بیشتر بخوانید : حذف صفحات سایت و تاثیر آن در سئو + روش صحیح حذف URL




خطای “Not found (404)” در گوگل سرچ کنسول میتونه دلایل مختلفی داشته باشه:


حذف یک صفحه

بعضی وقتها پیش میاد که به طور تصادفی یه صفحه رو حذف می‌کنید. اگه یه صفحه مهم باشه و لینک‌های زیادی هم داره، حذفش میتونه باعث از دست دادن ترافیک قابل توجهی برای وب سایت شما بشه.

اما وقتهایی هم هست که میخواید عمدا محتوایی رو حذف کنید. دلایل مختلفی برای این امر وجود داره مثلا:

⛔بهینه سازی محتوای تکراری که برای کسب و کار و کاربران شما ارزشی نداره

⛔داشتن صفحات یتیمی که ترافیک به وب سایت شما هدایت نمی کنند و نمیتونید به آنها لینک بدید یا ریدایرکت‌شون کنید.

⛔ صفحات محصولات ناموجود که دیگه تقاضای جستجو یا بک لینک ندارند

⛔مخفی کردن محتوایی که به طور ناخواسته در سایت تولید منتشر کردید

اشکالی نداره صفحه ای رو که هیچ ارزش تجاری برای وب سایت شما نداره یا ممکنه به سئو سایتتون آسیب برسونه رو حذف کنید.

و تا زمانی که نمیتونید این مشکلات رو به روش دیگه‌ای حل کنید (به عنوان مثال، محتوای خود را تغییر دهید یا ریدایرکت کنید)، میتونید حذفشون کنید.


تغییر ساختار URL

وب سایت‌های فعال دائما در حال تغییر هستند ، بنابراین طبیعیه که برخی از آدرس های URL با گذشت زمان تغییر کنند.

اما یادتونه باشه اگه لینکی که به یه صفحه اشاره میکنه نادرست باشه، سرور محتوای درخواستی رو به کاربران ارائه نمیده زیرا نمیتونه اون رو پیدا کنه.

مورد دیگر زمانیه که هنگام افزودن دستی لینک ها اشتباه تایپی می‌کنید.

به عنوان مثال:

❌کلمات با املای متناوب (optimisation و optimization)

❌افزودن فاصله‌ به URL که با رشته %20 جایگزین میشن (example.com/red-%20car)

این تغییر ممکنه از دیدگاه شما ناچیز به نظر برسه. با این حال، برای ربات های موتور جستجو، حتی یه تفاوت جزئی در آدرس URL به عنوان یه URL متفاوت تفسیر میشه.


حتی اگه داشتن برخی از صفحات “Not found (404)” اجتناب ناپذیر باشه، بهینه نشدن اونها ممکنه مشکلاتی رو برای سایتتون به وجود بیاره.


تجربه کاربری منفی

مهم نیست کاربران چجوری صفحات 404 سایتتون رو پیدا میکنند، مطمئنا از دیدن یه صفحه خالی خوشحال نمیشد.

عدم مشاهده محتوا در صفحه تجربه منفی برای کاربر ایجاد میکنه و احساس کاربران نسبت به وب سایت شما مستقیماً روی نرخ تبدیل تأثیر میذاره.

بنابراین، باید اطمینان حاصل کنید که بازدیدکنندگان در هنگام مواجهه با صفحات 404 در وب سایت احساس گم شدن نکنند.

بنابراین میتونید یه صفحه سفارشی 404 ایجاد کنید که نه تنها از نظر بصری جذاب باشه، بلکه بیشتر از همه به کاربران اطلاع بده:

✅چرا صفحه “Not found (404)” رو می بینند،

✅چه اقدامات دیگری میتونند در وب سایت شما انجام بدن، به عنوان مثال، خواندن مقالات برتر.


هدر رفتن بودجه خزش

گوگل برای خزدیدن صفحات در وب منابع محدودی داره.

اگر ربات‌ها بتونند آزادانه صفحات “Not found (404)” شما رو بخزند، ممکنه قبل از اینکه به صفحات ارزشمندتر در سایت برسند بودجه خزش تموم بشه.

بنابراین برای بودجه خزش باید سایتتون رو بهینه کنید.


کاهش پتانسیل ترافیک و سیگنال های رتبه بندی

اگر لینک های داخلی و خارجی زیادی دارید که به صفحات 404 اشاره می کنند، پیج رنک به هدر میره.




ابتدا فهرست صفحات آسیب‌دیده رو در گزارش page indexing مرور کنید تا ببینید نتیجه تصمیم عمدی هستند یا خیر.

نحوه عیب یابی صفحات "Not found (404)"

همچنین، اگه وب سایت بزرگی رو مدیریت می کنید، بررسی صفحات 404 با یه خزنده سئو مثل Screaming Frog یا WebSite Auditor آسون تر هستش.

نکته دیگه ای که باید بررسی کنید اینه که مطمئن بشید نقشه سایت XML شما صفحات “Not found (404)” رو نداشته باشه. برای اینکه این قضیه رو چک کنید، فیلتر رو گوشه ی بالا سمت چپ روی “All submitted pages” بذارید.

صفحات در نقشه سایت

در حالت ایده‌آل، از اونجایی که فایل نقشه سایت شما فقط باید شامل صفحاتی باشه که با کد وضعیت 200 پاسخ میدن، نباید هیچ نشانی اینترنتی رو در لیست «All submitted pages» ببینید.

اگه توی این لیست صفحه‌ای رو دیدید دو حالت داره:

⭐دیگه نمیخواید صفحه ایندکس بشه- صفحه رو حذف کردید اما فایل نقشه سایت رو به روز نکردید، یا نقشه سایت خود رو به روز کردید، اما به هر حال حاوی صفحه خطا هستش.

همیشه باید نقشه سایتتون رو هر بار که تغییرات ایجاد می کنید، به روز کنید.

و به یاد داشته باشید که حتی اگه تغییرات رو اجرا کردید، فوراً توی سرچ کنسول نتیجه رو نمیتونید بببینید. وقتی گوگل نقشه سایت شما رو دوباره بخزه، اون موقع توی سرچ کنسول میتونید نتیجه رو ببینید.

⭐می خواید صفحه ایندکس بشه اما به اشتباه URL رو حذف کردید. همیشه نقشه سایتتون رو به روز و بهینه کنید تا بودجه خزش سایتتون هدر نره.


ریدایرکت 301 انجام بدید

برای رفع خطای “Not found (404)” زمانی ریدایرکت انجام بدید که:

➕میخواید صفحه رو به صفحه دیگه ای منتقل کنید که از نظر معنایی بهش ربط داره
➕صفحه رو حذف کردید، اما صفحه دیگری در وب سایتتون دارید که بهش مرتبطه و می خواید کاربران به اون صفحه سر بزنند
➕صفحه‌ای رو که ترافیک داشت یا هنوز تقاضای جستجو برای کلمات کلیدی مورد نظر رو داره، حذف کردید
➕لینک‌های داخلی و خارجی زیادی داره


در بهترین حالت، پس از ریدایرکت (و پس از خزیدن مجدد URL توسط گوگل)، صفحه “Not found (404)” وضعیت خود را به “Page with redirect“ در سرچ کنسول تغییر میده.

اما نباید صفحات “Not found (404)” رو به صفحات غیرمرتبط ریدایرکت کنید. در این صورت، ممکنه مشکلات دیگری در وب سایت مثل خطای “Soft 404” به وجود بیاد که در ادامه راجبش صحبت میکنیم.


وقتی فکر می‌کنید صفحه‌ای نباید وجود داشته باشه، پس کد 404 براش مناسبه، اما مطمئن بشید که لینک هم نداشته باشه.

می تونید لینک های داخلی به صفحه 404 رو با لینک هایی به صفحات مرتبط که با کد وضعیت 200 پاسخ میدن جایگزین کنید.

برای لینک های خارجی، میتونید با وب‌سایت‌هایی که به شما لینک دادند تماس بگیرید و از اونها بخواهید لینکی که دیگه وجود نداره رو حذف کنند.

اگه این موضوع امکانپذیر نیست، صفحه رو ریدایرکت 301 کنید (یا محتوای مرتبط جدیدی ایجاد کنید و بهش ریدایرکت کنید)، یا کد وضعیت HTTP 410 رو بهش بدید.




گوگل صفحاتی رو که دارای دو شرط باشند به عنوان Soft 404 برچسب گذاری میکنه:

❌به نظر میرسه محتواش گم شده
❌اما، سرور همچنان با کد وضعیت 200 پاسخ میده


به عبارت دیگر، گوگل فکر میکنه اون URL باید کد وضعیت 404 رو به جای کد وضعیت 200 برگردونه. بر این اساس نتیجه میگیره که صفحه نباید ایندکس بشه.




می تونید صفحاتی که تحت تأثیر وضعیت “Soft 404” قرار گرفتند رو در گزارش page indexing ببینید.

خطای soft 404

با کلیک بر روی نام وضعیت میتونید اطلاعات بیشتری در مورد صفحات کسب کنید. در این بخش نموداری رو میبینید که نشون میده چگونه تعداد صفحاتِ تحت تأثیر در طول زمان تغییر کردند و همچنین فهرستی از URL ها رو مشاهده خواهید کرد. لیست این صفحات رو را با استفاده از دکمه واقع در گوشه سمت راست بالا Export کنید.

در ادامه، راه‌های برطرف کردن این خطا رو بهتون معرفی میکنم.




مطمئن شوید که صفحات غیر موجود کد وضعیت 404 را برمی گرداند

بسیاری از وب سایت ها صفحات سفارشی 404 دارند که به جای اینکه فقط گزارش خطا رو نشون بده به کاربران کمک میکنه تا اطلاعات مورد نیازشون رو پیدا کنند و اونها رو تشویق به کاوش در دامنه میکنه. اما گاهی اوقات وقتی بدون بررسی رها میشن، فرآیند به هم میریزه و این صفحات کد وضعیت HTTP 200 رو برمی‌گردونند.

این برای سئوی شما بده زیرا صفحه خالی که کد 200 داشته باشه باعث میشه بودجه خزش سایتتون هدر بره. راه حل این مشکل اینه که کد وضعیت صحیح برای صفحاتی که وجود ندارند (حتی اگر سفارشی شده باشند) برگردونید.


از ریدایرکت به صفحات نامرتبط خودداری کنید

هنگامی که با تعداد زیادی صفحات منسوخ یا خالی روبرو میشید، ممکنه وسوسه بشید که همه‌ش رو به صفحه اصلی ریدایرکت کنید. اما این راه حل خوبی نیست.

هنگامی که با این نوع ریدایرکت مواجه میشید، ممکنه گوگل اون رو به عنوان Soft 404 برچسب گذاری کنه. برای حل این مشکل، هنگام ایجاد ریدایرکت، قوانین سخت گیرانه تری رو رعایت کنید:

⚡ریدایرکت ها رو از نظر موضوعی مرتبط نگه دارید،
⚡هنگامی که نمیتونید صفحه دیگری مطابق با هدف کاربر پیدا کنید، به جای ریدایرکت کد وضعیت 404 بهش بدید


صفحاتی با محتوای کم یا بدون محتوای نداشته باشید

یک مثال خوب از صفحه‌ای با محتوای کم یا بدون محتوا یه صفحه دایرکتوری خالی در سایت فروشگاهی با محصولاتی هستش که مرتباً در انبار موجود میشن و به اتمام میرسن. احتمالا گوگل اون رو به عنوان soft 404 در نظر میگیره.

صفحاتی با محتوای کم برای کاربران شما مفید نیستند و تهدیداتی برای سئوی ایجاد می کنند، مثل:

⛅هدر دادن بودجه خزش
⛅متقاعد کردن گوگل به اینکه کل وب سایت شما فاقد کیفیته، که گوگل رو از خزیدن در وب سایت شما منصرف میکنه.
⛅رتبه‌بندی پایین‌تر


بهتره با استفاده از متا تگ noindex از ایندکس شدن صفحات با محتوای کم یا بی محتوا جلوگیری کنید. همچنین ایده خوبیه که معماری سایت خود رو بررسی کنید و ببینید که کدوم دسته از محصولات هدف شما رو برآورده نمی کنند و مورد نیاز نیستند.


مشکلات رندرینگ خود را برطرف کنید

ممکنه برخی از محتوا برای گوگل قابل مشاهده نباشه. چنین مشکلاتی اغلب زمانی اتفاق میافته که فایل robots.txt خزنده‌ها رو از دسترسی به فایل‌های CSS یا جاوا اسکریپت مسدود کرده باشه.

با بررسی کردن صفحات در ابزار URL Inspection، میتونید متوجه بشید که آیا گوگل صفحات شما رو به درستی رندر می کنه یا نه. تنها کاری که باید انجام بدید اینه که روی نماد ذره بین در کنار URL انتخاب شده از لیست “Soft 404” کلیک کنید.

 ابزار URL Inspection برای خطای soft 404

برای رفع این مشکل، مطمئن بشید که گوگل به منابع لازم برای رندر دسترسی داره. فایل robots.txt خودتون رو مرور کنید و مطمئن شوید که خزیدن CSS و جاوا اسکریپت مجاز هستش.




مهم نیست دلیلش چیه، وقتی سرور با کد وضعیت 404 پاسخ میده، دو تا معنی داره:

❌نمیتونه صفحه شما رو پیدا کنه

❌و نمیتونه اون رو ایندکس کنه

از اون طرف، صفحه “Soft 404” کد وضعیت 200 رو برمیگردونه، اما گوگل متقاعد شده که خطای 404 براش مناسب تره.

اگر مطمئن هستید که صفحه نباید وجود داشته باشه، ریدایرکت 301 انجام بدید تا جریان ترافیکش به صفحه دیگه ای منتقل بشه.

یه صفحه سفارشی 404 ایجاد کنید تا تجربه منفی کاربر رو به حداقل برسونید و بازدیدکنندگان رو در وب سایت خود نگه دارید.

برای عیب‌یابی وضعیت «Soft 404» در Google Search Console:

اینها راه حل های موثری برای خطای 404 و 404 soft هستند، اما هیچ کدوم نتایج پایدار رو تضمین نمی کنند.

در این مقاله در مورد خطای Soft 404 در مقابل Not Found (404) صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *