خطای Soft 404 در مقابل Not Found (404): تفاوت و نحوه رفع آنها

«Not found (404)» و «Soft 404» وضعیت هایی در گوگل سرچ کنسول هستند که صفحات ایندکس نشده سایتتون رو نشون میدن. اسمشون مثل همه و هر دو میتونند به شدت به سئو سایتتون آسیب برسوند اما دلایل کاملاً متفاوتی دارند:

⚫در مورد Not Found (404) گوگل نمیتونه صفحه شما رو ایندکس کنه زیرا محتوایی در اون وجود نداره.

⚫در مورد “Soft 404″، صفحه گوگل رو گیج کرده. حتی اگه سرور میگه صفحه در دسترسه، اما محتواش گم شده.

رفع خطای «Not found (404)» و «Soft 404» برای تجربه کاربری، بهینه‌سازی بودجه خزش و استراتژی ایندکس سایت شما ضروری هستش.

توی این مقاله میخوایم تفاوت های اونها رو بیشتر بررسی کنیم و یاد بگیریم که چگونه باید برطرفشون کنیم.

---

فهرست:

• خطای “Not found (404)” در واقع به چه معناست؟
• علت خطای “Not found (404)” در گوگل سرچ کنسول چیست؟
  • حذف یک صفحه
  • تغییر ساختار URL
• خطاهای ۴۰۴ چگونه بر سئو تاثیر می گذارند؟
  • تجربه کاربری منفی
  • هدر رفتن بودجه خزش
  • کاهش پتانسیل ترافیک و سیگنال های رتبه بندی
• نحوه عیب یابی صفحات “Not found (404)”
  • ریدایرکت ۳۰۱ انجام بدید
  • بر لینک های داخلی و خارجی نظارت داشته باشید
• خطای “Soft 404” به چه معناست؟
• روش رفع خطا “Soft 404” در گوگل سرچ کنسول
  • مطمئن شوید که صفحات غیر موجود کد وضعیت ۴۰۴ را برمی گرداند
  • از ریدایرکت به صفحات نامرتبط خودداری کنید
  • صفحاتی با محتوای کم یا بدون محتوای نداشته باشید
  • مشکلات رندرینگ خود را برطرف کنید
• جمع بندی

---

خطای “Not found (404)” در واقع به چه معناست؟

به عبارت ساده، خطای “Not found (404)” زمانی رخ میده که شما با یه خزنده وب سعی می کنید از یه صفحه بازدید کنید، اما اون صفحه دیگه وجود نداره. بنابراین، وب سایت با پیام خطای ۴۰۴ به شما میگه که نمیتونه صفحه مورد نظر رو پیدا کنه. گوگل صفحاتی رو با خطای ۴۰۴ ایندکس نمیکنه زیرا محتوای ارزشمندی ارائه نمیده.

⚡ربات گوگل برای بازیابی یه صفحه مشخص با سرور شما ارتباط برقرار کرد

⚡سرور نتونست URL درخواستی رو پیدا کنه، بنابراین با کد پاسخ HTTP 404 پاسخ داد.

سرورها از طریق کدهای وضعیت با خزنده ها و مرورگرها ارتباط برقرار می کنند. هر زمان که صفحه ای رو بدون مشکل مشاهده میکنید، سرور به احتمال زیاد به درخواست مرورگر با کد وضعیت ۲۰۰ پاسخ داده.

همچنین کدهای وضعیت بسیاری وجود دراه که به خطاهای احتمالی اشاره میکنه، به همین دلیل سرور نمیتونه به شما اجازه دسترسی به یه صفحه رو بده. کد وضعیت ۴۰۴ یکی از اونهاست. به این معنی که صفحه در دسترس نیست زیرا سرور اون رو پیدا نکرده.

گوگل صفحات ۴۰۴ رو ایندکس نمیکنه زیرا برای کاربران ارزشی ندارند.

بیشتر بخوانید : حذف صفحات سایت و تاثیر آن در سئو + روش صحیح حذف URL

---

علت خطای “Not found (404)” در گوگل سرچ کنسول چیست؟

خطای “Not found (404)” در گوگل سرچ کنسول میتونه دلایل مختلفی داشته باشه:

حذف یک صفحه

بعضی وقتها پیش میاد که به طور تصادفی یه صفحه رو حذف می‌کنید. اگه یه صفحه مهم باشه و لینک‌های زیادی هم داره، حذفش میتونه باعث از دست دادن ترافیک قابل توجهی برای وب سایت شما بشه.

اما وقتهایی هم هست که میخواید عمدا محتوایی رو حذف کنید. دلایل مختلفی برای این امر وجود داره مثلا:

⛔بهینه سازی محتوای تکراری که برای کسب و کار و کاربران شما ارزشی نداره

⛔داشتن صفحات یتیمی که ترافیک به وب سایت شما هدایت نمی کنند و نمیتونید به آنها لینک بدید یا ریدایرکت‌شون کنید.

⛔ صفحات محصولات ناموجود که دیگه تقاضای جستجو یا بک لینک ندارند

⛔مخفی کردن محتوایی که به طور ناخواسته در سایت تولید منتشر کردید

اشکالی نداره صفحه ای رو که هیچ ارزش تجاری برای وب سایت شما نداره یا ممکنه به سئو سایتتون آسیب برسونه رو حذف کنید.

و تا زمانی که نمیتونید این مشکلات رو به روش دیگه‌ای حل کنید (به عنوان مثال، محتوای خود را تغییر دهید یا ریدایرکت کنید)، میتونید حذفشون کنید.

تغییر ساختار URL

وب سایت‌های فعال دائما در حال تغییر هستند ، بنابراین طبیعیه که برخی از آدرس های URL با گذشت زمان تغییر کنند.

اما یادتونه باشه اگه لینکی که به یه صفحه اشاره میکنه نادرست باشه، سرور محتوای درخواستی رو به کاربران ارائه نمیده زیرا نمیتونه اون رو پیدا کنه.

مورد دیگر زمانیه که هنگام افزودن دستی لینک ها اشتباه تایپی می‌کنید.

به عنوان مثال:

❌کلمات با املای متناوب (optimisation و optimization)

❌افزودن فاصله‌ به URL که با رشته %۲۰ جایگزین میشن (example.com/red-%۲۰car)

این تغییر ممکنه از دیدگاه شما ناچیز به نظر برسه. با این حال، برای ربات های موتور جستجو، حتی یه تفاوت جزئی در آدرس URL به عنوان یه URL متفاوت تفسیر میشه.

خطاهای ۴۰۴ چگونه بر سئو تاثیر می گذارند؟

حتی اگه داشتن برخی از صفحات “Not found (404)” اجتناب ناپذیر باشه، بهینه نشدن اونها ممکنه مشکلاتی رو برای سایتتون به وجود بیاره.

تجربه کاربری منفی

مهم نیست کاربران چجوری صفحات ۴۰۴ سایتتون رو پیدا میکنند، مطمئنا از دیدن یه صفحه خالی خوشحال نمیشد.

عدم مشاهده محتوا در صفحه تجربه منفی برای کاربر ایجاد میکنه و احساس کاربران نسبت به وب سایت شما مستقیماً روی نرخ تبدیل تأثیر میذاره.

بنابراین، باید اطمینان حاصل کنید که بازدیدکنندگان در هنگام مواجهه با صفحات ۴۰۴ در وب سایت احساس گم شدن نکنند.

بنابراین میتونید یه صفحه سفارشی ۴۰۴ ایجاد کنید که نه تنها از نظر بصری جذاب باشه، بلکه بیشتر از همه به کاربران اطلاع بده:

✅چرا صفحه “Not found (404)” رو می بینند،

✅چه اقدامات دیگری میتونند در وب سایت شما انجام بدن، به عنوان مثال، خواندن مقالات برتر.

هدر رفتن بودجه خزش

گوگل برای خزدیدن صفحات در وب منابع محدودی داره.

اگر ربات‌ها بتونند آزادانه صفحات “Not found (404)” شما رو بخزند، ممکنه قبل از اینکه به صفحات ارزشمندتر در سایت برسند بودجه خزش تموم بشه.

بنابراین برای بودجه خزش باید سایتتون رو بهینه کنید.

کاهش پتانسیل ترافیک و سیگنال های رتبه بندی

اگر لینک های داخلی و خارجی زیادی دارید که به صفحات ۴۰۴ اشاره می کنند، پیج رنک به هدر میره.

---

نحوه عیب یابی صفحات “Not found (404)”

ابتدا فهرست صفحات آسیب‌دیده رو در گزارش page indexing مرور کنید تا ببینید نتیجه تصمیم عمدی هستند یا خیر.

همچنین، اگه وب سایت بزرگی رو مدیریت می کنید، بررسی صفحات ۴۰۴ با یه خزنده سئو مثل Screaming Frog یا WebSite Auditor آسون تر هستش.

نکته دیگه ای که باید بررسی کنید اینه که مطمئن بشید نقشه سایت XML شما صفحات “Not found (404)” رو نداشته باشه. برای اینکه این قضیه رو چک کنید، فیلتر رو گوشه ی بالا سمت چپ روی “All submitted pages” بذارید.

در حالت ایده‌آل، از اونجایی که فایل نقشه سایت شما فقط باید شامل صفحاتی باشه که با کد وضعیت ۲۰۰ پاسخ میدن، نباید هیچ نشانی اینترنتی رو در لیست «All submitted pages» ببینید.

اگه توی این لیست صفحه‌ای رو دیدید دو حالت داره:

⭐دیگه نمیخواید صفحه ایندکس بشه- صفحه رو حذف کردید اما فایل نقشه سایت رو به روز نکردید، یا نقشه سایت خود رو به روز کردید، اما به هر حال حاوی صفحه خطا هستش.

همیشه باید نقشه سایتتون رو هر بار که تغییرات ایجاد می کنید، به روز کنید.

و به یاد داشته باشید که حتی اگه تغییرات رو اجرا کردید، فوراً توی سرچ کنسول نتیجه رو نمیتونید بببینید. وقتی گوگل نقشه سایت شما رو دوباره بخزه، اون موقع توی سرچ کنسول میتونید نتیجه رو ببینید.

⭐می خواید صفحه ایندکس بشه اما به اشتباه URL رو حذف کردید. همیشه نقشه سایتتون رو به روز و بهینه کنید تا بودجه خزش سایتتون هدر نره.

ریدایرکت ۳۰۱ انجام بدید

برای رفع خطای “Not found (404)” زمانی ریدایرکت انجام بدید که:

➕میخواید صفحه رو به صفحه دیگه ای منتقل کنید که از نظر معنایی بهش ربط داره
➕صفحه رو حذف کردید، اما صفحه دیگری در وب سایتتون دارید که بهش مرتبطه و می خواید کاربران به اون صفحه سر بزنند
➕صفحه‌ای رو که ترافیک داشت یا هنوز تقاضای جستجو برای کلمات کلیدی مورد نظر رو داره، حذف کردید
➕لینک‌های داخلی و خارجی زیادی داره

در بهترین حالت، پس از ریدایرکت (و پس از خزیدن مجدد URL توسط گوگل)، صفحه “Not found (404)” وضعیت خود را به “Page with redirect“ در سرچ کنسول تغییر میده.

اما نباید صفحات “Not found (404)” رو به صفحات غیرمرتبط ریدایرکت کنید. در این صورت، ممکنه مشکلات دیگری در وب سایت مثل خطای “Soft 404” به وجود بیاد که در ادامه راجبش صحبت میکنیم.

بر لینک های داخلی و خارجی نظارت داشته باشید

وقتی فکر می‌کنید صفحه‌ای نباید وجود داشته باشه، پس کد ۴۰۴ براش مناسبه، اما مطمئن بشید که لینک هم نداشته باشه.

می تونید لینک های داخلی به صفحه ۴۰۴ رو با لینک هایی به صفحات مرتبط که با کد وضعیت ۲۰۰ پاسخ میدن جایگزین کنید.

برای لینک های خارجی، میتونید با وب‌سایت‌هایی که به شما لینک دادند تماس بگیرید و از اونها بخواهید لینکی که دیگه وجود نداره رو حذف کنند.

اگه این موضوع امکانپذیر نیست، صفحه رو ریدایرکت ۳۰۱ کنید (یا محتوای مرتبط جدیدی ایجاد کنید و بهش ریدایرکت کنید)، یا کد وضعیت HTTP 410 رو بهش بدید.

---

خطای “Soft 404” به چه معناست؟

گوگل صفحاتی رو که دارای دو شرط باشند به عنوان Soft 404 برچسب گذاری میکنه:

❌به نظر میرسه محتواش گم شده
❌اما، سرور همچنان با کد وضعیت ۲۰۰ پاسخ میده

به عبارت دیگر، گوگل فکر میکنه اون URL باید کد وضعیت ۴۰۴ رو به جای کد وضعیت ۲۰۰ برگردونه. بر این اساس نتیجه میگیره که صفحه نباید ایندکس بشه.

---

روش رفع خطای “Soft 404” در گوگل سرچ کنسول

می تونید صفحاتی که تحت تأثیر وضعیت “Soft 404” قرار گرفتند رو در گزارش page indexing ببینید.

با کلیک بر روی نام وضعیت میتونید اطلاعات بیشتری در مورد صفحات کسب کنید. در این بخش نموداری رو میبینید که نشون میده چگونه تعداد صفحاتِ تحت تأثیر در طول زمان تغییر کردند و همچنین فهرستی از URL ها رو مشاهده خواهید کرد. لیست این صفحات رو را با استفاده از دکمه واقع در گوشه سمت راست بالا Export کنید.

در ادامه، راه‌های برطرف کردن این خطا رو بهتون معرفی میکنم.

---

مطمئن شوید که صفحات غیر موجود کد وضعیت ۴۰۴ را برمی گرداند

بسیاری از وب سایت ها صفحات سفارشی ۴۰۴ دارند که به جای اینکه فقط گزارش خطا رو نشون بده به کاربران کمک میکنه تا اطلاعات مورد نیازشون رو پیدا کنند و اونها رو تشویق به کاوش در دامنه میکنه. اما گاهی اوقات وقتی بدون بررسی رها میشن، فرآیند به هم میریزه و این صفحات کد وضعیت HTTP 200 رو برمی‌گردونند.

این برای سئوی شما بده زیرا صفحه خالی که کد ۲۰۰ داشته باشه باعث میشه بودجه خزش سایتتون هدر بره. راه حل این مشکل اینه که کد وضعیت صحیح برای صفحاتی که وجود ندارند (حتی اگر سفارشی شده باشند) برگردونید.

از ریدایرکت به صفحات نامرتبط خودداری کنید

هنگامی که با تعداد زیادی صفحات منسوخ یا خالی روبرو میشید، ممکنه وسوسه بشید که همه‌ش رو به صفحه اصلی ریدایرکت کنید. اما این راه حل خوبی نیست.

هنگامی که با این نوع ریدایرکت مواجه میشید، ممکنه گوگل اون رو به عنوان Soft 404 برچسب گذاری کنه. برای حل این مشکل، هنگام ایجاد ریدایرکت، قوانین سخت گیرانه تری رو رعایت کنید:

⚡ریدایرکت ها رو از نظر موضوعی مرتبط نگه دارید،
⚡هنگامی که نمیتونید صفحه دیگری مطابق با هدف کاربر پیدا کنید، به جای ریدایرکت کد وضعیت ۴۰۴ بهش بدید

صفحاتی با محتوای کم یا بدون محتوای نداشته باشید

یک مثال خوب از صفحه‌ای با محتوای کم یا بدون محتوا یه صفحه دایرکتوری خالی در سایت فروشگاهی با محصولاتی هستش که مرتباً در انبار موجود میشن و به اتمام میرسن. احتمالا گوگل اون رو به عنوان soft 404 در نظر میگیره.

صفحاتی با محتوای کم برای کاربران شما مفید نیستند و تهدیداتی برای سئوی ایجاد می کنند، مثل:

⛅هدر دادن بودجه خزش
⛅متقاعد کردن گوگل به اینکه کل وب سایت شما فاقد کیفیته، که گوگل رو از خزیدن در وب سایت شما منصرف میکنه.
⛅رتبه‌بندی پایین‌تر

بهتره با استفاده از متا تگ noindex از ایندکس شدن صفحات با محتوای کم یا بی محتوا جلوگیری کنید. همچنین ایده خوبیه که معماری سایت خود رو بررسی کنید و ببینید که کدوم دسته از محصولات هدف شما رو برآورده نمی کنند و مورد نیاز نیستند.

مشکلات رندرینگ خود را برطرف کنید

ممکنه برخی از محتوا برای گوگل قابل مشاهده نباشه. چنین مشکلاتی اغلب زمانی اتفاق میافته که فایل robots.txt خزنده‌ها رو از دسترسی به فایل‌های CSS یا جاوا اسکریپت مسدود کرده باشه.

با بررسی کردن صفحات در ابزار URL Inspection، میتونید متوجه بشید که آیا گوگل صفحات شما رو به درستی رندر می کنه یا نه. تنها کاری که باید انجام بدید اینه که روی نماد ذره بین در کنار URL انتخاب شده از لیست “Soft 404” کلیک کنید.

برای رفع این مشکل، مطمئن بشید که گوگل به منابع لازم برای رندر دسترسی داره. فایل robots.txt خودتون رو مرور کنید و مطمئن شوید که خزیدن CSS و جاوا اسکریپت مجاز هستش.

---

جمع بندی

مهم نیست دلیلش چیه، وقتی سرور با کد وضعیت ۴۰۴ پاسخ میده، دو تا معنی داره:

❌نمیتونه صفحه شما رو پیدا کنه

❌و نمیتونه اون رو ایندکس کنه

از اون طرف، صفحه “Soft 404” کد وضعیت ۲۰۰ رو برمیگردونه، اما گوگل متقاعد شده که خطای ۴۰۴ براش مناسب تره.

اگر مطمئن هستید که صفحه نباید وجود داشته باشه، ریدایرکت ۳۰۱ انجام بدید تا جریان ترافیکش به صفحه دیگه ای منتقل بشه.

یه صفحه سفارشی ۴۰۴ ایجاد کنید تا تجربه منفی کاربر رو به حداقل برسونید و بازدیدکنندگان رو در وب سایت خود نگه دارید.

برای عیب‌یابی وضعیت «Soft 404» در Google Search Console:

• بررسی کنید که آیا صفحات موجود به درستی کد وضعیت ۴۰۴ رو برمیگردونند،
• ریدایرکت های نامربوط رو درست کنید
• به صفحات با محتوای کم تگ نوایندکس اضافه کنید
• رندرینگ رو بررسی کنید

اینها راه حل های موثری برای خطای ۴۰۴ و ۴۰۴ soft هستند، اما هیچ کدوم نتایج پایدار رو تضمین نمی کنند.

در این مقاله در مورد خطای Soft 404 در مقابل Not Found (404) صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.