محتوای تکراری (Duplicate Content) در سئو سایت چه تاثیری دارد؟

موتورهای جستجو مثل گوگل یه مشکل دارند که بهش میگن «محتوای تکراری».

محتوای تکراری به این معنیه که محتوایی مشابه در چندین URL یک سایت ظاهر میشه و در نتیجه موتورهای جستجو نمیدونند کدوم URL رو باید در نتایج جستجو نشون بدن. این میتونه به رتبه بندی صفحات سایت آسیب برسونه.
راه های موثری برای جلوگیری از مشکلات محتوای تکراری وجود داره که رایج‌ترین آن ها ریدایرکت ۳۰۱ و تگ کنونیکال هستش.

در این مقاله میخوایم در مورد تاثیر محتوای تکراری در سئو سایت و روش پیدا کردن این صفحات در سایت خودتون صحبت کنیم.

برای دریافت مشاوره به صفحه سئو سایت در شیراز مراجعه کنید.

فهرست:

• محتوای تکراری (duplicate content) چیست؟
• چرا محتوای تکراری برای سئو سایت بد است؟
• آیا محتوای تکراری باعث جریمه می شود؟
• رایج ترین راه حل برای محتوای تکراری چیست؟
• دلایل رایج به وجود آمدن محتوای تکراری
  • محتوای تکراری به دلیل مشکلات فنی
    • WWW در مقابل بدون WWW و HTTPS در مقابل HTTP
    • ساختار URL: حروف کوچک و بزرگ و اسلش پایانی
    • صفحات ایندکس (index.html، index.php)
    • پارامترهای فیلترینگ
    • دسته بندی ها
  • محتوای تکراری ناشی از محتوای کپی شده
• روش پیدا کردن محتوای تکراری در سایت
• سوالات متداول در مورد محتوای تکراری
• جمع بندی

محتوای تکراری (duplicate content) چیست؟

خیلی ساده بخوام بگم، محتوای تکراری یا همون duplicate content به محتوای بسیار مشابه یا دقیقاً یکسان اشاره داره که در چندین صفحه‌ی وب سایت شما یا سایر وب سایت ها موجود هستش.

به طور کلی، محتوای تکراری ارزش چندانی برای بازدیدکنندگان نداره. بنابراین، صفحاتی که محتوای اندک دارند یا بدون محتوای هستند هم به عنوان محتوای تکراری در نظر گرفته میشن:

✅محتوای تکراری برای بازدیدکنندگان ارزش چندانی ندارد و موتورهای جستجو را سردرگم می کنند.
✅از داشتن محتوای تکراری خودداری کنید، زیرا ممکن است به سئوی سایت شما آسیب برساند.
✅محتوای تکراری می تواند ناشی از مشکلات فنی و محتوای کپی باشد.

بیشتر بخوانید : تاثیر فایل PDF در سئو-بررسی مزایا و معایب آن

چرا محتوای تکراری برای سئو سایت بد است؟

محتوای تکراری به دو دلیل برای سئو سایت بده:

۱.وقتی چندین نسخه از محتوا در دسترس باشه، گوگل گیج میشه و نمیدونه کدوم رو باید ایندکس کنه و تو صفحه SERP نشون بده. بنابراین عملکرد تمام صفحات با محتوای تکراری کاهش پیدا میکنه چونکه این صفحات با هم رقابت میکنند و از قدرت همشون کاسته میشه.

۲.گوگل همچنین برای تعیین معیارهای بک لینک که قدرت، ارتباط و اعتماد هستند در این صفحات دچار مشکل میشه، به خصوص زمانی که وب سایت های دیگه به بیش از یه نسخه از اون محتوا لینک دادند.

یعنی اگر دو صفحه با محتوای یکسان داشته باشیم و هر دو صفحه بک لینک دریافت کرده باشند، این کار رو برای گوگل سخت‌تر میکنه. چون گوگل صفحه ای که لینک بیشتری داشته باشه رو معمولا به عنوان صفحه اصلی در نظر میگیره. آقای بری آدامز سئوکار معروف در این رابطه میگن:

“محتوای تکراری می تواند باعث مشکلات جدی سئو شود و سیگنال های متناقضی را به موتورهای جستجو ارسال کند. اقدامات مناسب برای اطمینان از اینکه محتوای شما دارای URL های منحصر به فرد است انجام دهید، تا هر صفحه بهترین شانس را برای رتبه بندی خوب و هدایت ترافیک به سایت داشته باشد.”

آیا محتوای تکراری باعث جریمه می شود؟

داشتن محتوای تکراری میتونه به سئو سایت آسیب برسونه. اما تا زمانی که عمداً محتوای یه سایت دیگه رو کپی نکرده باشید، جریمه‌ای از جانب گوگل دریافت نمی‌کنید. اگر سایت شما چند تا مشکل فنی و تکنیکال داشته باشه و سعی نکردید گوگل رو دور بزنید یا فریب بدید، لازم نیست نگران دریافت جریمه باشید.

اگر حجم زیادی از محتوای دیگران رو کپی کردید، گوگل مسلما جریمه‌تون خواهد کرد. خود گوگل در مورد این موضوع میگه:

✍”محتوای تکراری در یک سایت دلیلی برای جریمه نیست، مگر اینکه به نظر برسد که هدف از محتوای تکراری فریبکاری و دستکاری نتایج موتورهای جستجو است. اگر سایت شما از مشکلات محتوای تکراری رنج می برد و توصیه های ذکر شده را رعایت نمی کنید، ما خودمان نسخه ای از محتوا را برای نمایش در نتایج جستجو انتخاب می کنیم.”

نظر پیشکسوتانِ سئو هم در مورد جریمه محتوای تکراری این هستش:

“مردم اغلب تصورات نادرستی در مورد محتوای تکراری دارند. اگر یک یا دو صفحه کم اهمیت با محتوای تکراری دارید، واقعا جای نگرانی نیست. مشکلات واقعی زمانی به وجود می آیند که وب سایت شما به دلیل توسعه ضعیف و مسائل فنی سئو، محتوای تکراریِ زیادی تولید می کند. اینها ممکن است به عوارض خزیدن و مشکلات ترافیکی منجر شود. محتوای تکراری همچنین ممکن است نگران کننده باشد اگر دامنه دیگری محتوای شما را کپی کرده است و آن صفحات از صفحه شما رتبه بالاتری بگیرند، که به ندرت این چنین است، اما اتفاق می افتد!
در نهایت، بزرگترین نگرانی در مورد محتوای تکراری مربوط به بک لینک هایی است که در نتیجه آن اتفاق می افتد. اگر دو نسخه از یک صفحه داشته باشید و کاربران ندانند کدام یک “اصلی” است، ممکن است هر دو نسخه بک لینک دریافت کنند. به این ترتیب به جای اینکه یک صفحه تمام بک لینک ها را دریافت کند، بک لینک ها بین دو یا چند صفحه تقسیم می شوند.”
– پل شاپیرو، رئیس بخش فنی سئو و مدیریت محصولات سئو در Shopify

“آیا می دانستید ۲۵ تا ۳۰ درصد وب محتوای تکراری است و این اشکالی ندارد! این باعث جریمه نمیشود. اما من قاطعانه معتقدم باید مشخص کنید که چگونه با محتوای تکراری برخورد می‌کنید، اگر کاری انجام ندهید، گوگل راه‌های زیادی برای حل مشکلات تکراری برای شما دارد. من زیاد نگران این موضوع نیستم مگر اینکه کاری انجام دهید که می‌تواند مشکلات عمده‌ای به وجود بیارد مانند کپی محتوا از وب‌سایت‌های دیگر.”
-پاتریک استوکس، متخصص سئو فنی

رایج ترین راه حل برای محتوای تکراری چیست؟

در بسیاری از موارد، بهترین راه حل برای محتوای تکراری، ریدایرکت ۳۰۱ از نسخه غیر ترجیحی URL به نسخه اصلی هستش.

✌بیشتر بخوانید: ریدایرکت ۳۰۱ چیست؟ 

زمانی که میخواید URL ها در دسترسِ بازدیدکنندگان باشند، نمی تونید از ریدایرکت استفاده کنید، اما می تونید بهشون تگ کنونیکال بدید.

بیشتر بخوانید: ریدایرکت ۳۰۱ یا تگ کنونیکال (Canonical): از کدام استفاده کنیم؟

برای مبارزه با محتوای تکراری باید با دقت اسلحه‌تون رو دقت انتخاب کنید چونکه هر کدوم مزایا و معایب خودشون رو دارند و هیچ رویکردی برای انواع مختلف محتوای تکراری مناسب نیست.

برای آشنایی با علل مختلف ایجاد محتوای تکراری، بخش زیر رو بخونید و ببینید کدوم روش برای مقابله باهاش در سایت شما مناسب تره.

دلایل رایج به وجود آمدن محتوای تکراری

محتوای تکراری اغلب به دلیل راه اندازی نادرست وب سرور یا وب سایت به وجود میاد. پس در کل ماهیت فنی داره و گوگل هم هرگز بخاطرش شما رو جریمه نمیکنه، اما به رتبه بندی سایتتون آسیب میرسونه، بنابراین باید حتما حلش کنید.

اما علاوه بر دلایل فنی، دلایل انسانی هم میتونه باعث به وجود اومدن محتوای تکراری بشه. مثلا، محتوایی که عمداً از سایت دیگه کپی کردید و عین همون رو تو سایتتون قرار دادید. همونطور که گفتم، اگر با اینکار قصد دور زدن گوگل رو داشته باشید، حتما جریمه‌تون میکنه.

محتوای تکراری به دلیل مشکلات فنی

WWW در مقابل بدون WWW و HTTPS در مقابل HTTP

فرض کنید از زیر دامنه www و HTTP استفاده می کنید، بنابراین URL محتوای شما باید این شکلی باشه:

 https://www.example.com

پس این میشه دامنه کنونیکال شما.

بیشتر بخوانید: با WWW یا بدون WWW: کدام برای سئو سایت بهتر است؟

اگر وب سرورتون بد پیکربندی شده باشه، ممکنه محتوای شما از این URL ها هم قابل دسترسی باشه:

باید حتما یه روش ترجیحی برای ارائه محتوای خودتون انتخاب کنید و همه نسخه های کپی را به نسخه اصلی (https://www.example.com) ریدایرکت کنید.

بیشتر بخوانید: HTTPS چیست و چرا برای سئو سایت اهمیت دارد؟

ساختار URL: حروف کوچک و بزرگ و اسلش پایانی

گوگل به حروف بزرگ و کوچک حساس هستش، یعنی:

 https://example.com/url-a

و

https://example.com/url-A

از نظر گوگل دو تا URL متفاوتند.

هنگامی که در حال ایجاد لینک هستید، ممکنه اشتباه تایپی باعث بشه هر دو نسخه URL ایندکس بشن. توجه داشته باشید که موتور جستجو Bing به حروف بزرگ و کوچک حساس نیست.

اسلش رو به جلو (/) در انتهای URL، اسلش پایانی نامیده میشه. اغلب URL ها از طریق هر دو نوع قابل دسترسی هستند:

https://example.com/url-a 

و

/https://example.com/url-a

یه ساختار ترجیحی برای URL هاتون انتخاب کنید و نسخه های غیر ترجیحی رو به نسخه URL ترجیحی ریدایرکت ۳۰۱ کنید.

“ادغام محتوای تکراری به معنای اجتناب از جریمه گوگل نیست، بلکه به معنای لینک سازی است. لینک ها برای سئو ارزشمند هستند، اما اگر به صفحات تکراری تبدیل شوند، به شما کمکی نمی کنند و به هدر می روند.”
-هملت باتیستا، مدیر عامل RankSense

صفحات ایندکس (index.html، index.php)

ممکنه بدون اینکه خودتون هم بدونید، صفحه اصلی‌تون از طریق چندین URL قابل دسترسی باشه زیرا سرور وب شما به درستی پیکربندی نشده. علاوه بر https://www.example.com، صفحه اصلی شما نیز ممکنه از چند طریق قابل دسترسی باشه:

https://www.parsavesta.com/index.html
https://www.parsavesta.com/index.asp
https://www.parsavesta.com/index.aspx
https://www.parsavesta.com/index.php

یه روش ترجیحی برای ارائه صفحه اصلی خودتون انتخاب کنید و نسخه های غیر ترجیحی رو به نسخه ترجیحی ریدایرکت ۳۰۱ کنید.

اگر در هر کدوم از این URL ها محتوای منحصر به فرد هم دارید، فرعی ها رو به صفحه اصلی تگ کنونیکال بدید چونکه ریدایرکت کردن باعث از بین رفتن صحفه های فرعی میشه.

پارامترهای فیلترینگ

وب سایت ها اغلب از پارامترها در URL استفاده می کنند تا بتوانند عملکرد فیلترینگ رو ارائه بدن. برای مثال این URL رو در نظر بگیرید:

https://www.example.com/mobiles/sumsung?colour=black

این صفحه تمام موبایل های سامسونگ با رنگ سیاه رو نشون میده.

در حالی که پارامترها باعث میشن کاربران خیلی راحتتر توی سایت شما بچرخند و محصولاتتون رو ببینند، اما برای گوگل مشکلات بزرگی ایجاد میکنند. وقتی بیش از یه گزینه‎ فیلتر در دسترس باشه، ترکیبات بی نهایت میتونن ایجاد میشن. برای اینکه بیشتر با این قضیه آشنا بشید از دیجی کالا براتون مثال می زنم.

وقتی وارد سایت دیجی کالا میشید و روی محصول خاصی کلیک میکنید، سمت راست صفحه میتونید بر اساس فیلتر های مختلف مانند برند، اندازه، رنگ، قیمت و… فقط اونهایی که میخواید رو مشاهده کنید:

URL دسته بندی کفش مردانه در دیجی کالا این هستش:

https://www.digikala.com/search/category-men-sport-shoes-/

حالا اگه برند رو بذاریم روی “ایر جردن”، اندازه رو بذاریم روی “۴۱” و رنگ رو بذاریم روی “مشکی”، هر کدوم از این فیلترها یه پارامتر به URL اصلی اضافه میکنه:

https://www.digikala.com/search/category-men-sport-shoes-/?brands%5B0%5D=1728&color_palettes%5B0%5D=8&sizes%5B0%5D=9264

همونطور که میبینید، پارامتر “brands”، “color_palettes” و “sizes” به URL اضافه شده است.

هر پارامتری که به URL اصلی اضافه میشه، یه URL جدید به وجود میاره و باعث ایجاد محتوای تکراری در سایت میشه. این مشکل به ویژه برای سایت های فروشگاهی بسیار رایج هستش.

برای جلوگیری از محتوای تکراری که با فیلتر در سایت به وجود میاد، باید URL کنونیکال داشته باشید. اما چون این پروسه زمانگیر هستش و همچنین باعث هدر رفتن بودجه خزش میشه، توصیه میکنم خزیدن ربات گوگل رو در این URL ها از طریق فایل robots.txt خودتون ببندید.

بیشتر بخوانید: فایل robots.txt چیست؟ روش ساخت فایل robots.txt

برای بستن دسترسی گوگل بات به صفحاتِ فیلتر باید این کد رو به فایل robots.txt خودتون اضافه کنید:

disallow: *?*

همونطور که میبینید، دیجی کالا اینکار روی توی فایل robots.txt خودش انجام داده:

“محتوای تکراری فراگیرترین موضوع سئو است. محتوای تکراری به شکل های مختلفی در سایت به وجود می آید که باید مراقب آنها باشید و یک خطای فنی کوچک می تواند به معنای واقعی کلمه منجر به هزاران صفحه تکراری شود. کنونیکال همیشه راه حل مناسبی نیست.
من وب سایت های بسیار موفقی را دیده ام که به دلیل محتوای تکراری جلوی پیشرفتشان گرفته شده است. در این موارد، رفع مشکلاتی که منجر به محتوای تکراری می‌شود، اغلب افزایش ۲۰ درصدی یا بیشتر در ترافیک ارگانیک را به همراه دارد. وقتی میلیون ها بازدیدکننده دارید، این یعنی صدها هزار درآمد اضافی.”
-جنی هالاس، مدیر سئو، LL Flooring

دسته بندی ها

فرض کنید یک پست وبلاگی دارید که در سه دسته قرار داره، پس از طریق این سه URL میتونیم بهش دسترسی داشته باشیم:

https://wwwparsavesta.com/category-a/topic/
https://www.parsavesta.com/category-b/topic/
https://www.parsavesta.com/category-c/topic/

این باز میشه محتوای تکراری. حتما یکی از این دسته‌ها را به‌عنوان دسته‌های اصلی انتخاب کنید و به فرعی ها تگ کنونیکال بدید.

“محتوای تکراری یک مشکل بزرگ برای بسیاری از پلتفرم‌های قدیمی است که به شدت به پارامترهای ساختار صفحه داخلی تکیه می‌کنند، اما برای پلتفرم‌های جدیدتر مانند وردپرس که صفحات /tag/ دارند هم مشکل بزرگی محسوب میشود. بهتر است از همان ابتدا آن ها را noindexed کنید.”
-دیوید ایوانو، مدیر جستجو، Reckitt

محتوای تکراری ناشی از محتوای کپی شده

سایت هایی که محتوای شما را کپی میکنند

محتوای تکراری همچنین میتونه به دلیل کپی کردن محتوای شما توسط دیگران و انتشارش در جای دیگه به وجود بیاد؛ به ویژه اگه وب سایت شما اعتبار دامنه‌ش پایین باشه و کسی که محتوای شما رو کپی کرده دارای اعتبار دامنه بالاتر باشه.

وب‌سایت‌هایی که دارای اعتبار دامنه بالاتر هستند اغلب بیشتر خزیده میشن و در نتیجه محتوای کپی‌شده ابتدا در وب‌سایتی که محتوا رو کپی کرده خزیده میشه. در این صورت اون سایت به عنوان نویسنده اصلی در نظر گرفته میشه و بالاتر از شما رتبه میگیره.

اطمینان حاصل کنید که وب سایت های دیگه هم که محتواتون رو کپی میکنند تگ کنونیکال میدن و یا لینک میدن به صفحه شما. اگر این کار رو نکردند، میتوند درخواست DMCA به گوگل ارسال کنید و گزارششون رو بدید.

کپی کردن مطالب از وب سایت های دیگر

کپی کردن مطالب از وب سایت های دیگه هم نوعی محتوای تکراری محسوب میشه. گوگل در مورد کپی مطالب از سایت های دیگه اینو میگه:

✍به منبع اصلی لینک بدهید، همراه با یک URL کنونیکال یا یک تگ متا روبات noindex.

به خاطر داشته باشید که همه صاحبان وب سایت ها از اینکه محتواشون رو کپی کنید خوششون نمیاد، بنابراین توصیه میشه برای استفاده از محتواشون اول اجازه بگیرید.

روش پیدا کردن محتوای تکراری در سایت

ابزارهای آنلاین زیادی وجود دارند که با استفاده از اون‌ها میتونید محتوای تکراری وب سایت خودتون رو پیدا کنید. ابزاری که میخوام تو این مقاله بهتون معرفی کنم، siteliner.com هستش.

برای پیدا کردن محتوای تکراری وب سایت وارد https://www.siteliner.com بشوید. نام دامنه سایت خودتون رو وارد کنید و روی “GO” کلیک کنید.

سپس این ابزار شروع به اکسن سایت شما میکنه. وقتی که اسکن تموم شد، سمت چپ بالا، منویی از مشکلات سایت رو نمایش میده که یکیشون محتوای تکراری و یا همون duplicate content هستش. مثل تصویر زیر، روی “Duplicate Content” کلیک کنید تا صحفاتی که محتوای تکراری دارند رو ببینید.

سوالات متداول در مورد محتوای تکراری

آیا برای داشتن محتوای تکراری جریمه میشوم؟

اگر عمداً محتوای سایتی را کپی نکرده باشید، احتمال اینکه جریمه محتوای تکراری دریافت کنید بسیار کم است. اما اگر مقدار زیادی از محتوای دیگران را کپی کرده اید، در این صورت در مسیر خوبی قرار ندارید.

آیا رفع مشکلات محتوای تکراری رتبه من را افزایش می دهد؟

بله، زیرا با رفع مشکلات محتوای تکراری، به موتورهای جستجو میگید که چه صفحاتی رو باید بخزه، ایندکس کنه و رتبه بده.

همچنین از هدر رفتن بودجه خزش در صفحات تکراری نامربوط جلوگیری می کنید. در این صورت خزنده ها می تونند روی محتوای منحصر به فرد وب سایت و صفحاتی تمرکز کنند که میخواهید براشون رتبه بگیرید.

چه مقدار محتوای تکراری قابل قبول است؟

هیچ پاسخ خوبی برای این سوال وجود ندارد با این حال:

اگر می خواهید با صفحه‌ای رتبه بگیرید، باید برای بازدیدکنندگان شما ارزشمند باشد و محتوای منحصر به فردی داشته باشد.

جمع بندی

همونطور که گفتم، محتوای تکراری به محتوای بسیار مشابه یا دقیقاً یکسان اشاره داره که در چندین صفحه از سایت شما وجود دارند. گوگل بخاطر داشتن duplicate content سایت شما رو جریمه نمیکنه اما محتوای تکراری در سئو سایتتون تاثیر داره. پس برای بهبود سئو سایت محتواهای تکراری در سایت رو پیدا کنید و با استفاده از ریدایرکت ۳۰۱ و یا تگ کنونیکال این مشکل را برطرف کنید.

در این مقاله در مورد تاثیر محتوای تکراری در سئو سایت صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.