متا تگ noindex چیست؟ دستورالعمل disallow چیست؟ آیا می توانم noindex و disallow را با هم ترکیب کنم؟ تگ nofollow چیست؟ noindex, nofollow چیست؟ دستورالعمل‌های…
چگونه از تگ‌های Noindex, Nofollow و Disallow برای بهبود سئو سایت استفاده کنیم؟
آنچه در این مطلب خواهید خواند
پست های اخیر
هر سئوکاری باید با مفهوم این سه کلمه آشنا باشه: Noindex, Nofollow و Disallow.
درک نحوه استفاده از آنها به این معنیه که میتونید دستورالعمل‌هایی به ربات گوگل بدید تا اونجوری که می‌خواید سایت شما رو بخزه و ایندکس کنه.
پس بیایید با تعریف این سه تگ شروع کنیم.
سه راه هستش که میتونید با استفاده از اونها به گوگل یا هر موتور جستجوی دیگه‌ای بگید که چه بخش‌هایی از سایتتون رو بخزه و ایندکس کنه:
- Noindex: به موتور جستجو میگه که صفحات شما رو در نتایج جستجو قرار ندن. صفحه باید قابل خزیدن باشه تا ربات ها این سیگنال رو ببینند.
- Disallow: به موتور جستجو میگه که صفحات شما را نخزه. این تضمین نمیکنه که صفحه ایندکس نمیشه.
- Nofollow: به موتور جستجو میگه لینک های صفحه شما رو دنبال نکنند.
فهرست:
- متا تگ noindex چیست؟
- دستورالعمل disallow چیست؟
- آیا می توانم noindex و disallow را با هم ترکیب کنم؟
- تگ nofollow چیست؟
- noindex, nofollow چیست؟
- دستورالعمل‌های دیگر که باید آنها را بشناسید
- چقدر باید برای بهینه سازی بودجه خزیدن صرف کنید؟
- جمع بندی
متا تگ noindex چیست؟
تگ noindex به موتورهای جستجو میگه صفحه رو در نتایج جستجو قرار ندن.
متداول‌ترین روش برای جلوگیری از ایندکس شدن یه صفحه اینه که این تگ رو بخش هد HTML قرار بدید. برای اینکه موتورهای جستجو بتونند این اطلاعات رو ببینند، صفحه نباید قبلاً در فایل robots.txt مسدود شده باشد. اگه صفحه از طریق فایل robots.txt شما مسدود بشه، گوگل هرگز تگ noindex رو نمیبینه و ممکنه در نتایج جستجو ظاهر بشه.
برای اینکه به موتورهای جستجو بگید صفحه رو ایندکس نکنند، کافیه موارد زیر را به بخش <head> اضافه کنید:
<meta name=”robots” content=”noindex”>دستور disallow چیست؟
disallow کردن یه صفحه به این معنیه که به موتور جستجو میگید اون صفحه رو نخزه. این دستور در فایل robots.txt قرار میگیره. اگه صفحات یا فایل‌های زیادی دارید که ارزش جستجوی ارگانیک ندارند، بهتره که اونها رو disallow کنید، اینجوری موتورهای جستجو وقت خود را برای خزیدن در این صفحات تلف نمی‌کنند.
برای سایت های بسیار بزرگ، این دستور میتونه برای جلوگیری از هدر رفتن بودجه خزش مفید باشه.
برای افزودن دستور disallow کافیه مسیر URL رو به فایل robots.txt خودتون اضافه کنید:
صفحه url disallow : /کل دایرکتوری های سایت هم میتونید disallow کنید. آخر هر دستور یه اسلش بذارید / تا اعمال بشه:
/Disallow: /directoryuser agent باید بالاتر از همه مشخص بشه. برای user agent یه ستاره بذارید که یعنی تمامی موتورهای جستجو میتونند سایت شما رو بخزند. مثلا:
* User-agent: دستورالعمل Disallow نمیذاره ربات ها محتوای این URL ها رو بخزند. اگه موتورهای جستجو بتونند اون رو از طریق لینک های خارجی پیدا کنند، یا اگر قبل از اضافه شدن قانون Disallow خزیده شده، همچنان ممکنه ایندکس بشه. از اونجایی که صفحه‌ها بعد از اینکه Disallow شدند دیگه خزیدن در اونها ممکن نیست، این صفحات معمولاً هنگامی که در SERP ظاهر میشن، پیام «هیچ اطلاعاتی برای این صفحه در دسترس نیست» “no information is available for this page” رو نمایش میدن.
آیا می توانم noindex و disallow را با هم ترکیب کنم؟
دستور Disallow نباید با تگ noindex ترکیب بشه. چون اگه ربات گوگل نتونه صفحه رو بخزه نمیتونه تگ noindex رو هم ببینه. درسته که صفحه خزیده نمیشه، اما اگه از طریق منابع دیگه پیدا بشه، هنوز احتمال ایندکس شدنش وجود داره.
اگر واقعاً نمی خواید صفحه ای در SERP ظاهر بشه، فقط بهش تگ noindex اضافه کنید.
تگ nofollow چیست؟
تگ nofollow در لینک به موتورهای جستجو میگه که ارزشی از صفحه منبع به سایت مقصد منتقل نکنه. این تگ همچنین برای از دنبال کردن لینک و کشف محتوای بیشتر توسط موتورهای جستجو جلوگیری میکنه.
نگ nofollow بیشتر برای لینک هایی که کاربران در قسمت نظرات سایت می‌ذارند، پست‌های انجمن یا هر محتوای دیگه‌ای که نمیتونید توی سایتتون کنترل کنید استفاده میشه. همچنین در بسیاری از لینک‌های پولی، embeds مانند ویجت‌ها یا اینفوگرافیک‌ها، لینک های پست‌های مهمان، یا هر چیز خارج از موضوعی که هنوز می‌خواهید بهش لینک بدید، اما لزوماً نمی‌خواید موتورهای جستجو دنبالش کنند و بخزند یافت میشه.
بهترین سئوکاران همچنین لینک‌هایی رو به‌طور انتخابی nofollow میکردند تا رتبه صفحه رو به صفحات دیگه منتقل نکنند.
به دو روش میشه تگ های Nofollow رو اضافه کرد:
- <head> صفحه (برای nofollow کردن تمام لینک های در آن صفحه):
/> <meta name=”robots” content=”nofollow”- کد لینک (برای nofollowکردن یه لینک):
/a><a href=”example.html” rel=”nofollow”>example page<Nofollow مانع از خزیدن کامل صفحه لینک شده نمیشه. فقط از خزیدنش از طریق یه لینک خاص جلوگیری میکنه. آزمایش‌ها نشون میدن که گوگل URLی رو که از طریق لینک nofollow پیدا میکنه نمیخزه.
گوگل میگه اگر سایت دیگری بدون استفاده از تگ nofollow به همان صفحه لینک بده یا صفحه در نقشه سایت باشه، ممکنه صفحه همچنان در نتایج جستجو ظاهر بشه. به طور مشابه، اگر URLی رو موتورهای جستجو قبلاً خزیده و ایندکس کرده باشند، افزودن لینک nofollow اون صفحه رو از حالت ایندکس خارج نمیکنه.
در سپتامبر ۲۰۱۹، گوگل اعلام کرده که دستورالعمل nofollow رو بروز رسانی کرده و دو ویژگی جدید رو معرفی کرد که عبارتند از:
- “rel=”sponsored – ویژگی sponsored برای شناسایی لینک هایی استفاده میشه که برای اهداف تبلیغاتی هستند، جایی که قراردادهای حمایت مالی و جبران خسارت وجود داره.
- “rel=”ugc – این تگ برای لینک های تولید شده توسط کاربر، مثلا پست های انجمن و نظرات وبلاگ توصیه میشه.
به‌علاوه، همه لینک هایی که با nofollow، sponsored یا UGC علامت‌گذاری شدند، به ربات کمک می‌کنند بهتر لینک های یه صفحه رو شناسایی کنه و در مورد خزیدن و یا نخزیدنشون تصمیم بگیره.
noindex, nofollow چیست؟
همونطور که بالا گفتم، افزودن تگ nofollow به یه صفحه از خزیدنش جلوگیری نمیکنه. برای جلوگیری از ایندکس شدن URL، به یه تگ noindex هم نیاز دارید. این به گوگل اجازه میده تا صفحه رو بخزه، اما در نتایج جستجو ظاهر نمیشه. برای جلوگیری از خزیدن کامل گوگل در صفحه، باید اون رو از طریق robots.txt غیرفعال کنید.
دستورالعمل‌های دیگر که باید آنها را بشناسید
راه‌های دیگری نیز وجود داره که به گوگل و سایر موتورهای جستجو بگید چگونه با URLها رفتار کنند– مواردی که در ادامه معرفی میکنم هم ارزش دونستن دارند.
- تگ کنونیکال– به موتور جستجو میگه کدوم صفحه بین صفحات تکراری باید ایندکس بشن. کنونیکال یعنی صفحات ثانویه که موتورهای جستجو رو به سمت نسخه اصلی هدایت میکنه. اگر سایت های موبایل و دسکتاپ جداگانه دارید، باید URL های موبایل خود را به آدرس دسکتاپ کنونیکال کنید.
- Pagination – چندین صفحه رو با هم گروه بندی میکنه تا موتور جستجو بدونه که بخشی از یه مجموعه هستند. موتور جستجو باید هنگام رتبه بندی صفحات، یکی از هر مجموعه رو اولویت بندی کنه، اما تمام صفحات داخل مجموعه در صفحه نتایج باقی میمونند.
- Hreflang – به موتور جستجو میگه کدوم نسخه های بین المللی از همان محتوا برای کدام منطقه است، تا بتونند نسخه صحیح رو برای هر مخاطب اولویت بندی کنند. همه این نسخه ها در صفحه نتایج باقی خواهند ماند.
چقدر باید برای بهینه سازی بودجه خزیدن صرف کنید؟
ممکنه در آموزش های سئو صحبت‌های زیادی درباره اهمیت بودجه خزش شنیده باشید. درسته که disallow کردن و noindex کردنِ صفحاتی که هیچ سودی برای موتورهای جستجو یا کاربران ندارند مرسوم هستش، اما وقت گذاشتن برای پنهان کردن تعداد زیادی از صفحات احتمالا بهترین استفاده از زمانتون نیست. مگر اینکه دلیل خاصی برای پنهان کردن یه صفحه از موتورهای جستجو داشته باشید، اگر نه که بذارید خود گوگل تصمیم بگیره که چه چیزی رو نشون بده و چه چیزی رو نشون نده.
جمع بندی
امیدواریم این پست برای یادگیری بیشتر در مورد noindex، nofollow و disallow برای کنترل خزیدن و ایندکس سایت مفید بوده باشد.
در این مقاله در مورد استفاده از تگ‌های Noindex, Nofollow و Disallow برای بهبود سئو سایت صحبت کردیم. ممنون که تا انتهای مقاله همراه من بودید در صورتی که حس میکنید مطلبی هست که گفته نشده حتما در قسمت نظرات با ما به اشتراک بگذارید. در صورت داشتن هرگونه سوال با تیم پشتیبانی پارس اوستا در ارتباط باشید.
اشتراک در
وارد شدن
0 نظرات
قدیمی‌ترین