متا ربات

دستورالعمل های متا ربات Meta Robots کدام اند؟ و اهمیت آن در سئو

دستورالعمل های متا ربات Meta Robots کدام اند؟ و اهمیت آن در سئو 1000 485 تحریریه همیار ما

متا ربات ( که گاهی هم تگ متا و تگ ربات متا نیز شناخته می شود) دسته هایی از کدها هستند که، دستورالعمل هایی را برای خزنده های (crawlers) موتورهای جستجو فراهم می کنند، برای اینکه چطور و چگونه صحفات وب سایت را ایندکس کنند؛ در واقع شما به این متا رباتها می فهمانید که چه بخشی از صحفه سایتمان ایندکش شود و چه بخشی نشود( یعنی کجاهای سایت من این متا رباتها بخزند).

متا تگ ربات عمل خزش یا پیمایش جزئی تری را نسبت به دیگر رباتها مثل (robots.txt) در صحفات وب سایت انجام می دهند.

چند نوع متا ربات وجود دارد؟

نوع اول آن بخش هایی از کدهای HTML صحفه است (مانند متا ربات)، نوع دوم کدهایی هستند که وب سرور به عنوان هدرهای،HTTP این کدها را میفرستد(مانند تگ روبات –x ). برای کنترل کردن این دو نوع از متا رباتها از پارامترهای یکسانی استفاده می شود، (مانند noindex و (nofollow و تفاوت آنها در نحوه ارتباط دهی این روبات ها با خزنده های (crawlers) موتورهای جستجو است.

شما باید این کدهای متا ربات ها را درست اعمال کنیدشما باید این کدهای متا ربات ها را درست اعمال کنید تا به خزنده های موتورهای جستجو بفهمانید که، عمل خزش یا ایندکس اطلاعات در یک وب پیج خاص را به طور کامل درست انجام دهند. اگر این متا روباتها توسط خزنده ها مشاهده شوند؛ بر روی رفتار ایندکس شدن خزنده ها در آن صحفه تاثیر می گذارند. همانند فایلهای robots.txt، خزنده ها مجبور نیستند دستورات متا را دنبال کنند، در نتیجه برخی از روبات های مخرب وب، دستورات شما را نادیده می گیرند.

پارامترهایی که برای کنترل ایندکس صحفات به کار می روند

در ادامه برای بهتر فهمیدن این پارامترها می پردازیم که روبات های جستجو از این پارامترها پیروی کرده و کاملا برایشان قابل درک هستند. این پارامترها در صورتی که موتورهای جستجو از آنها پیروی می کنند که از دستورالعمل های متا روبات ها پیروی کنند. این پارامترها به حروف کوچک و بزرگ حساسیتی نشان نمی دهند و متا روباتها عکس العملی برای این موضوع نشان نمی دهند اما دقت داشته باشید که برخی از موتورهای جستجو تنها بخشی از این پارامترها را درک می کنند و ممکن است بعضی از آنها رفتارشان با این پارامترها متفاوت باشد.

  • Noindex: این به موتور های جستجو می گوید، صحفه مورد نظر را ایندکس نکند
  • Index: به موتور های جستجو می گوید صحفه مورد نظر را اینکس کند. شما لازم نیست به موتورهای جستجوکر بگویید تمام صحفات را ایندکس کنند چون به صورت پیش فرض خودشان عکمل ایندکس را انجام خواهند داد.
  • Follow: با این دستور به موتورهای جستجو خواهید گفت، صحفاتی که ایندکس نمی شوند را بررسی کن و لینک های داخلی ان صحفه را دنبال کن. همچنین با این کار شما توانسته اید توازن و اعتبار به لینک های داخلی داده شود.
  • Nofollow: با این پارامتر به موتورهای جستجو میفهمانید که هیچ لینکی را در صحفه دنبال نکند و توازان یا اعتبار را هم انتقال ندهد.
  • Noimageindex: به خزنده ها می گوید که عکس های صحفه را ایندکس نکنند.
  • None: با این پارامتر شما استفاده همزمان از Noindex  و  Nofollow را داده اید.
  • Noarchive: این پارامتر به موتور های جستجو می فهماند که لینک کش (cache) صحفه را در (صفحه نتایج جستجو) SERP را نشان ندهد.
  • Nocache: این مانند Noarchive می باشد ولی با این تفاوت که به وسیله ی اینترنت اکسپلورر و فایرفاکس به کار می رود.
  • Nosnippet: این پارامتر به موتورهای جستجو می گوید که در صحفه نتایج جستجو اسنیبت های صحفه ( مانند تگ توضیحات) را نشان ندهد.
  • Unavailable_after: کار این پارامتر این است که وقتی تاریخی برای ایندکس صحفه خود تعیین می کنید به موتور های جستجو می گویید از آن تاریخ به بعد صحفه را ایندکس نکند.

انواع متا رباتها

دو نوع از متا ربات ها وجود دارد:

  • meta robots tag تگ متا روبات ها
  • x-robots-tag تگ ایکس روبات ها

تمام پارامترهای بالا که ذکر کردیم در هر دو نوع این متا رباتها به کار می روند؛ در ادامه به برسی این دو نوع متا تگ ربات ها می پردازیم.

متا تگ ربات (Meta robots tag)

تگ متا رباتها که معمولا به عنوان “رباتهای متا” شناخته میشود یا به صورت محاوره ای به عنوان یک تگ ربات است که بخشی از کد HTML وب است و در عنصر کد قسمت <head> صفحه وب ظاهر می شود.

متا تگ ربات (Meta robots tag)

نمونه کد متا تگ ربات

<meta name=“robots” content=“[PARAMETER]”> این حالت استاندارد ربات متا است، شما می توانید عبارت “robots” را بردارید و ربات مورد نظر خود را بنویسید. با این کار شما به خزنده ها میفهمانید که دستورالعمل های مورد نظرتان را اعمال کنند یعنی شما هر رباتی که بخواهید میتوانید به جای عبارت “robots” قید کنید، مثلا اگر هدف تان ربات گوگل Googlebot باشد؛ می توانید دستور زیر را اجرا کنید:

  • <meta name=“googlebot” content=“[DIRECTIVE]”>

اگر می خواهید بیش از یک پارامتر را به این کد اضافه کنید؛ باید پارامترها را با کاما(،) از هم جدا کنید؛ به مثال زیر توجه کنید:

  • <meta name=“robots” content=“noimageindex,” “nofollow,” “nosnippet”>

این تگ به موتورهای جستجو می گوید تصاویر صحفه را ایندکس نکنند در عوض همه لینک های صحفه را دنبال کرده و هیچ اسنیپتی در صحفه نتایج جستجو SERP نمایش داده نشود. اگر می خواهید برای هر یک از ربات های جستجو دستورات متفاوتی اعمال کنید؛ نیاز دارید که تگ های جداگانه ای برای هر ربات بنویسید.

تگ ربات X-robots-

در حالی که متا تگ ربات اجازه کنترل ایندکس را در سطح صحفه می دهد، در عوض تگ ربات x- می تواند شامل قسمتی از هدر HTTP به طور کلی برای کنترل کردن ایندکس یک صحفه و همچنین برای عناصر بسیار خاص یک صحفه به کار رود. تگ ربات-x تمام قابلیت های تگ ربات متا را دارد در عوض امکانات بسیار گسترده ای را در مقایسه با تگ ربات-x در اختیارتان می گذارد. به طور کلی، ربات-x اجازه استفاده از عبارات معمولی، اجرای دستورات خزیدن در فایل های غیر HTML و به کار بردن پارامترهایی در سطح عمومی را می دهد.

تگ متا ربات Xبرای استفاده از تگ ربات-x، شما یا نیاز به دسترسی یکی از فایل های php، htaccess، که در هدر در وب سایتتان می باشد، دارید یا به فایل  access سرور نیاز خواهید داشت. در داخل این فایل ها می توانید تگ ربات-x به همراه هر پارامتری به کار ببرید.

اینجا مثال هایی از قابلیت های تگ X-robots را آورده ایم

  • کنترل ایندکس محتوایی که در HTML نوشته نشده است (مانند فلش یا ویدیو)
  • مسدود کردن ایندکس یک عنصر خاص از صفحه (مانند یک تصویر یا ویدیو)، اما نه کل آن صفحه
  • وقتی که شما دسترسی مستقیم به کد  HTML قسمت هد (<head>) صحفه  ندارید، باید ایندکس صحفات را کنترل کنید و یا زمانی که سایت شما از یک هدر کلی برای تمامی صحفات استفاده می کند.
  • اضافه کردن قوانینی در ایندکس صحفات ( به عنوان مثال، وقتی یک کاربر حدود 20 کامنت قرار می دهد صحفه پروفایلش هم ایندکس شود و هم توسط خودش فعال شود)

نکته هایی در مورد استفاده از متا تگ های  Robots که برای سئو ضروری اند

  • لینک صفحات در فایل robots.txt

لینک صفحات هنگامی که قابلیت ایندکس داشته باشند، تمام داده های توضیحات متا توسط موتورهای جستجو مشاهده می شوند. این بدان معناست، اگر یک فایل robots.txt به آدرس از سایت ما عدم دسترسی بدهد هردستورالعمل متا در یک صفحه (چه در کدهای  HTML یا هدر HTTP) توسط روبات ها مشاهده نخواهد شد و به نادیده گرفته خواهد شد. در بسیاری از موارد بهترین راه برای محدودیت دسترسی به صحفات این است که از تگ ربات متا Meta robots با پارامترهای  noindex, follow استفاده شود. و از دید سئو بهتر از محدود کردن آن صحفه در فایل  robots.txtمی باشد.

اهمیت امنیت دستورات متا

مهم است که توجه داشته باشیم که خزنده های مخرب به طور کامل دستورالعمل های متا را نادیده می گیرند و به همین ترتیب این پروتکل یک مکانیزم امنیتی مناسب را ایجاد نمی کند. اگر اطلاعات خصوصی دارید که نمی خواهید به طور عمومی قابل جستجو باشد، یک روش امن تر مانند کد حفاظتی یا رمز عبور را انتخاب کنید تا بازدیدکنندگان از صفحات محرمانه تان بازدید نکنند. شما نیازی به استفاده از هر دو ربات متا و تگ x-robots در همان صفحه ندارید – اتفاق خاصی نمیافتد ولی یکی از آنها اضافه خواهد بود بهتر است این کار را انجام ندهید.

اگر سوالی در این زمینه داشتید حتما با تیم مجرب همیار ما در میان بگذارید ما همیشه پاسخ گوی شما عزیزان خواهیم بود.

منبع: https://moz.com/learn/seo/robots-meta-directives