روش های جلوگیری از محتوای تکراری

محتوای تکراری چیست (Duplicate Content) و چطور می‌توان از نمایش آن جلوگیری کرد؟

محتوای تکراری چیست (Duplicate Content) و چطور می‌توان از نمایش آن جلوگیری کرد؟

محتوای تکراری چیست (Duplicate Content) و چطور می‌توان از نمایش آن جلوگیری کرد؟ 1180 570 تحریریه همیار ما

متخصصان وب محتوای تکراری را این گونه تعریف کرده اند، محتوای تکراری Duplicate Content محتوایی است که با محتوای شما یا با دیگر سایت ها دقیقا از هر نظر مشابه است و بیش از یک بار در سرتاسر وب تکرار شده باشد را محتوای تکرار شده به حساب می آورند. زمانی که تعداد زیادی تکرار محتوا کاملا مشابه در وب پیدا شود؛ در نتیجه موتورهای جستجو نمی توانند تصمیم درستی در مورد اینکه کدام یک از نسخه های محتوا با کوئری جستجو مطابقت دارد بگیرند.
در این شرایط موتورهای جستجو به خاطر اینکه کاربران تجربه کاربری ux خوبی داشته باشند، مجبور می شوند آن نسخه محتوای اصلی، بهتر سئو شده از هر لحاظ، آدرس معتبرترین سایت، و محتوای که عمر بیشتری دارد یا قدیمی تر انتشار یافته است را در اختیار کاربران خود قرار می دهند و خیلی کم پیش می آید محتوای تکرار شده را نشان دهند.

نظر گوگل در مورد محتوای تکراری؟

خود گوگل اعلام کرده که به محتوای تکرار شده از لحاظ فنی جریمه ای (پنالتی) در نظر نخواهد گرفت؛ اما تکرار محتوا می تواند بر روی رتبه بندی سایت شما تاثیر منفی بگذارد با این اوصاف هیچ موقع از سایت های دیگر کپی برداری نکنید شاید در اوایل رتبه بگیرید ولی در آینده به مشکل بر می خورید و به شدت پشیمان خواهید شد، امیدوارم از این قضیه دوری کنید و هیچ موقع دچار جریمه ای از طرف گوگل نشوید. نمونه یک محتوای تکرار شده را در پایین مشاهده می کنید:

نمونه یک محتوای تکراری را در تصویر میبینید

مشکلاتی که محتوای تکراری به وجود می آورد

برای موتورهای جستجو: محتواهای تکرار شده باعث می شود سه مشکل اساسی را برای موتورهای جستجو به وجود بیاورد: وجود محتواهای تکراری موتورهای جستجو را سردرگم خواهد کرد که کدام نسخه از آن (محتوا) را باید در نتایج جستجو حذف یا نمایش دهند. در مورد معیارهای مرتبط با لینک (اعتماد، اعتبار، انکر تکست، تعادل لینک و…) موتورهای جستجو به مشکل بر خواهند خورد که اینکه چطور این معیارها را به یک صحفه ربط دهند یا آن را بین کدام یک از نسخه های متعدد محتوا تقسیم کنند.در مورد اینکه چه نسخه ای را باید برای یک کوئری جستجو رتبه بندی کنند، موتورهای جستجو به مشکلاتی بر خواهند خورد.

وجود محتوای تکراری موتورهای جستجو را سردرگم خواهد کردبرای صاحبان سایت ها: با وجود محتوای تکرار شده دو عامل کمر شکن مهم برای صاحبان سایت ها به وجود می آید؛ یک، ترافیک سایت شان از دست خواهد رفت دو، با افت رتبه سایت روبه رو خواهند شد. همان طور که گفتیم موتورهای جستجو برای اینکه تجربه کاربری خود را ببرند بالا، به ندرت چندین نسخه از محتوا را نمایش می دهند؛ و سعی می کنند آن نسخه را که بهترین نتیجه را داشته به نمایش بگذارند همین قضیه باعث می شود دیگر صحفات تکرار شده دیده نشوند.
تعادل لینک دهی به سایت بیشتر و بیشتر دچار مختل شده؛ چون که دیگر سایت ها نمی توانند تمایزی بین محتواهای یکسان شما قائل شوند. به جای اینکه تمام لینک های ورودی به یک صحفه (محتوای) شما اشاره کنند، تنها یک لینک به صحفه شما خواهد آمد. از آنجا که لینک های ورودی (لینک بلدینگ) که یکی از عوامل مهم رتبه بندی است، در دیده شدن محتوای وب سایت تان در نتایج موتورهای جستجو تاثیر منفی خواهد گذاشت.خوب نتیجه این قضیه چه می شود؟ صحفه سایت آن طور که باید دیده شود، دچار مختل شده و دیده نمی شود.

دلایل به وجود آمدن محتوای تکرار شده

در بیشتر موارد صاحبان سایت ها بدون هیچ عمدی محتوای تکرار شده را به وجود نمی آورند. اما این به این معنی نیست که محتوای تکرار شده در سایت شان وجود ندارد؛ طبق برآوردهایی که شده حدود 29% از محتوای سایت ها ( محتوای موجود در سطح اینترنت) تکراری هستند. در ادامه این مقاله رایج ترین روش های غیر عمدی که باعث می شود محتوا تکرار شود را ذکر کرده ایم:

متغیرهای آدرس سایت URL

پارامترهای URL، پارامترهایی مانند ردیابی کلیک و برخی از کدهای تجزیه و تحلیل؛ می توانند محتوا را تکرار کند. نه تنها این مشکل در پارامترهای URL به وجود می آید؛ بلکه هم چنین چیدمان طرز قرارگیری این متغیرها در ایجاد محتوای تکرار شده دخیل هستند.

برای مثال:

این پارامترهای URL باعث محتوای تکراری میشود

  • www.widgets.com/blue-widgets?color=blue این آدرس محتوای تکرار شده آدرس www.widgets.com/blue-widgets است.
  • و www.widgets.com/blue-widgets?color=blue&cat=3 این آدرس محتوای تکرار شده این آدرس www.widgets.com/blue-widgets?cat=3&color=blue می باشد.

session ID شناسه جلسه

به طور مشابه session ID ها باعث میشوند که محتوا تکرار شود. این زمانی به وجود می آید که هر کاربری که از سایت بازدید می کند؛ یک session ID به کاربر اختصاص داده می شود که این session ID  در آدرس سایت URL ذخیره می شود. به تصویر بالا نگاهی بیندازید.

سیستم url چطور باعث محتوای تکراری میشود

گزینه پرینت صحفه

گزینه پرینت صحفه که وب سایت داران در اختیار کاربران خودشان قرار می دهند؛ ممکن است باعث تکرار محتوا شود. این زمانی رخ می دهد که تعدادی از نسخه های یک صحفه ایندکس شده است. هنگامی که بر روی این گزینه کلیک می کنید صحفه ای جدیدی برایتان باز خواهد شد که هم آدرس متفاوتی دارد هم محتوای یکسانی در آن به کار رفته است.
نکته: در نتیجه باید از اضافه کردن این پارامترها در URL اجتناب کنید.

  • اختلالات موجود در HTTP و HTTPS، و آدرس صفحات با www و بدون www

اگر وب سایت تان به عنوان مثال نسخه جداگانه بر روی www.site.com و site.com ( هم با www هم بدون www) داشته باشد، و محتوای خودتان را بر روی هر دو نسخه پیاده سازی کنید؛ شما با این کار برای هر دو صحفه سایت خود یک تکرار محتوا درست کرده اید. تا جایی که امکان دارد باید از این موارد دوری کنید. این قضیه برای سایت های که بر روی ( // http: ، // https:) هستند نیز به کار می رود؛ اگر هر دو از نسخه های صحفه شما موجود باشد و موتورهای جستجو بتوانند این نسخه ها را ببینند یا قابل دسترس باشند، در واقع شما با تکرار محتوا مواجه خواهید شد.

محتوای کپی شده و سارقان محتوا

منظور ما از محتوا فقط مقالات و پست های وبلاگی در سایت مان نیست. دزدان محتوا بعضی وقت ها محتواهای شما را در وب سایت های خودشان کپی می کنند؛ این نیز تکرار محتوا محسوب می شود. با این اوصاف، یک مشکل بزرگ برای سایت هایی در زمینه تجارت و بازرگانی الکترونیک وجود دارد:

اطلاعات محصولات

یکی دیگر از مواردی که باعث تکرار محتوا می شود این است که اگر صاحبان وب سایت ها، کالاهای یکسانی را با اطلاعات یکسانی برای آن کالاها قرار دهند تا فروش خودشان را بالا ببرند؛ محتوای تکراری مشابه در سرتاسر نقاط اینترنت پراکنده می شود.

چطور محتوای تکرار شده را برطرف کنیم تا به مشکل بر نخوریم

وقتی URLsهای (آدرس) متعددی برای یک محتوا در یک سایت پیدا شود، باید برای موتورهای جستجو(canonicalized) استانداردسازی شود. سه راهکار اصلی برای این موضوع وجود دارد:

  • استفاده از ریدایرکت 301 به آدرس URL صحیح
  • از طریق تگ rel=canonical ریدایرکت کردن چنین صحفه ای
  • و با استفاده از ابزارهای موجود در گوگل وب مستر باید انجام شود.

ریدایرکت 301

در بسیاری از موارد، بهترین راه برای جنگ یا مقابله با تکرار محتوا، تنظیم 301 تغییر مسیر از صفحه “تکراری” به صفحه محتوای اصلی است. هنگامی که چندین صفحه با توانایی رتبه بندی خوب به یک صفحه متصل می شوند، و با هم دیگر ادغام می شوند؛ نه تنها رقابت با یکدیگر را متوقف می کنند؛ بلکه آنها یک ارتباط قوی تر را ایجاد می کنند و از نظر موتورهای جستجو محبوبیت قابل توجه ای را به وجود خواهد آورد. این تاثیر مثبتی را برای ارتقای رتبه شما در نتایج موتورهای جستجو ایجاد خواهد کرد.

استفاده از تگ Rel=Canonical

یکی دیگر از راه های برطرف کردن تکرار محتوا استفاده از تگ “Rel=Canonical” است. این تگ مانند ریدایرکت 301 عمل خواهد کرد و به همان اندازه قدرتمند است؛ البته پیاده سازی این تگ نیاز به زمان کمتری دارد. تگ “Rel=Canonical” در قسمت هد کد HTML  وب ‌سایت جای می گیرد.

این تگ مانند تگ nofollow”” به راحتی از فاکتورهای rel استفاده می کند.

کد زیر را در نظر بگیرید:

  • </ “link href=”http://www.example.com/canonical-version-of-page/” rel=”canonical” />

کار این تگ این است که به موتورهای جستجو گر بفهماند که صحفه مورد نظر باید طوری باشد گپی آدرس http://www.example.com/canonical-version-of-page باشد و تمام استانداردهای مرتبط با لینک را داشته باشد و محتوای آن به سمت آدرس جدید منتقل شود.

محتوای تکرای
نکته: rel=”canonical” این کد باید حتما داخل علامت نقل قول قرار گیرد.
مثال های زیر نشان می دهد که چگونه خطاهای مرتبط با حروف بزرگ، می تواند باعث محتوای تکراری شود:

  • http://www.simplyhired.com/a/jobs/list/q-software+developer
  • http://www.simplyhired.com/a/jobs/list/q-Software+developer
  • http://www.simplyhired.com/a/jobs/list/q-software+Developer

تفاوتی که بین این آدرس ها هست، بزرگ یا کوچک نوشته شدن اول کلمات “software” و “developer” می باشد. موتورهای جستجو، همه این آدرس‌ها را به عنوان یک صفحه مجزا و متفاوت می‌بیند و آن ها را به عنوان یک محتوای تکرار شده به حساب می آورند. با پیاده سازی تگ rel=canonical در دومین و سومین مورد و اشاره کردن آن به مورد اول، موتور جستجوگر می‌دانند که باید با آن دو صفحه تکراری مانند صفحه اول رفتار کنند.

تگ rel=canonical به شکل زیر در هدینگ HTML سایت جای می‌گیرد:

تگ rel=canonical به شکل زیر در هدینگ HTML سایت جای می‌گیرد

در واقع قالب کلی کد rel=”canonical” به شرح ذیل است:

  • head>
  • …[other code that might be in your document’s HTML head]…
  • <link href=”URL OF ORIGINAL PAGE” rel=”canonical” />
  • …[other code that might be in your document’s HTML head]…
  • </head>

استفاده از کد noindex، follow

روبات های متا تگ زمانی که با مقادیر “noindex، follow” استفاده شوند، در برخورد با محتوای تکرار شده مفید اند. این تگ روبات های متا می تواند در هد  HTML  در هر صحفه جداگانه قرار بگیرد.

در واقع قالب کلی کد noindex، follow:

  • <head>
  • …[other code that might be in your document’s HTML head]…
  • <meta name=”robots” content=”noindex,follow”>
  • …[other code that might be in your document’s HTML head]…
  • </head>

تگ ربات های متا  ربات های موتورهای جستجوگر اجازه می دهند لینک های موجود در صفحه مشخص شده را Crawl کنند اما آن را ایندکس نکنند. مهم این است که صفحه تکراری هنوز هم می تواند Crawl  شود حتی اگر شما به گوگل نگفته اید که آن را به فهرست اضافه کنید، زیرا گوگل به صراحت در برابر محدود کردن دسترسی  Crawl به محتوای تکرار شده در وب سایت شما هشدار می دهد.
در نتیجه با استفاده از روبات های متا در بسیاری از مسائل مربوط به محتوای تکرار شده که در رابطه با صحفه بندی را حل و فصل کنیم.

هدایت دامنه و پارامترها در کنسول جستجوی گوگل

کنسول جستجوی گوگل به شما اجازه می‌دهد دامنه مورد نظر خود را به تعادل برسانید و نسخه های متعددی از پارامترهای URL را به صورت متفاوت، مدیریت کنید. اشکال اصلی این روش این است که برای رسیدگی به محتوای تکرار شده تغییراتی که شما انجام می دهید فقط برای Google کار می کنند.

محتوای تکراری در سرچ کنسول گوگلهر قواعدی که با استفاده از Google Search Console برای تغییرات پارامترها انجام می دهید، تاثیری بر Bing یا هر خزنده موتور جستجوی دیگری نخواهد گذاشت. شما باید از ابزارهای وب مستر تولز webmaster tools برای موتورهای جستجوی دیگر استفاده کنید تا بتوانید تنظیماتی را که در کنسول جستجو سایت خودتان اعمال خواهید کرد نهایت بهره را ببرید.

روش های دیگر برای مقابله با تکرار محتوا

در رابطه با لینک سازی داخلی همیشه منسجم و پایدار عمل کنید، به عنوان مثال، اگر وب مستر نسخه استاندارد را تعیین کند یا همان نسخه canonical یک دامنه به صورت www.example.com باشند تا example.com پس در نتیجه تمام لینک های داخلی باید از این رویه پیروی کنند. ( به نبود www در اول آدرس دقت فراوانی بکنید). هنگامی که می خواهید لینک گیری انجام دهید سعی کنید، لینک به آدرس اصلی سایت داده شود؛ نه به یکی از متغیرهای آدرس variation) URL). شما با گذاشتن تگ” rel=canonical” به صحفات موجود در سایت خود، در واقع یک نگهبان را برای محافظت از دزدان محتوا خود گذاشته اید.

روش های دیگر برای مقابله با محتوای تکراریاز به کار بردن محتوای مشابه در سایتتان خوداری کنید؛ به عنوان مثال به جای اینکه یک صحفه در مورد “شلوار برای آقایان” و یک صحفه دیگر برای “شلوار برای خانم ها” داشته باشید که 90% تکرار محتوا دارند. سعی کنید این گونه صحفات را به یک صحفه واحد و جداگانه تبدیل کنید؛ و تمامی اطلاعات لازم را در آن بگنجانید. و این صحفات باید به گونه ای باشد که شامل محتوای مجزا برای هر URL باشد.

نمونه کد Rel=Canonical

  • <head> <link rel=”canonical” href=”https://www.hamyarma.com/blog/” /> </head>

نمونه کد ربات متا

  • <head> <meta name=”robots” content=”noindex, follow” /> </head>

نتیجه گیری

همان طور که متوجه شدید داشتن تکرار محتوا چه عمدی چه غیر عمدی به ضرر سایت شماست و شما می توانید با استفاده از راهکارهای بالا از بروز تکرار محتوا به سایتتان جلوگیری کنید و رتبه خود سایت خود را ارتقا دهید.
امیدواریم که خواندن این مقاله مفید بوده باشد. در صورتی که سوالی درباره محتوای تکراری شده و روش‌های چگونگی رفع آن دارید، می‌توانید از قسمت دیدگاه‌ها سوالات خود را با ما در میان بگذارید. آژانس همیار ما به صورت تمام وقت به سوالات شما پاسخ خواهد داد.