تشخیص انواع محتوای تکراری (Duplicate content) از نظر گوگل

اگر یک سایت اینترنتی دارید، آشنایی با مفهوم محتوای تکراری اهمیت زیادی دارد. تشخیص Duplicate content و برطرف کردن مشکلات مربوط به آن تاثیر زیادی در رتبه و بازدید سایت شما دارد و بسیار مورد توجه موتورهای جستجو ، مخصوصا گوگل قرار دارد و روزانه سرتاسر وب را با ابزاری به نام الگورینم پاندا جهت تشخیص مطالب کپی و بی کیفیت مورد بررسی قرار می دهد. احتمالا می دانید که وب سایت شما همیشه باید حاوی محتوای خاص و باکیفیت باشد. اگر سایت شما دارای محتوای تکراری  است ، یک اشتباه بزرگ مرتکب شده اید که می تواند به رتبه سایت شما و شهرت شما آسیب برساند.

اهمیت تولید محتوا برای سایت بسیار زیاد است، اما نه محتوای تکراری! تولید محتوا با سرقت ادبی یا انتشار مطالب شخص دیگری بدون مجوز ، برای موتورهای جستجو غیرقابل قبول است و با کاستن از رتبه سایت شما یا با حذف صفحه وب از نتایج ، شما را تنبیه خواهند کرد. کاربرانی که برای به دست آوردن اطلاعات آنلاین به اینترنت می روند ، انتظار دارند محتوای غیر تکراری ، اصیل و مفیدی را پیدا کنند .همیشه از محتوای تکراری اجتناب کنید. محتوا باید کاملاً توسط خود شما نوشته شده و بی نظیر باشد تا خوانندگان تجربه آنلاین خوبی داشته و به طبع آن سایت شما امتیاز تجربه کاربری بالایی از گوگل دریافت کند.

اما احتمال دیگری که وجود دارد این است که دیگران ممکن است مطالب موجود در سایت شما را کپی کرده و بدون اجازه شما از آن استفاده کنند و بدون اطلاع و آگاهی شما حجم زیادی از مطالب سایت شما را در صفحات خود به کار ببرند که موجب اشتباه موتورهای جستجو شود و به اشتباه سایت شما را حذف کنند!

جهت کسب اطلاعات بیشتر پیشنهاد می شود: دلایل حذف صفحات سایت از گوگل

محتوای تکراری چیست؟

محتوای تکراری به نوشته ، فایل یا صفحه ای گفته می شود که بیش از یک بار و مکان بصورت آنلاین دیده شود ، که منظور همان استفاده بیش از یک بار از محتوا در دو یا چند وبسایت و صفحه متفاوت است. حتی اگر شما محتوای خود را در بیش از یک مکان یا وبسایت منتشر کنید ، محتوای تکراری تولید کرده اید. اگر محتوای شخص دیگری را در سایت خود کپی کنید یا اگر مطالب شما را در سایت دیگری منتشر کنند ، آن هم به منزله محتوای تکراری است. که در این صورت گوگل باتوجه به زمان انتشار مطلب اصلی تصمیم می گیرد که سایر موارد مشابه را حذف و جریمه کند. البته امکان دارد در تشخیص زمان توسط گوگل اشتباهاتی نیز رخ دهد.

انواع محتوای تکراری از نظر گوگل

محتوای تکراری در اشکال مختلف و انواع متفاوتی ظاهر میشود. برخی از آنها چندان هم بد نیستند، اما برخی ازانواع این نوع محتوا تاثیر منفی روی رتبه سایت و سئو دارد.

بطور کلی دو نوع محتوای تکراری وجود دارد که باید درباره آنها بدانید.

محتوای تکراری داخلی: محتوای تکراری داخلی زمانی است که شما بیش از یک صفحه در سایت خود دارید که با یک (یا چند) صفحه دیگر در سایت شما تقریبا یکسان است.

محتوای تکراری خارجی: محتوای تکراری خارجی (اغلب به عنوان تکراری با دامنه غیرمشابه نامیده می شود) زمانی است که صفحه ای در سایت خود دارید که در یک (یا چند) دامنه دیگر کپی شده است. این سایت‌ها ممکن است متعلق به شما باشند، اما در بسیاری از موارد اینطور نیست.

چرا Duplicate content برای سئو مضر است؟

گوگل نمی خواهد صفحات مشابه زیادی در نتایج جستجوی خود داشته باشند. بنابراین آنها یک فیلتر را برای صفحاتی که حاوی محتوای تکراری یا تقریباً مشابه هستند اعمال می‌کنند و تنها صفحه‌ای را که به نظر آنها نسخه متعارف یا واقعی است نمایش میدهند. اما این بدان معنا نیست که گوگل همیشه این فرآیند را درست انجام می دهد.

علاوه بر این، ممکن است متوجه شوید که برخی از صفحاتی که اساساً تکراری هستند، صفحاتی هستند که می‌خواهید در نتایج جستجو ظاهر شوند – و اگر Google آنها را فیلتر کند، ترافیک را از دست میدهید.

این برای سئو بد است زیرا می تواند ترافیک سایت را کاهش دهد و طبیعتا کاهش مشتریان شما را به همراه دارد.

آیا چیزی به عنوان جریمه محتوای تکراری وجود دارد؟

جان مولر در این رابطه گفته است:

«با این نوع محتوای تکراری [منظور جان به محتوای تکراری سرصفحه و پاورقی بود] آنقدر نیست که یک امتیاز منفی در ارتباط با آن باشد. بیشتر این است که اگر دقیقاً همان اطلاعات را در چندین صفحه در وب پیدا کنیم و شخصی به طور خاص آن قسمت از اطلاعات را جستجو کند، سعی می کنیم بهترین صفحه منطبق را پیدا کنیم.

بنابراین اگر محتوای یکسانی در چندین صفحه دارید، همه این صفحات را نشان نمی‌دهیم. ما سعی خواهیم کرد یکی از آنها را انتخاب کنیم و آن را نشان دهیم. بنابراین به این معنا نیست که هیچ سیگنال منفی مرتبط با آن وجود داشته باشد. در بسیاری از موارد، این طبیعی است که شما مقداری محتوای به اشتراک گذاشته شده در برخی از صفحات داشته باشید.”

در مورد صفحات محصول چطور؟

یک مورد واقعاً رایج فروشگاه های اینترنتی هستند. اگر محصولی دارید و وبسایت دیگری همان محصول را می فروشد یا در وب سایت خود ممکن است متنی در فوتر داشته باشید که در تمام صفحات سایت تکرار میشود و از نظر فنی این محتوای تکراری است ولی مشکلی برای سایت ایجاد نمیکند. بسیاری از فروشگاه های اینترنتی محصولات یکسانی ارائه میدهند، اما این مسئله دلیل نمیشود که گوگل فقط یکی از سایتها را در نتایج نشان دهد.

محتوای تکراری چگونه ایجاد می شود؟

محتوای تکراری تقریباً اجتناب ناپذیر است. این اتفاق می افتد، و طبیعی است – اما این بدان معنا نیست که شما نباید مراقب آن باشید و تا آنجا که ممکن است آن را کاهش دهید.

در اکثر موارد به علت افزایش اطلاعات کاربران از فاکتور های سئو ، مالکین سایت ها عمدا محتوای تکراری تولید نمی کنند ولی به این معنی نیست که صد در صد در سایت مطالب ، آدرس و صفحات تکراری وجود ندارد. طبق تحقیقات و بررسی های انجام شده چیزی در حدود 29٪ از مطالب موجود در وب ، تکراری هستند.

بیشتر افراد ایجاد محتوای تکراری را فقط به علت کپی مطالب می دانند ، درصورتی که این تمام ماجرا نیست و دلایل دیگری نیز در این اتفاق اثرگذار هستند. مانند:

صفحات در دسترس با دو url

گاها امکان دارد به علت مشکلات برنامه نویسی یا تعریف اشتباه url ها ، مخصوصا در سیستم های مدیریت محتوا ، یک صفحه با دو آدرس متفاوت قابل دسترسی باشد. این مسئله از دید گوگل به عنوان محتوای تکراری شناخته می شود و منجر به کل صفحه از نتایج جستجو می گردد. با ابزارهایی که در ادامه معرفی خواهیم کرد می توانید این نوع از آدرس ها را تشخیص دهید.

https  یا http

اگر صفحه ای از سایت شما هم با https قابل رویت باشد و هم با http این هم به عنوان خطا شناخته می شود.فرض کنید مدتی وبسایت شما با http در دسترس بوده و پس از مدتی تصمیم گرفته اید جهت افزایش امنیت سایت از گواهینامه ssl  استفاده کنید ، اما در ریدایرکت تمام صفحات http به https دقت نکرده اید و سایت به هر دو نوع آدرس قابل بارگزاری است.

با www  و بدون www

اتفاق دیگری که موجب ایجاد محتوای تکراری می شود ، دسترسی به سایت در هر دو وضعیت با www  و بدون آن است. مثلا زمانی که آدرس سایت ما را در نوار جستجوی گوگل جستجو می کنید باید تمام نتایج بدون www  و به صورت seobehine.ir قابل مشاهده باشند. اگر صفحه ای را مشاهده کردید که با www در گوگل درج شده بود باید آن را اصلاح نمایید.

کپی کل یا بخشی از محتوا

کپی محتوا از سایر سایت ها و یا حتی صفحات دیگر سایت خودتان در یک مطلب جدید نماد واقعی محتوای تکراری است که امکان دارد سهوا یا عمدا اتفاق بیفتد. تغییر متن و یا حذف آن بهترین درمان برای این اشتباه است. هر دو صفحه ای که حتی یک پاراگراف یکسان ولی آدرس متفاوتی داشته باشند از این دسته محسوب می شوند. اگرر از سایت خودتان کپی کنید، از نوع محتوای تکراری داخلی و اگر از سایتهایی با دامنه متفاوت کپی کنید، از نوع خارجی خواهد بود.

حتی اگر بخشی از محتوا را کپی کنید، درواقع گامی برای تولید متن تکراری برداشته اید.

محتوای توضیحات محصول

تکرار در صفحات محصول فروشگاه های اینترنتی بسیار رایج است. برای سال‌هاست بیشتر سایت‌های تجارت الکترونیک از توضیحات محصولی که سازنده ارائه می‌کند استفاده می‌کنند.

تعدادی دلیل برای این وجود دارد:

راحت است. سایت ها اغلب صدها و برخی هزاران محصول دارند، و نوشتن محتوای منحصر به فرد برای تک تک مححصولات کار دشواری است.

حتی نمی دانند چگونه اولویت بندی کنند که برای کدام محصولات باید نسخه منحصر به فرد بنویسند.

گاهی اوقات رقابت آنقدر سخت است که بازگشت سرمایه کمی برای توجیه سئو و تولید محتوای هریک از محصولات وجود دارد

اینکه آیا پرداختن به این نوع محتوای تکراری را ارزش دارد یا نه، بسیار جزئی تر از یک بله یا نه ساده است. تعداد رقبا، تقاضای مشتریان، بودجه ای که در اختیار دارید، تعیین میکند که آیا تولید محتوای جدید برای محصولی خاص موثر است یا خیر.

گاهی اوقات حتی محتوای منحصر به فرد برای محصول هم تاثیری در رتبه و بازدید کسب شده ندارد.

ابزارهای رایگان برای بررسی محتوا

هنگام نوشتن مطالب جدید ، امکان دارد ناخواسته محتوا را خیلی شبیه به مطالب منتشر شده قبلی بنویسید. ایده خوبی است که همه چیزهایی را که می نویسید با استفاده از ابزارهای بررسی مورد تحلیل قرار دهید تا مطمئن شوید محتوای شما غیر تکراری است. برای این منظور ما چند ابزار رایگان جهت بررسی duplicate content  به شما معرفی می کنیم.

Copyscape – این سایت می تواند به سرعت مطالبی را که شما نوشتید را در عرض چند ثانیه با سایر مطالب وبسایت مقایسه کند و در صورتی  که موارد مشابهی را مشاهده نماید بصورت برجسته و هایلایت شده به شما نشان می دهد. همچنین میزان مشابهت دو صفحه مختلف را براساس درصد تشابه ارائه می دهد.

Plagspotter – این ابزار می تواند صفحات تکراری موجود در وب را شناسایی کند و یک ابزار عالی برای یافتن سارقینی است که محتوای شما را به کپی کرده اند. همچنین به شما امکان می دهد URL های سایت خود را بطور هفتگی کنترل کنید تا محتوای تکراری را شناسایی کنید.

Duplichecker یک وبسایت مناسب رایگان برای بررسی محتوای تکراری می باشد که به هر کاربر اجازه می دهد روزانه 50 صفحه مختلف از سایت خود را آنالیز کنند.

Siteliner هم یک ابزار عالی و رایگان است که می تواند کل سایت شما را یک بار در ماه برای محتوای تکراری بررسی نماید و در عین حال لینک های شکسته را نیز شناسایی و اعلام می کند.

برخی دیگر از ابزارهای مهم در انالیز سایت را در این مطلب بخوانید: 5 ابزار مهم آنالیز سئو سایت

چگونه مشکل محتوای تکراری را برطرف کنیم؟

اگر شما به عمد محتوایی را از سایت شخص دیگری کپی کردید که تکلیف مشخص است و باید فورا آن را حذف و با مطلب جدیدی جایگزین کنید. اما اگر به یکی دیگر از دلایل بالا محتوای تکراری ایجاد شده باشد ، باید ابتدا تشخیص دهید که کدام مطلب یا صفحه ، نسخه اصلی است. در ادامه از یکی از روش های تغییر مسیر ، تگ کانونیکال ، noindex  کردن نسخه اشتباه ، اقدام نمایید.

تغییر مسیر 301

در بسیاری از موارد ، بهترین راه برای برطرف کردن مشکل محتوای تکراری ، تنظیم یک تغییر مسیر 301 از صفحه  تکراری به صفحه محتوای اصلی است. زمانی که چند صفحه با قدرت و کیفیت خوب تجمیع می شوند و همگی به یک آدرس مشخص تغییر مسیر می دهند ، قدرت صفحه نه تنها کم نمی شود بلکه افزایش یافته و رتبه بهتری هم کسب می کند. این روش برای حل مشکل نمایش سایت با یا بدون https و www مناسب است و با ریدایرکت سایر ورژن های url به ورژن اصلی میتوانید از ایجاد آدرسهای تکراری جلوگیری کنید.

تگ canonical

از تگ canonical برای مشخص کردن آدرس اصلی استفاده می شود و به خزنده های موتور جستجو آدرس صحیح را نشان می دهد. تگ کانونیکال برای مواقعی مناسب است که یک صفحه با  دو url  متفاوت در دسترس باشد. مثلا اگر دو دامنه کاملا متفاوت دارید که یک محتوا را به کاربر نمایش میدهند، میتوانید در دامنه فرعی از تگ کنونیکال و برای اشاره به دامنه اصلی استفاده نمایید.

متاتگ noindex

از متاتگ noindex  نیز می توان برا حذف و نادیده گرفتن محتوای تکراری توسط گوگل استفاده کرد. ربات های گوگل موظفند به دستور شما توجه کنند و آدرس هایی که با تگ noindex درج شده اند را در نتایج جستجو نمایش ندهند و حذف کنند. معمولا در وردپرس به راحتی می توان این قابلیت را از طریق افزونه یوست سئو فعال کرد. این روش معمولا زمانی مفید است که به طور کلی یک صفحه را نادیده بگیرید، یعنی نیازی نباشد که خزنده های موتورجستجو آن را بررسی و در نتایج ایندکس کنند.