چطور بدون مشکل یک url را از سایت پاک کنیم
ادمین
به عنوان یک وبمستر گاهی مجبوریم تغییراتی ایجاد و سایت را اصطلاحاً تمیزکاری کنیم. در طی این فرایند ممکن است بعضی URL ها حذف و برخی برگه ها از دسترس خارج شوند.
این اتفاق باعث می شود که لینک صفحه حذف شده به خطای 404 برخورد کند. صفحات 404 تبعات ناخوشایندی روی سئوی سایت دارند. برای جلوگیری از این مشکل باید لینک های حذف شده را ریدایرکت کنیم. در واقع وقتی صفحه ای را از سایت حذف می کنیم URL آن حذف خواهد شد.
مهمترین اشکالی که در حذف صفحات وب سایت وجود دارد ارور 404 است؛ خصوصاً وقتی صفحه ای که قرار است حذف شود رتبه خوبی داشته باشد.
برای جلوگیری از این اتفاق باید از روش ریدایرکت کردن استفاده کنیم. اگر آدرسی که می خواهیم حذف کنیم در اعتبار سایت تأثیر نداشته باشد، می توانیم با استفاده از افزونه یوست به راحتی این کاررا انجام دهیم. با این افزونه می توانیم یک کد وضعیت 410 تولید کنیم.
ریدایرکت کنیم یا حذف؟
قبل از حذف هر صفحه ای ابتدا دقت کنید که آیا محتوای مشابه صفحه مزبور در سایت وجود دارد یا خیر.
درباره موضوعات ذیل فکر کنید:
آیا محتوایی در سایت وجود دارد که اطلاعات مورد جستجوی کاربر را در اختیارش قرار بدهد؟ در صورتی که پاسخ به این سوال مثبت است، کاری که باید بکنیم این است که صفحه پاک شده را به صفحه مرتبط ریدایرکت کنیم .
باید توجه داشته باشیم که حتی یک ارور 404 که برای یک کاربر اتفاق می افتد برای سئو سایت اثرات منفی می گذارد؛ بنابراین اگر حتی صفحه مورد نظر بازدیدکنندگان کمی هم دارد از ریدایرکت استفاده کنید.
چطور در وردپرس ریدایرکت بسازم؟
برای تغییر آدرس ها چند نوع ریدایرکت مختلف وجود دارد. این روش ها را می توان برای حذف یا تغییر آدرس یک صفحه استفاده کرد. نمونه ای از این ریدایرکت ها 301، 302، 307 و ... هستند.
به طور کلی اگر بخواهیم یک صفحه از وب سایت را کامل و برای همیشه حذف کنیم، بهترین راه ریدایرکت دائمی 301 است.
چرا ریدایرکت 301 بهترین راه است؟
ریدایرکت 301 برای حذف کامل صفحات بسیار موثر است زیرا تمام اعتبار و ارزشی که صفحه پاک شده دارد را به صفحه جدید منتقل می کند.
اگر صفحه مشابه دیگری در سایت وجود نداشته باشد دو راه خواهیم داشت:
- حذف کامل صفحه
- به روزرسانی اطلاعات صفحه
اگر قصد داشته باشیم که صفحه را برای همیشه حذف کنیم بهترین راه استفاده از کد سربرگ 410 در هدر HTTP است.
چرا وضعیت 410 بهترین تصمیم برای حذف محتواست؟
کد سربرگ 410 به خزنده های گوگل اعلام می کند صفحه مورد نظر توسط مدیر سایت برای همیشه حذف شده است. این صفحه وجود ندارد و کراولر ها دوباره وارد آن صفحه نخواهند شد و بایستی این صفحه از ایندکس گوگل حذف شوند.
حذف صفحات کم ارزش برای سایت شبیه هرس کردن درختان است با حذف شاخ و برگ های زائد شاخه های زیبا جلوه بهتری خواهند داشت.
اگر صفحه ای بدون مشکل را حذف کنیم قطعا به سایت آسیب وارد می شود اما با حذف اطلاعات کم ارزش که دارای ساختار مناسبی هم نیستند می توانیم ساختار سایت را اصلاح کرده و جذابیت آن را برای گوگل بالا ببریم.
هدر 410 چه فرقی با خطای 404 دارد؟
- خطای 404 یعنی صفحه مورد نظر پیدا نمی شود.
- هدر 410 یعنی صفحه حذف شده است.
در افزونه یوست پریمیوم ماژولی برای تغییر مسیر وجود دارد. این ماژول کاربر را قادر می کند که کد سربرگ 410 را در هدر صفحه ایجاد کند.
در یوست پریمیوم وقتی می خواهیم یک صفحه را حذف کنیم و یا پیوند یکتای آن را تغییر دهیم به طور اتوماتیک از کاربر پرسیده می شود می خواهید با یو آر ال قبلی چه کنید؟ در ادامه این پیام ریدایرکت های مختلف موجود در این زمینه معرفی می شوند.
انواع ریدایرکت در افزونه یوست سئو
افزونه پریمیوم یوست کاربر را قادر می سازد تا از انواع ریدایرکت برای تغییر مسیر و یا حذف لینک های شکسته و پیوندهای ایندکس شده استفاده کند. اگر افزونه یوست را نصب کنیم می توانیم از بخش میز فرمان جستجو در سرچ کنسول پیوند های حذف شده، شکسته و منتقل شده را دقیقاً ببینیم. این موضوع کنترل بهتری روی سایت و مدیریت لینک ها و صفحات به ما خواهد داد.
نکته: ریدایرکت کردن آدرس ها در کنترل ایندکس سایت موثر است.
اگر از کد 410 در کد وضعیت HTTP صفحات 404 استفاده شود گوگل سریع تر این صفحات را از ایندکس خارج می کند.
استفاده هوشمندانه از محتوای صفحات 404
صفحات 404 جزوی از سایت هستند و همیشه ممکن است کاربران با این صفحات در وب سایت ما مواجه شود. بنابراین منطقی است که این صفحات را سازماندهی کرده و نهایت استفاده را از آن داشته باشیم.
می توان از این روش برای رفع ناراحتی کاربران استفاده کرد و یا آنها را در مسیر درستی هدایت کرد تا نیاز خود را از سایت ما برطرف کنند.
یکی از موضوعاتی که وب مستران بایستی به آن توجه کنند نحوه صحیح حذف صفحات ایندکس شده است.
چگونه صفحات ایندکس شده را حذف کنیم؟
دلایل مختلفی می تواند برای حذف صفحات ایندکس شده در گوگل وجود داشته باشد که در ادامه به برخی از آنها اشاره می کنیم:
- ایندکس شدن اشتباهی صفحات
بسیاری از قالب های وردپرس صفحاتی اماده را در اختیار وب مستر قرار می دهند تا برای تست و تغییر شکل سایت از آنها استفاده کنند. وب مستر ها از این صفحات برای ایجاد سایت خود ایده می گیرند. باید توجه داشته باشیم که این صفحات بعد از انجام کار مورد نظر و قبل از ایندکس شدن باید حذف شوند. - ایندکس شدن صفحات بی محتوا
صفحاتی در سایت وجود دارند که زامبی پیج شناخته می شوند. این صفحات ایندکس شده اند اما کیفیت بسیار پایینی دارند. متوسط اعتبار سایت از اعتبار تک تک صفحات و رنک همه آنها استفاده می کند بنابراین حتی وجود انگشت شمار صفحه ضعیف می تواند به سئوی سایت آسیب وارد کرده و رنک کلی وب سایت را ضعیف کند.
صفحاتی که کلماتی کمتر از 300 کلمه محتوای کم کیفیت داشته و یا محتوای کپی دارند زامبی شناخته می شوند. این صفحات گاهی به صورت اتفاقی گاهی هم از روی ناآگاهی ساخته می شوند. بهترین کار در این شرایط بروز رسانی این صفحات و کمک به آن با ایجاد لینک های داخلی است. کار دیگری که باید انجام بدهیم بهبود کیفیت محتوای این صفحه است.
صفحاتی از قبیل صفحه فاکتور محصولات و برگه پرداخت قابل بروزرسانی و حتی حذف نیستند. در این شرایط بهترین کار حذف لینک هایی است که در گوگل ایندکس شده اند. - حذف صفحه سایت از گوگل
دیگر دلیلی که باعث می شود صفحه ای از سایت را حذف کنیم محتواهایی مانند اخباری است که به اشتباه منتشر شده است. در این حالت صفحه هم از ایندکس گوگل و هم از سایت خودمان حذف خواهد شد.
حذف لینک های ایندکس شده از گوگل
1_ no-index کردن صفحه سایت
یکی از کارهایی که باید برای یو آر ال حذف شده انجام دهیم دست کاری کدهای آن است. کراولر ها زمانی که سراغ یک صفحه از سایت می روند در ابتدا دستوراتی که مربوط به ربات ها و کراولر هاست را بررسی می کنند. در حالت پیشفرض سایت ها قابل ایندکس شدن هستند. اما می توانیم با ایجاد چند کد کوتاه به کراولر اعلام کنیم که صفحه مورد نظر را ایندکس نکند.
اگر صفحه مورد نظر از قبل ایندکس نشده باشد با ایجاد دستور noindex ربات ها را از ایندکس کردن آن منع می کنیم. در این صورت ربات اصلاً صفحه را بررسی نکرده و ایندکس نمی کند و از آن می گذرد.
اما اگر صفحه خاصی داشته باشیم که قبلا ایندکس شده است، با ایجاد دستور noindex از لیست ایندکس های گوگل حذف خواهد شد.در سایت های وردپرسی دستورات و روش هایی برای این کار وجود دارد. البته در سایر سی ام اس ها نیز می توانیم با افزودن یک قطعه کد به صفحه وب آن را از دسترس کراولر ها دور کنیم.
2. حذف صفحات ایندکس شده در گوگل به کمک افزونه yoast seo
یوست سئو افزونه ای پر کاربرد در زمینه بهینه سازی موتورهای جستجو است. برای noindex کردن صفحات ابتدا یوست را نصب کرده و به صفحه ای می رویم که قصد داریم آن را noindex کنیم.
- یوست را باز می کنیم
- در انتهای لیست باز شده گزینه پیشرفته را انتخاب می کنیم.
- این افزونه در نوایندکس کردن صفحات سایت به راحت ترین شکل ممکن کمکمان می کند. بعد از نصب آن، به صفحه مورد نظری که قصد حذف آن از نتایج گوگل داریم، می رویم.
- در انتهای صفحه روی منوی افزونه یوست کلیک می کنیم.
- زیر جمله “به موتورهای جستجو اجازه نمایش این نوشته را می دهید” گزینه ای قرار دارد. با کلیک بر روی این گزینه دو گزینه کشویی دیگر باز می شوند.
- گزینه خیر را انتخاب و صفحه را به روز رسانی می کنیم.
با این کار کد noindex در صفحه مورد نظر قرار می گیرد و ربات های جستجو منبعد متوجه می شوند که نباید صفحه مورد نظر را ایندکس کنند و اگر هم قبلا ایندکس شده باید آن را از دیتا بیس خود حذف کنند.
صفحه ای که نو ایندکس شده است طی یکی هفته یا اندکی بیشتر از صفحات گوگل و موتورهای جستجو حذف می شود. صفحه مورد نظر در عرض یک هفته یا کمی بیشتر به طور کلی از صفحات گوگل و تمامی موتورهای جستجو دیگر حذف می شود.
3_ حذف صفحات ایندکس شده در گوگل با حذف صفحه
راهکار دیگری که برای حذف صفحه وجود دارد و تقریبا کاری اشتباه است حذف کامل صفحه از وب سایت است. حذف صفحه ایندکس شده به این صورت شدنی است اما برای سئوی سایت ایرادات زیادی ایجاد می کند.
اگر صفحه ای از سایت را حذف کنیم بعدئ از آن ارور 404 نشان داده می شود. هر کاربر در هر جای اینترنت که روی لینک های صفحه حذف شده در سایت های دیگر کلیک کند با ارور 404 مواجه خواهد شد.
مورد بعدی که اتفاق بسیار بدی در سئو است این است که افراد از طریق موتورهای جستجو روی صفحه مورد نظر در لیست سرچ کلیک کنند و به ارور 404 برسند. این کار باعث می شود افراد سریعاً از سایت خارج شده و باعث افزایش نرخ پرش یا بانس ریت شوند.
اگر در داخل سایت به این صفحه لینک داخلی داده باشیم این لینک ها نیز اصطلاحاً شکسته نام گرفته و عاملی منفی برای سئوی سایت است.
صفحاتی که به این شکل از سایت حذف شده اند عموماً بعد از چند هفته از ایندکس گوگل حذف می شوند اما درنهایت اثر منفی بر روی سایت را با خود خواهند داشت.
4_ روش صحیح حذف لینک های ایندکس شده از گوگل و سایت
روش درست این کار این است که در ابتدا باید صفحه مورد نظر را نو ایندکس کنیم. این کار باعث می شود تا ربات های گوگل در اولین بازدید از سایت آن ر از لیست صفحات ایندکس شده خارج کنند.
بعد از حدود یک هفته می توانید صفحه مورد نظر را کاملا حذف کنید. البته ارور 404 هنوز وجود خواهد داشت برای حذف آن از ریدایرکت صفحه مزبور استفاده می کنیم.
5_ حذف صفحات سایت از گوگل با کمک فایل robot.txt
معمولا اگر به یوست دسترسی داشته باشیم، بهترین روش استفاده از آن است اما در صورتی که نمی خواهیم از یوست استفاده کنیم روش دیگر استفاده از فایل robot.txt است.
برای تغییر فایل robot.txt به سراغ آن در هاست رفته و آن را با ادیتور باز می کنیم و کد ذیل را در آن وارد می کنیم:
*:User-agent /Disallow:/example.com
6_ نوایندکس کردن صفحات سایت با کمک کد برنامه نویسی
راه دیگر که می توانیم از طریق کدنویسی صفحه مورد نظر را نو ایندکس کنیم نوشتن قطعه کد ذیل در قسمت head برگه مورد نظر است.
<“meta name=”robots” content=”noindex>
با نوشتن همین قطعه کد در head صفحه مورد نظر ربات های موتورهای جستجو دیگر این صفحه را از لیست ایندکس شده ها خارج می کنند.
6_ حذف صفحات ایندکس شده در گوگل به کمک قابلیت password
گوگل و سایر موتورهای جستجو صفحاتی که روی آنها رمز و پسوورد وجود دارد را نمی توانند ایندکس کنند. کراولر ها برای بررسی صفحه باید اجازه ورود داشته باشند. در صفحاتی که رمز عبور از بازدید کننده خواسته می شود گوگل قادر به مشاهده و بررسی صفحه نیست از این رو آن را ایندکس نمی کند و در صورتی که ایندکس شده باشد آن را به حالت نو ایندکس در می آورد.
یکی از راه های نو ایندکس کردن صفحات سایت همین گذاشتن رمز روی صفحه است. در این صورت گوگل با مشاهده رمز روی صفحه از آن عبور کرده و آن را بررسی و ایندکس نمی کند.
7_ حذف صفحات ایندکس شده در گوگل با کمک سرچ کنسول
از دیگر راه های حذف یو آر ال از ایندکس گوگل می توانیم از سرچ کنسول استفاده کنیم. این کار کمتر از 24 ساعت صفحه مورد نظر را از لیست ایندکس گوگل خارج می کند.
جمع بندی
مشکل صفحات 404 مشکل خیلی بزرگی نیست. ممکن است در معرض الگوریتم پاندای گوگل بسیاری از صفات کم ارزش سایت خود را حذف کرده باشیم؛ در این صورت وب سایت با حجم بالای ارور های 404 مواجه شده و به صور غیر مستقیم سبب افت رتبه سایت خواهد شد. از روش هایی که می توانید برای جلوگیری از این اتفاق استفاده کنید ریدایرکت کردن است که در مقاله حاضر به آن اشاره کردیم.
امیدواریم این مقاله برایتان مفید واقع شده باشد. اگر سوالی دارید که در این مقاله پاسخش را پیدا نکردید، در قسمت کامنت ها سوال خود را مطرح کنید، کارشناسان ما در کمتر از چند دقیقه به سوالات پاسخ خواهند داد.
این مقاله را با دوستان خود به اشتراک بگذارید.
