1-صفحات سایت خطای کد موقعیت http ارسال کنند.
کد عنوان یا هدر سایت، شمارا قادربه ارسال بازدید کنندگان حقیقی سایت و همچنین موتورهای جست و جو به قسمت های مختلف سایت می سازد. یک صفحه ی وب معمولا کد موقعیت”200 OK” دارد. به عنوان مثال شما میتوانید این کدهای موقعیت را استفاده کنید:
301برای انتقال دائمی استفاده میشود : این درخواست وتمام درخواست های آتی باید به یک URLجدید ارسال شود.
403 برای ممنوع شدن: سرور حاضر به پاسخ به درخواست نیست.
برای بهینه سازی اهداف موتور جست و جو باید یک ریدایرکت 301 بکار رود تا شما مطمئن بشوید بازدید کنندگان ازصفحات قدیمی سایت خود به صفحات جدید هدایت می شوند.
ابزار بررسی سایت ،در SEOprofiler نشان میدهد که کدهای موقعیت های مختلف در وب سایت شما به کار گرفته شده است. وهمچنین صفحه هایی که حاوی کد های موقعیت خطا دار هستند را برجسته می کند.
2- صفحات خود را با پسورد محافطت کنید:
اگر شما برای صفحات سایتتان رمز عبور قرار دهید فقط بیننده هایی که پسورد را میدانند قادر خواهند بود مطلب را مشاهده کنند.
روبات های موتور جستجو قادرنخواهند بود به صفحاتی که با پسورد محافظت شده دسترسی داشته باشند.صفحاتی که دارای پسورد هستند می توانند تاثیر منفی بر آزمودن کاربر داشته باشند بنابراین شما باید کاملاآن را تست کنید.
3-صفحات شما به کوکی ها یا جاوا اسکریپت نیاز دارند:
کوکی ها و جاوااسکریپت (پیغام از طرف سرور بر مرور گر) همچنبن می توانند ربات های موتور جست جو را از صفحات شما دور نگه دارند .
به عنوان مثال شما می توانید محتوا را مخفی کنید تنها با ایجاد عوامل در دسترسی که کوکی ها رو می پذیرد.
ممکن است شما در صفحات وب سایتتان از جاوا اسکریپت های پیچیده استفاده کنید برای اجرای مطالب
بیشتر روبات های موتور جست و جو کدهای پیچیده ی جاوا اسکریپت را اجرا نمیکنند. در نتیجه قادر به خواندن صفحات وب سایت شما نخواهند بود .
گوگل می تواند این صفحات را تجزیه و تحلیل کند اما شما آن را بی ارزش و دشوار ساخته اید.
4- خطا در فایل robots.txt وب سایت شما را از گوگل دور نگه می دارد.
عدم توجه به فایل robots.txt یک راه آسانی است برای حذف فایل های تکی یا کل دایرکتوری هایی که ایندکس شده.
برای حذف فایل های فردی عبارت زیر را به فایلrobots.txt اضافه کنید.
* :User-agent
Disallow: /directory/name-of-file.html
برای حذف گروهی دایرکتوری ها از عبارت زیر استفاده کنید.
* : User-agent
Disallow: /first-directory/
Disallow: /second-directory/
اگر وب سایت شما دارای یک فایل robots.txt هست این فایل را دوبار چک کنید تا مطمئن شوید که دایرکتوری که شما میخواهید در نتایج جستجوی گوگل ببینید را رد نمی کند.
توجه داشته باشید که بازدیدکنندگان سایتتان هنوز میتوانند صفحه هایی که شما محروم کردید از فایل robots.txt را ببینند.
وب سایت خودرا با استفاده از ابزار حسابرسی سایت درSEOprofiler برای پیدا کردن هرگونه مشکلی با فایل robots.txt بررسی کنید.
5- درصفحه های وب سایتتان ازmeta robots noindex tag (توضیحاتی که سبب عدم ایندکس شدن صفحه توسط گوگل می شود) استفاده کرده باشید.
meta robots noindex tag شما را قادر میسازد که شما به روبات های موتور جست و جو می گویید که صفحه ی خاصی نباید ایندکس بشود . برای محروم کردن یک صفحه وب از نتایج جست و جو کد زیر را در قسمت <head> صفحه ی وب اضافه کنید:
<“meta name=”robots” content=”noindex, nofollow>
دراین مورد موتور های جست و جو نه تنها صفحه را ایندکس نمی کنند بلکه آنها لینک های صفحه را نیز درک نمی کنند .
اگر شما میخواهید که موتور های جست و جو لینک های صفحه را درک کنند از عبارت زیر استفاده کنید.
<“meta name=”robots” content=”noindex, follow>
بااستفاده از این کد، گوگل دیگر صفحه ی موردنظر شما را جزوه نتایج جست و جویش نشان نخواهد داد ولی لینک های آن صفحه را دنبال میکند.
متا روبات تنها برروبات های موتورجست و جو تاثیر می گذارد .بازدید کننده هایی که به طور منظم از وب سایت شما بازدید می نمایند همیشه می توانند صفحه هات را ببینند.
ابزار حسابرسی سایت در SEOprofiler اطلاعاتی درمورد متا روبات ها در اختیارتان میگذارد.