”روبوت crawler (کراولر):“

Crawler  می توانند در هر زمانی صفحات سایت شما را مورد بررسی قرار دهند. همین موضوع به ویژه در سایت های
پربازدید ایجاد مشکل می کند که مهمترین آن این است که سرعت لود سایت را پایین می آورد و موجب از دست دادن
ترافیک شما در اوج ترافیک سایتتان می شود. و حتی ممکن است در ساعاتی که سایت شما دارای بازدید زیادی است
Crawler  سایت شما را ترک کند. هنگام برنامه نویسی و طراحی یک سایت باید به این نکته توجه داشت که دیر لود شدن
سایت امکان جریمه شدن سایت ما توسط Crawler ها به وجود می آورد . اما برای این موضوع راه حلی هم وجود دارد و آن
این است که کاری انجام دهیم که Crawler  در سایت خود نگهداریم. من به طور خلاصه به شما خواهم گفت چه کاری انجام
دهید که Crawler  مجددا به سایت شما راهنمایی شوند ولی اگر تجربه من را می خواهید در صورتی که لزومی ندارد که
سایتی سنگین جهت لود شدن داشته باشید بهتر است این کار را انجام ندهید و اگر غیر از این باشد راه حل مناسب را انتخاب
نمایید. ولی قبل از اینکه وارد این بحث شوم به شما یک سری از مواردی را خواهم گفت که نباید اجازه دهید توسط
Crawler  ایندکس شوند و حتی از آنها در طراحی سایت خود استفاده نمایید در مطالب بعدی سایت پیگیری نمائید.