شاید شما قبلا اطلاعاتی در زمینه Spider ها و robot ها و crawler ها داشته باشید و بدانید که آن ها به گونه ای
برنامه نویسی می شوند که عمل crawl کردن محتویات سایت شما را مثل متن ها و لینک ها را انجام دهند و آن ها را در دیتابیس موتورهای جستجو قرار داده و با توجه به الگوریتم موتورهای جست جو سایت شما را رتبه بندی نمایند. جالبه بدانید
که crawler ها وقتی برای اولین بار وارد سایت شما می شوند به اولین چیزی که توجه می کنند لینک های شما در
صفحه هایتان می باشد. سپس متن های شما را می خوانند و لینک هایی که قبلا بررسی نموده اند دریافت می کنند.
این که دقیقا گفته شود که یک crawler چگونه اطلاعات یک سایت را مرور می کند کمی دشوار تر از اینه که من توضیح
دادم Crawler. یک درخواست ارسال می کند به یک سروری که از سایت شما میزبانی می کند و نحوه دریافت این درخواست
تقریبا مثل حالتی که مرورگرها صفحاتی را که شما می خواهید ببینید پیگیری می کنند.
