شما علاوه بر قرار دادن نقشه سایت خود در فایل robots.txt می توانید آن ها را در موتورهای جست جو مانند گوگل ثبت
نمایید. البته با ثبت نقشه سایت خود این انتظار را نداشته باشید که تمام صفحات شما crawle می شود. اما همانطور که قبلا
عرض کردم باز سفارش می کنم که حتما نقشه سایت خود را ایجاد کرده و ثبت نمایید چون با این کار می توانید
Crawler ها را برای بررسی صفحات خود راهنمایی نمایید.
