وقتی که از متا تگ Robots استفاده می نمایید این امکان را برای Crawler ها فراهم می نمایید که به جای استفاده از
فایل robots.txt از این تگ استفاده نمایند و با سایت شما ارتباط برقرار نمایند. متا تگ robots قطعه کدی به صورت
HTML می باشد که در تگ<HEAD> سایت شما قرار می گیرد. این متا تگ برای کسانی که می خواهند از داخل
سایت Crawler ها را کنترل نمایند مناسب می باشد.
به مثال زیر توجه نمایید:
<html>
<head>
<meta name=”robots” content=”noindex, nofollow”>
<meta name=”description” content=”page description.”>
<title>
Web Site Title
</title>
</head>
<body>
کد بالا بیانگر این می باشد که Crawler ها نباید محتویات سایت را ایندکسنمایند و نباید لینک های سایت را دنبال نمایند.
به مثال های زیر نیز توجه نمایید:
<meta name=”robots” content=”index,follow”>
<meta name=”robots” content=”noindex,follow”>
<meta name=”robots” content=”index,nofollow”>
<meta name=”robots” content=”noindex,nofollow”>
تفاوت عمده ای که بین فایل robots.txt و متاتگ های robots وجود دارد این است که متا تگ robots این امکان را
برای ما فراهم نمی کند که Crawler خاصی را انتخاب نماییم و همچنین در برابر با robots.txt دارای دقت خیلی
کم تری می باشد.
خیلی از Crawler ها هستند که نه فایل robots.txt و نه متاتگ های robots را می شناسند و شما نیز نمی توانید کنترلی
بر روی آن ها داشته باشید. همانطور که Crawler ها می توانند موجب ایندکس شدن صفحات شما شوند ، همچنین می
توانند در صورتی که درست کنترل و هدایت نشوند موجب آسیب به سایت شما شوند.
