عضویت در پرتال

عضویت در پرتال پشتیبانی

پرتال پشتیبانی

ورود به پرتال پشتیبانی

شنبه, 20 آذر 1395 آشنایی با نحوه آنالیز موتورهای جستجو

آشنایی با نحوه آنالیز موتورهای جستجو

- DataBase (پایگاه داده) :


تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبل از آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی از پایگاه داده را اشغال كنند.

یك موتور جستجوگر باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یك موتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلی موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است.

- Crawler (خزنده) :


كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند. آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند.
کراولر، ممكن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

- Indexer (بایگانی كننده) :


تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آن كدامند، و ... .

در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كه بسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و ... . از این گونه كلمات هستند.

Ranker (سیستم رتبه بندی)


بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنوان نتایج جستجو به كاربر نمایش می دهد.

حتی اگر موتور جستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه كند، یك موتور جستجوگر ضعیف خواهد بود. در حقیقت سیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات كاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد.

حرفه ای های دنیای SEM به طور خلاصه از آن به Algo ( الگوریتم) یاد می كنند. الگوریتم، مجموعه ای از دستورالعمل ها است كه موتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب كند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.

سه شنبه, 16 آذر 1395 دلایل ایندکس نشدن تمام صفحات وب سایت توسط گوگل

دلایل ایندکس نشدن تمام صفحات وب سایت توسط گوگل

1-صفحات سایت خطای کد موقعیت http ارسال کنند.

کد عنوان یا هدر سایت، شمارا قادربه ارسال بازدید کنندگان حقیقی سایت و همچنین موتورهای جست و جو به قسمت های مختلف سایت می سازد. یک صفحه ی وب معمولا کد موقعیت"200 OK" دارد. به عنوان مثال شما میتوانید این کدهای موقعیت را استفاده کنید:

301برای انتقال دائمی استفاده میشود : این درخواست وتمام درخواست های آتی باید به یک URLجدید ارسال شود.

403 برای ممنوع شدن: سرور حاضر به پاسخ به درخواست نیست.

برای بهینه سازی اهداف موتور جست و جو باید یک ریدایرکت 301 بکار رود تا شما مطمئن بشوید بازدید کنندگان ازصفحات قدیمی سایت خود به صفحات جدید هدایت می شوند.
ابزار بررسی سایت ،در SEOprofiler نشان میدهد که کدهای موقعیت های مختلف در وب سایت شما به کار گرفته شده است. وهمچنین صفحه هایی که حاوی کد های موقعیت خطا دار هستند را برجسته می کند.

2- صفحات خود را با پسورد محافطت کنید:

اگر شما برای صفحات سایتتان رمز عبور قرار دهید فقط بیننده هایی که پسورد را میدانند قادر خواهند بود مطلب را مشاهده کنند.

روبات های موتور جستجو قادرنخواهند بود به صفحاتی که با پسورد محافظت شده دسترسی داشته باشند.صفحاتی که دارای پسورد هستند می توانند تاثیر منفی بر آزمودن کاربر داشته باشند بنابراین شما باید کاملاآن را تست کنید.

3-صفحات شما به کوکی ها یا جاوا اسکریپت نیاز دارند:

کوکی ها و جاوااسکریپت (پیغام از طرف سرور بر مرور گر) همچنبن می توانند ربات های موتور جست جو را از صفحات شما دور نگه دارند .

به عنوان مثال شما می توانید محتوا را مخفی کنید تنها با ایجاد عوامل در دسترسی که کوکی ها رو می پذیرد.

ممکن است شما در صفحات وب سایتتان از جاوا اسکریپت های پیچیده استفاده کنید برای اجرای مطالب
بیشتر روبات های موتور جست و جو کدهای پیچیده ی جاوا اسکریپت را اجرا نمیکنند. در نتیجه قادر به خواندن صفحات وب سایت شما نخواهند بود .
گوگل می تواند این صفحات را تجزیه و تحلیل کند اما شما آن را بی ارزش و دشوار ساخته اید.

4- خطا در فایل robots.txt وب سایت شما را از گوگل دور نگه می دارد.

عدم توجه به فایل robots.txt یک راه آسانی است برای حذف فایل های تکی یا کل دایرکتوری هایی که ایندکس شده.
برای حذف فایل های فردی عبارت زیر را به فایلrobots.txt اضافه کنید.

* :User-agent
Disallow: /directory/name-of-file.html

برای حذف گروهی دایرکتوری ها از عبارت زیر استفاده کنید.

* : User-agent
Disallow: /first-directory/
Disallow: /second-directory/

اگر وب سایت شما دارای یک فایل robots.txt هست این فایل را دوبار چک کنید تا مطمئن شوید که دایرکتوری که شما میخواهید در نتایج جستجوی گوگل ببینید را رد نمی کند.
توجه داشته باشید که بازدیدکنندگان سایتتان هنوز میتوانند صفحه هایی که شما محروم کردید از فایل robots.txt را ببینند.
وب سایت خودرا با استفاده از ابزار حسابرسی سایت درSEOprofiler برای پیدا کردن هرگونه مشکلی با فایل robots.txt بررسی کنید.

5- درصفحه های وب سایتتان ازmeta robots noindex tag (توضیحاتی که سبب عدم ایندکس شدن صفحه توسط گوگل می شود) استفاده کرده باشید.

meta robots noindex tag شما را قادر میسازد که شما به روبات های موتور جست و جو می گویید که صفحه ی خاصی نباید ایندکس بشود . برای محروم کردن یک صفحه وب از نتایج جست و جو کد زیر را در قسمت <head> صفحه ی وب اضافه کنید:

<"meta name="robots" content="noindex, nofollow>

دراین مورد موتور های جست و جو نه تنها صفحه را ایندکس نمی کنند بلکه آنها لینک های صفحه را نیز درک نمی کنند .
اگر شما میخواهید که موتور های جست و جو لینک های صفحه را درک کنند از عبارت زیر استفاده کنید.

<"meta name="robots" content="noindex, follow>

بااستفاده از این کد، گوگل دیگر صفحه ی موردنظر شما را جزوه نتایج جست و جویش نشان نخواهد داد ولی لینک های آن صفحه را دنبال میکند.
متا روبات تنها برروبات های موتورجست و جو تاثیر می گذارد .بازدید کننده هایی که به طور منظم از وب سایت شما بازدید می نمایند همیشه می توانند صفحه هات را ببینند.
ابزار حسابرسی سایت در SEOprofiler اطلاعاتی درمورد متا روبات ها در اختیارتان میگذارد.