الف Spider- (عنکبوت)
اسپایدر یا روبوت (Robot)،
نرم افزاریاست كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد.اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها رادنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیارسایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیهكار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند،اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهایHTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن اینكدها را. index.html صفحه ای است كه كاربران آنرا به صورت شكل (1) میبینند:
شكل 1- نمونه ای از صفحات وب كه توسط مرورگرها نشان داده می شود.
اما یک اسپایدر آنرا چگونه می بیند؟
برای این كه شما هم بتوانید دنیای وب را از دیدگاه یك اسپایدر ببینید،كافی است كه كدهای HTML صفحات را مشاهده کنید. برای این كار در مرورگرمورد استفاده خود، مسیر نشان داده شده در شكل (2) دنبال کنید.
شكل 2- روش مشاهده كدهای HTML یک صفحه وب
با انجام این کار فایل متنی شكل (3) به شما نشان داده می شود:
شكل 3- كدهای HTML سازنده یك صفحه وب
آیا این دنیای متنی برای شما جذاب است؟
اسپایدر،به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگراجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقاتانجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یکاز موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی ازفعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدهااست.
اسپایدرها كاربردهای دیگری نیز دارند، بهعنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط بهبررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل(Email) می گردند.
ب- Crawler (خزنده)
كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند.آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقعکراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حالحاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضیها را دنبال كند و یا هیچ كدام را دنبال نكند.
کراولر،ممكن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، دراختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یکصفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت رامی تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازهدسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.
شمابه عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجوگر اطلاعاتسایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دوركنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجواگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوایسایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خوداطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایتتوسط پروتكل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) میگویند.
ج- Indexer (بایگانی كننده)
تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد.در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش هایمتفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شوداطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آنكدامند، کلمات چندبار تكرار شده اند، كلمات در كجای صفحه قرار دارند و ....
در حقیقت ایندکسر، صفحه را به پارامترهای آن خردمی کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستمرتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمانتجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كهبسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و... . از این گونه كلمات هستند.
د - DataBase (پایگاه داده)
تمامداده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. دراین بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبلاز آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی ازپایگاه داده را اشغال كنند. یك موتور جستجوگر باید پایگاده داده عظیمیداشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعاتقدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یكموتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلیموتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی دادهها در پایگاه داده است.
و- Ranker (سیستم رتبه بندی)
بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی بهسوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آنوارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگوییبه درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوعجستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عملشده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنواننتایج جستجو به كاربر نمایش می دهد.
حتی اگر موتورجستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخهای مرتبطی را ارایه كند، یك موتور جستجوگر ضعیف خواهد بود. در حقیقتسیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهایجستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالاتكاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ هارا در اختیار آنها قرار دارد.
حرفه ای های دنیای SEM به طور خلاصه از آن به A
lgo( الگوریتم) یاد می كنند. الگوریتم، مجموعه ای از دستورالعمل ها است كهموتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه دادهاش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب كند. درحال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.
میتوان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده،موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درستمی باشد: