( مشاهده پاسخ شماره 1 تا 2 / از مجموع 2 پاسخ )

موضوع: موتور جستجو چگونه کار می کند؟

  1. #1
    مدیر انجمن
    تاریخ عضویت
    Jul 2009
    رشته
    مهندسی شیمی
    سن
    34
    نوشته ها
    580

    پیش فرض موتور جستجو چگونه کار می کند؟

    وقتی جستجویی در یک موتور جستجوگرانجام و نتایج جستجو ارایه می شود، كاربران در واقع نتیجه كار بخش هایمتفاوت موتور جستجوگر را می بینند. موتور جستجوگر قبلا" پایگاه داده اش راآماده كرده است و این گونه نیست كه درست در همان لحظه جستجو، تمام وب رابگردد. بسیاری از خود می پرسند كه چگونه ممکن است گوگل در كمتر از یكثانیه تمام سایت های وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه كند؟

    گوگل و هیچ موتور جستجوگر دیگریتوانایی انجام این كار را ندارند. همه آنها در زمان پاسخ گویی به جستجوهایكاربران، تنها در پایگاه داده ای كه در اختیار دارند به جستجو می پردازندو نه در وب! موتور جستجوگر به كمك بخش های متفاوت خود، اطلاعات مورد نیازرا قبلا" جمع آوری، تجزیه و تحلیل می كند، آنرا در پایگاه داده اش ذخیرهمی نماید و به هنگام جستجوی کاربر تنها در همین پایگاه داده می گردد. بخشهای مجزای یك موتور جستجوگر عبارتند از:


    • Spider یا عنکبوت

    • Crawler یا خزنده

    • Indexer یا بایگانی کننده

    • Database یا پایگاه داده

    • Ranker یا سیستم رتبه بندی


    الف Spider- (عنکبوت)
    اسپایدر یا روبوت (Robot)، نرم افزاریاست كه كار جمع آوری اطلاعات مورد نیاز یك موتور جستجوگر را بر عهده دارد.اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها رادنبال می کند، اطلاعات مورد نیاز را جمع آوری می كند و آنرا در اختیارسایر بخش های موتور جستجوگر قرار می دهد. كار یك اسپایدر، بسیار شبیهكار كاربران وب است. همانطور كه كاربران، صفحات مختلف را بازدید می كنند،اسپایدر هم درست این كار را انجام می دهد با این تفاوت كه اسپایدر كدهایHTML صفحات را می بیند اما كاربران نتیجه حاصل از كنار هم قرار گرفتن اینكدها را. index.html صفحه ای است كه كاربران آنرا به صورت شكل (1) میبینند:




    شكل 1- نمونه ای از صفحات وب كه توسط مرورگرها نشان داده می شود.


    اما یک اسپایدر آنرا چگونه می بیند؟
    برای این كه شما هم بتوانید دنیای وب را از دیدگاه یك اسپایدر ببینید،كافی است كه كدهای HTML صفحات را مشاهده کنید. برای این كار در مرورگرمورد استفاده خود، مسیر نشان داده شده در شكل (2) دنبال کنید.




    شكل 2- روش مشاهده كدهای HTML یک صفحه وب


    با انجام این کار فایل متنی شكل (3) به شما نشان داده می شود:




    شكل 3- كدهای HTML سازنده یك صفحه وب


    آیا این دنیای متنی برای شما جذاب است؟

    اسپایدر،به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگراجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقاتانجام شده در آن را داشته باشید، می توانید مشخص كنید كه اسپایدر كدام یکاز موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی ازفعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدهااست.

    اسپایدرها كاربردهای دیگری نیز دارند، بهعنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط بهبررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس ایمیل(Email) می گردند.

    ب- Crawler (خزنده)
    كراولر، نرم افزاری است كه به عنوان یك فرمانده برای اسپایدر عمل می كند.آن مشخص می كند که اسپایدر كدام صفحات را مورد بازدید قرار دهد. در واقعکراولر تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه اسپایدر در حالحاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضیها را دنبال كند و یا هیچ كدام را دنبال نكند.

    کراولر،ممكن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، دراختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال كردن لینك های یکصفحه به این بستگی دارد كه موتور جستجوگر چه حجمی از اطلاعات یک سایت رامی تواند (می خواهد) در پایگاه داده اش ذخیره كند. همچنین ممكن است اجازهدسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.

    شمابه عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجوگر اطلاعاتسایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دوركنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجواگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوایسایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خوداطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایتتوسط پروتكل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) میگویند.

    ج- Indexer (بایگانی كننده)
    تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد.در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش هایمتفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شوداطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آنكدامند، کلمات چندبار تكرار شده اند، كلمات در كجای صفحه قرار دارند و ....

    در حقیقت ایندکسر، صفحه را به پارامترهای آن خردمی کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستمرتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمانتجزیه و تحلیل اطلاعات، ایندکسر برای كاهش حجم داده ها از بعضی كلمات كهبسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the ، www ، is و... . از این گونه كلمات هستند.

    د - DataBase (پایگاه داده)
    تمامداده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. دراین بخش داده ها گروه بندی، كدگذاری و ذخیره می شود. همچنین داده ها قبلاز آنكه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم كمی ازپایگاه داده را اشغال كنند. یك موتور جستجوگر باید پایگاده داده عظیمیداشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعاتقدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یكموتور جستجوگر برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلیموتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی دادهها در پایگاه داده است.

    و- Ranker (سیستم رتبه بندی)
    بعد از آنكه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی بهسوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آنوارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگوییبه درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده كه به موضوعجستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عملشده، آنها را از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و به عنواننتایج جستجو به كاربر نمایش می دهد.

    حتی اگر موتورجستجوگر بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخهای مرتبطی را ارایه كند، یك موتور جستجوگر ضعیف خواهد بود. در حقیقتسیستم رتبه بندی قلب تپنده یك موتور جستجوگر است و تفاوت اصلی موتورهایجستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالاتكاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ هارا در اختیار آنها قرار دارد.

    حرفه ای های دنیای SEM به طور خلاصه از آن به Algo( الگوریتم) یاد می كنند. الگوریتم، مجموعه ای از دستورالعمل ها است كهموتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه دادهاش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب كند. درحال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.

    میتوان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده،موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درستمی باشد:

    • کراولر

    • بایگانی

    • سیستم رتبه بندی

    تذکر-برای سهولت در بیان مطالب بعدی هر گاه صحبت از بایگانی کردن (شدن) به میانمی آید، مقصود این است که صفحه تجزیه و تحلیل شده و به پایگاه داده موتورجستجوگر وارد می شود.

    برای آنكه تصور درستی ازنحوه كار یك موتور جستجوگر داشته باشید داستان نامتعارف زیر را با همبررسی می كنیم. داستان ما یک شکارچی دارد. او تصمیم به شكار می گیرد:

    - کار کراولر:
    او قصد دارد برای شكار به منطقه حفاظت شده ابیورد، واقع در شهرستان درگز (شمالی ترین شهر خراسان بزرگ) برود.

    - پروتكل Robots :
    ابتدا تمام محدودیت های موجود برای شكار در این منطقه را بررسی می كند:

    • آیا در این منطقه می توان به شکار پرداخت؟

    • کدام حیوانات را می توان شکار کرد؟

    • حداکثر تعداد شکار چه میزانی است؟

    • و ... .

    فرض می کنیم او مجوز شكار یک اوریال (نوعی آهو) را از شكاربانی منطقه دریافت می كند.

    - کار اسپایدر
    او اوریالی رعنا را شكار می كند و سپس آنرا با خود به منزل می برد.

    - کار ایندکسر
    شكار را تكه تكه كرده، گوشت، استخوان، دل و قلوه، كله پاچه و ... آنرا بسته بندی می كند و بخش های زاید شکار را دور می ریزد.

    - کار پایگاه داده
    بسته های حاصل را درون فریزر قرار داده، ذخیره می کند.

    - کار سیستم رتبه بندی
    مهمانان سراغ او می آیند و همسرش بسته به ذائقه مهمانان برای آنها غذاطبخ می كند. ممكن است عده ای كله پاچه، عده ای آبگوشت، عده ای ... دوستداشته باشند. پخت غذا طبق سلیقه مهمانان کار سختی است. ممكن است همه آنهاآبگوشت بخواهند اما آنها مسلما" بامزه ترین آبگوشت را می خواهند!

    نکته ها:

    • شکارچیمی توانست برای شکار کبک یا اوریال و یا هر دو به آن منطقه برود همانطورکه موتور جستجوگر می تواند از سرور سایت شما انواع فایل (عکس، فایل متنی،فایل اجرایی و ...) درخواست کند.

    • شکارچیمی تواند شب به شکار برود یا روز. موتور جستجوگر هم ممکن است شب به سایتشما مراجعه کند یا روز. بنابراین همواره مطمئن باشید که سایت شما آپ است وموتور جستجوگر می تواند در آن به شکار فایلها بپردازد.

    • غذایخوشمزه را می توانید با نتایج جستجوی دقیق و مرتبط مقایسه کنید. اگرشکارچی بهترین شکار را با خود به منزل ببرد اما غذایی خوشمزه و مطابقسلیقه مهمانان طبخ نگردد، تمام زحمات هدر رفته است.

    • بهعنوان آخرین نکته این بخش یاد آوری می کنم که به شکار اوریالی رعنا آن همدر منطقه حفاظت شده ابیورد (پارک ملی تندوره) اصلا فکر نکنید. اما توصیهمی شود که حتما از طبیعت بکر آن دیدن فرمایید (بدون اسلحه!).
    دلم را در غمت کردم ز هر ویرانه ویرانتر
    چو دیدم دوست میدارد دلت دل های ویران را


  2. #2

    پیش فرض پاسخ : موتور جستجو چگونه کار می کند؟

    با سلام
    دوست عزیز مطلب جالبی بود.
    ولی متاسفانه عنوان تاپیک تکراریست در صورت امکان از ایجاد تاپیک های تکراری خودداری فرمایید.


اطلاعات موضوع

کاربرانی که در حال مشاهده این موضوع هستند

در حال حاضر 1 کاربر در حال مشاهده این موضوع است. (0 کاربران و 1 مهمان ها)

موضوعات مشابه

  1. موتور های شبه توربین چگونه کار می کنند؟
    توسط محمد بهبهانی در انجمن مقالات مهندسی مکانیک
    پاسخ: 0
    آخرين نوشته: 10-22-2009, 09:50 AM
  2. موتورهای دوزمانه
    توسط yooseph367 در انجمن مقالات مهندسی مکانیک
    پاسخ: 0
    آخرين نوشته: 10-11-2009, 11:02 PM
  3. موتور های دیزل چگونه کار می کنند؟
    توسط yooseph367 در انجمن مقالات مهندسی مکانیک
    پاسخ: 0
    آخرين نوشته: 10-06-2009, 05:49 PM
  4. نحوه کار کرد موتور های جت
    توسط yooseph367 در انجمن مقالات مهندسی مکانیک
    پاسخ: 0
    آخرين نوشته: 10-06-2009, 05:21 PM
  5. سوپر شارژر ها چگونه کار می کنند ؟
    توسط yooseph367 در انجمن مقالات مهندسی مکانیک
    پاسخ: 0
    آخرين نوشته: 10-06-2009, 04:28 PM

کلمات کلیدی این موضوع

مجوز های ارسال و ویرایش

  • شما نمیتوانید موضوع جدیدی ارسال کنید
  • شما امکان ارسال پاسخ را ندارید
  • شما نمیتوانید فایل پیوست کنید.
  • شما نمیتوانید پست های خود را ویرایش کنید
  •