نمایه سازی توزیع شده وب با استفاده از خزنده مهاجر

نویسنده

چکیده

به علت سرعت بسیار زیاد در افزایش منابع وب و بسامد بالای تغییرات، نگهداری یک نمایه‌ روزآمد برای مقاصد جستجوگری (موتورهای کاوش) به یک چالش تبدیل می‌شود. روش‌های سنتی خزنده‌ها، دیگر این قابلیت را ندارند که با روزآمد شدن و رشد دائمی وب، همگام شوند. با درک این مسئله، در این مقاله ما یک روش جایگزین، یعنی روش خزنده‌ توزیع‌شده با استفاده از عامل‌های سیار[2] را پیشنهاد می‌کنیم. هدف ما ارائه‌ یک شیوه‌ خزش مقیاس‌پذیراست که میزان بهره‌گیری از شبکه را کم کند، با تغییرات منابع هماهنگ باشد، درک زمانی را به کار گیرد، و به سهولت قابل ارتقا باشد

کلیدواژه‌ها


عنوان مقاله [English]

Distributed Indexing of world wide web using migrating crawler

نویسنده [English]

  • Rostam Mozafari
چکیده [English]

The explosive growth of the web-based resources coupled with high-rate of change has made an up-to-date index needed for search (engines) a challenge. Crawlers are no longer capable of keeping up pace with the rapid growth of web using traditional approaches. The present paper offers an alternative method called distributed crawling using mobile agents. The aim is to offer a scalable crawling methodology that is less network intensive, would keep pace with changes in resource profiles, employs time perception and could be easily upgraded.

کلیدواژه‌ها [English]

  • migrating crawler (web)
  • Search Engine
  • mobile agents (web)
  • web crawling
  • distributed indexing
  • Updating
  • ucymicra (web crawling system)