پژوهشنامه پردازش و مدیریت اطلاعات

پژوهشنامه پردازش و مدیریت اطلاعات

نمایه سازی توزیع شده وب با استفاده از خزنده مهاجر

نویسنده
چکیده
به علت سرعت بسیار زیاد در افزایش منابع وب و بسامد بالای تغییرات، نگهداری یک نمایه‌ روزآمد برای مقاصد جستجوگری (موتورهای کاوش) به یک چالش تبدیل می‌شود. روش‌های سنتی خزنده‌ها، دیگر این قابلیت را ندارند که با روزآمد شدن و رشد دائمی وب، همگام شوند. با درک این مسئله، در این مقاله ما یک روش جایگزین، یعنی روش خزنده‌ توزیع‌شده با استفاده از عامل‌های سیار[2] را پیشنهاد می‌کنیم. هدف ما ارائه‌ یک شیوه‌ خزش مقیاس‌پذیراست که میزان بهره‌گیری از شبکه را کم کند، با تغییرات منابع هماهنگ باشد، درک زمانی را به کار گیرد، و به سهولت قابل ارتقا باشد
کلیدواژه‌ها

عنوان مقاله English

Distributed Indexing of world wide web using migrating crawler

نویسنده English

Rostam Mozafari
چکیده English

The explosive growth of the web-based resources coupled with high-rate of change has made an up-to-date index needed for search (engines) a challenge. Crawlers are no longer capable of keeping up pace with the rapid growth of web using traditional approaches. The present paper offers an alternative method called distributed crawling using mobile agents. The aim is to offer a scalable crawling methodology that is less network intensive, would keep pace with changes in resource profiles, employs time perception and could be easily upgraded.

کلیدواژه‌ها English

migrating crawler (web)
Search Engine
mobile agents (web)
web crawling
distributed indexing
Updating
ucymicra (web crawling system)
دوره 21، شماره 1
پاییز 1384
صفحه 79-86

  • تاریخ دریافت 19 آذر 1401