معیارهای ارزیابی ربط در نظام‌های بازیابی اطلاعات: دانسته‌ ها و ندانسته‌ها

نویسندگان

دانشگاه آزاد اسلامیواحد علوم تحقیقات تهران

10.35050/JIPM010.2014.007

چکیده

ارزیابی نظامهای بازیابی اطلاعات یکی از چالشهای بزرگ متخصصان علم اطلاعات است چون تعیین کارآیی یک نظام به قضاوت در مورد ربط مدارک ارائه شده با نیاز اطلاعاتی کاربر بستگی دارد و این موضوع دارای پیچیدگی های خاصی است. از طرفی نظامهای بازیابی وبی، بسیار متفاوت تر از نظامهای بازیابی سنتی هستند. در محیط وب نیز با نظامها با مجموعه های رتبه بندی شده و نظامها با مجمو عه های رتبه بندی نشده مواجه هستیم که هر کدام معیار و مقیاس ارزیابی خود را دارند. به همین دلیل، سنجش ربط بر اساس نوع رتبه بندی نتایج در این نظامها، متفاوت است. در این مقاله، معیارهای سنجش ربط در نظام های بازیابی اطلاعات به تفکیک نظامهای رتبه بندی نشده(شامل دقت، بازیافت، معیار اف ) و نظامهای رتبه بندی شده (شامل منحنی های دقت و بازیافت، دقت افزوده، میانگین دقت افزوده در نقطه 11، میانگین دقت متوسط، دقت در K ، دقتR و منحنی راک و افزایش تجمعی) تشریح شده و ضمن اشاره به مقیاسهای ارزیابی ربط، یک مقیاس ارزیابی دقت 4 درجه ای معرفی گردیده است که با استفاده از آن می توان به ارزیابی غیردودیی دقت در نظام بازیابی اطلاعات وب شامل دقت کامل، برتر، مفید، واقعی و در نهایت دقت متغیر پرداخت.

کلیدواژه‌ها


عنوان مقاله [English]

Evaluation Criteria of Information Retrieval Systems: What We Know and What We Do Not Know

نویسندگان [English]

  • Nadjla Hariri
  • Fahime Babalhavaeji
  • Mehrdad Farzandipour
  • Somayyeh Nadi Ravandi
چکیده [English]

Evaluation of information retrieval systems is one of the
greatest challenges for information science specialists, because
determining the performance of a system depends on judgment of the
relevance of documents provided by the system to the user's
information needs, and it has its own complexities. New retrieval
systems due to the dynamic nature of the Web are very different
compared with traditional retrieval systems. Web information retrieval
systems in terms of ranking results are divided into two groups: The
ranked retrieval results and unranked retrieval sets. Each system has a
different evaluation criteria and scales.
In this paper, criteria for evaluating information retrieval systems is
reviewed for the ranked retrieval results (including precision and recall
curves, interpolated precision, the 11-point interpolated precision
average, Mean Average Precision, precision at K, R-precision, ROC
curve cumulative gain and normalized discounted cumulative gain), and
the unranked retrieval sets (including precision, recall, F-measure and
accuracy) is introduced separately. Finally, alluding to the evaluation
metrics, a scale of 4 degrees including best, useful, objective precision
and then differential precision is introduced which can be used to evaluate the non-binary precision of web information retrieval systems.

کلیدواژه‌ها [English]

  • information retrieval
  • precision
  • Evaluation
  • Evaluation Criterion
  • Ranked Retrieval Results
  • Unranked Retrieval Sets