پژوهشنامه پردازش و مدیریت اطلاعات

پژوهشنامه پردازش و مدیریت اطلاعات

اولویتبندی معیارهای ارزیابی پژوهشی دانشگاهها با رویکرد ترکیبی کریتیک و رگرسیون لجستیک ترتیبی: مطالعهای مبتنیبر دادههای واقعی

نوع مقاله : مقاله پژوهشی

نویسنده
دکتری تخصصی ریاضی کاربردی، استادیار، گروه ریاضی، واحد اصفهان (خوراسگان)، دانشگاه آزاد اسلامی، اصفهان
چکیده
در سالهای اخیر، ارزیابی و رتبهبندی دانشگاهها به یکی از دغدغههای اصلی نهادهای آموزش عالی و سیاستگذاران تبدیل شده است. در این میان، معیارهای پژوهشی نقش مهمی در تعیین جایگاه علمی دانشگاهها ایفا میکنند. با این حال، یکی از چالشهای اساسی در این زمینه تشخیص اهمیت نسبی معیارهای پژوهشی و مدلسازی دقیق رابطه آنها با رتبه دانشگاههاست. بسیاری از پژوهشها به استفاده از روشهای آماری کلاسیک یا تصمیمگیری چندمعیاره پرداختهاند، اما اغلب فاقد تلفیق دقیق بین وزندهی عینی معیارها و تحلیل تأثیر آنها بر سطوح رتبهای هستند. در این پژوهش با بهرهگیری از رویکردی ترکیبی و تحلیل دادههای واقعی مربوط به عملکرد پژوهشی دانشگاههای ایران، گامی در جهت پاسخ به کمبودهای موجود در تلفیق دقیق وزندهی و تحلیل اثر معیارها برداشته شده است. برای تعیین وزن معیارها در گام نخست، از روش «کریتیک» بهعنوان یک تکنیک عینی و دادهمحور استفاده شد. این روش بدون دخالت قضاوت ذهنی، اهمیت نسبی معیارها را با در نظر گرفتن همزمان پراکندگی و همبستگی آنها مشخص میسازد. در ادامه، وزنهای بهدستآمده در مدل «رگرسیون لجستیک ترتیبی» به کار گرفته شدهاند تا تأثیر هر معیار بر احتمال قرارگیری دانشگاهها در سطوح مختلف رتبهای بررسی شود. نوآوری اصلی پژوهش حاضر در ترکیب ساخت‌‌یافته در روش مکمل و تمرکز بر تحلیل ضرایب مدل رگرسیون لجستیک ترتیبی نهفته است که برخلاف برخی رویکردهای سطحی، تصویری دقیقتر از نقش هر معیار ارائه میدهد. نتایج نشان میدهد که برخی از معیارها برخلاف انتظار، دارای تأثیری معنادار بر ارتقای رتبه دانشگاهها نیستند؛ در حالی که معیارهایی خاص تأثیر چشمگیری دارند. یافتههای پژوهش میتواند در طراحی سیاستهای پژوهشی، بهینهسازی بودجه پژوهشی، و برنامهریزی برای ارتقای جایگاه علمی دانشگاهها مورد استفاده مدیران و تصمیمگیرندگان آموزش عالی قرار گیرد. این چارچوب قابل تعمیم به سایر نظامهای رتبهبندی داخلی و بینالمللی نیز هست..
کلیدواژه‌ها
موضوعات

عنوان مقاله English

Prioritizing University Research Evaluation Criteria Using a Hybrid CRITIC and Ordinal Logistic Regression Approach: a Study Based on Real-World Data

نویسنده English

Samira Abootalebi
Ph.D. in Applied Mathematics, Assistant Professor, Department of Mathematics, Isf.C., Islamic Azad University, Isfahan
چکیده English

In recent years, university evaluation and ranking have become primary concerns for higher education institutions and policymakers. Research criteria play a vital role in determining the academic standing of universities. However, one of the fundamental challenges in this area is determining the relative importance of research criteria and accurately modeling their relationship with university rankings. Many studies have employed classical statistical methods or multi-criteria decision-making techniques but often lack a precise integration between objective criteria weighting and analyzing their impact on ranking levels.
This research utilizes a hybrid approach and analyzes real-world data on the research performance of Iranian universities to address existing gaps in the effective integration of weighting and impact analysis of criteria. In the first step, the CRITIC method, as an objective and data-driven technique, is used to determine criterion weights. This method simultaneously considers the dispersion and correlation of criteria to establish their relative importance without subjective judgment. Subsequently, the obtained weights are incorporated into an Ordinal Logistic Regression model to examine the impact of each criterion on the probability of universities being placed in different ranking levels.
The main innovation of this study lies in the structured combination of these two complementary methods and the focus on analyzing the coefficients of the ordinal logistic regression model. This approach, unlike some superficial methods, provides a more accurate picture of the role of each criterion. The results indicate that, contrary to expectations, some criteria do not have a significant impact on improving university rankings, while specific, others have a considerable effect.
The research findings can be utilized by higher education managers and policymakers in designing research policies, optimizing research budgets, and planning for enhancing the academic standing of universities. This framework is also generalizable to other domestic and international ranking systems.

کلیدواژه‌ها English

CRITIC Method
Ordinal Logistic Regression
Criterion Weighting
Multi-Criteria Decision Making
University Research Performance Evaluation
فهرست منابع.
آقایی هشجین، عسگر، حمیدرضا برادران، علی نعمتی، ماریا فرخی، و پوریا فرخی. 1403. شناسایی چالش‌ها و راهکارهای بهبود کیفیت آموزش پزشکی در جهت ارتقای رتبه‌بندی بین‌المللی دانشگاه‌های علوم پزشکی ایران: یک مطالعه کیفی. مجله راهبردهای آموزش در علوم پزشکی 17 (5): 66-80.
قمی، حمیدرضا، مرتضی رحمانی، و مرتضی خاکزار. ۱۳۹۶. ارزیابی عملکرد پژوهشی یک دانشگاه دولتی با استفاده از فرایند تحلیل سلسله‌مراتبی و تحلیل پوششی داده‌های شبکه‌ای. فصلنامۀ مدیریت نظامی ۱۷ (67): ۱۴۱۱۶۷.
وثوق، فرشته، غلامعلی احمدی، نرگس حسن‌مرادی و امیرحسین محمدداودی. 1400. شناسایی ابعاد، مؤلفه‌ها و شاخص‌های بومی ارزیابی عملکرد پژوهش در دانشگاه‌های جامع (مطالعه موردی: دانشگاه‌های آزاد اسلامی شهر تهران). مدیریت و برنامه‌ریزی در نظام‌های آموزشی 14 (1): 13-42.
وحدت‌زاد، محمدعلی، محمدرضا زارع بنادکوکی، محمد صالح اولیاء، و محمدمهدی لطفی.۱۳۹۶. تحلیلی بر رتبه‌بندی دانشگاه‌های ایران با استفاده از شاخص‌های علم‌سنجی. پژوهشنامه پردازش و مدیریت اطلاعات 33 (1) : 117-160.
هاشمی، یوسف، امیرحسین مهدی‌زاده، نادر برزگر، اسفندیار دشمن‌زیاری، و اسماعیل اسدی. 1400. طراحی الگوی ارزیابی عملکرد پژوهشی در دانشگاه‌های افسری ارتش جمهوری اسلامی ایران. فصلنامه مدیریت نوآوری در سازمان‌های دفاعی 4 (14): 61-84.
References:
Aghaei Hashjin, A., H. R. Baradaran, A. Nemati, M. Farrokhi and P. Farrokhi. 2024. challenges and solutions to improve the quality of medical education towards improving the international ranking of Iranian universities of medical sciences: A qualitative study. Education Strategies in medical sciences (ESMS) 17 (5): 66–80. [In Persian]
Akomolafe, H. D., B. S. Olanrewaju, A. A. Omilabu, B. O. Asoro and O. Osunade. 2024. Predicting university ranking using the decision tree and gradient boosting machine learning algorithms. International Journal of Recent Engineering Research and Development (IJRERD) 9 (5): 34–40.
Aliyev, R., H. Temizkan and R. Aliyev. 2020. Fuzzy analytic hierarchy process-based multi-criteria decision making for universities ranking. Symmetry 12 (8): 1351.
Diakoulaki, D., G. Mavrotas and L. Papayannakis. 1995. Determining objective weights in multiple criteria problems: The critic method. Computers & Operations Research 22 (7): 763–770.
Do, D. T. 2024. Assessing the impact of criterion weights on the ranking of the top ten universities in Vietnam. Engineering, Technology & Applied Science Research 14 (4): 14899–14903.
Ghomi, H. R., M. Rahmani and M. Khakzar. 2017. Evaluating research performance of a public university using analytic hierarchy process and network data envelopment analysis. Military Management Quarterly 17 (67): 141–167. [In Persian]
Harrell Jr., F.E. 2015. Ordinal Logistic Regression. In: Harrell Jr., F.E., Regression Modeling Strategies, Springer Series in Statistics. Switzerland: Springer International Publishing. 311-325.
Hashemi, Y., A. H. Mehdizadeh, N. Barzegar, E. Dashmanziari and E. Asadi. 2021. Designing a Model for Evaluating Research Performance in Military Academies of the Islamic Republic of Iran.  Innovation Management in Defensive Organizations 4 (4): 61–84. [In Persian]
Kunsch, P. L. and A. Ishizaka. 2018. Multiple-criteria performance ranking based on profile distributions: An application to university research evaluations. Mathematics and Computers in Simulation 154: 48–64.
Maral, M. 2024. Examining the research performance of universities with multi-criteria decision-making methods. SAGE Open 14 (4): ? .
Osareh, F., P. Parsaei-Mohammadi, A. Farajpahlou and F. A. Rahimi. 2023. A comparative study of criteria and indicators of local, regional, and national university ranking systems. Journal of Scientometric Research 12 (1): 54–67.
Polatgil, M. and A. Güler. 2024. The use of different criteria weighting and multi-criteria decision-making methods for university ranking: Two-layer Copeland. Journal of University Research 7 (1): 60–73.
VahdatZad, M. A., M. R. Zare Banadkooki, M. S. Owlia and M. M. Lotfi. 2017. An Analysis of Iranian Universities Ranking Using Scientometric Indicators. Iranian Journal of Information Processing and Management 33 (1): 119–162. [In Persian]
Vosough, F., G. Ahmadi, N. Hassanmoradi and A. H. Mohammaddavoodi. 2021. Identifying the native dimensions, components and indicators of research performance evaluation in university (A case study: Islamic Azad University in Tehran). Management and Planning in Educational Systems 14 (1): 13–42. [In Persian]

  • تاریخ دریافت 18 مرداد 1404
  • تاریخ بازنگری 25 آبان 1404
  • تاریخ پذیرش 10 آذر 1404