نوع مقاله : مقالات مروری

نویسندگان

1 دانشجوی دکتری/ دانشگاه فردوسی مشهد

2 استاد/ دانشگاه فردوسی مشهد

3 استادیار/دانشگاه فردوسی مشهد

چکیده

مقدمه: امروزه ارزیابی نظام‌های بازیابی اطلاعات به‌ویژه موتورهای کاوش به یکی از مهم‌ترین پژوهش‌ها در حوزه علوم اطلاعات تبدیل شده است. با وجود این پژوهشی که به مرور پژوهش‌های ارزیابی موتورهای کاوش بپردازد، مشاهده نشد. از این‌رو، هدف از این پژوهش آن است تا تحلیلی از پژوهش‌های ارزیابی موتورهای کاوش با استفاده از روش‌های پژوهش کمی، کیفی و ترکیبی ارائه شود.
روش‌شناسی: این پژوهش مطالعه‌ای مروری است که برای مرور مقالات مرتبط، واژه‌های «ارزیابی موتورهای کاوش»، «ارزیابی موتورهای جستجو» «ارزیابی نظام بازیابی اطلاعات»، «ارزیابی ربط»، «موتور کاوش»، «موتور جستجو» در پایگاه‌های اطلاعاتی مگ ایران و سید جستجو شد. همچنین واژه‌های «evaluation search engine»، «evaluation information retrival»، «method and information retrieval»، «research and search engine» و «relevance» در گوگل اسکالر جستجو شد و سپس مقالات بازیابی شده مطالعه گردیدند. در نهایت، پژوهش‌های ارزیابی موتورهای کاوش عمومی منتشر شده به زبان فارسی و انگلیسی از سال 1377(1998) تاکنون با استفاده از روش کتابخانه‌ای و با رویکردی تحلیلی بررسی شده است.
یافته‌ها: یافته‌ها نشان داد که در پژوهش‌های بررسی شده، ارزیابی موتورهای کاوش با یکی از رویکردهای کمی، کیفی و ترکیبی انجام شده است. از حوزه‌های پژوهشی رویکرد کمی می‌توان از موضوع‌هایی چون پوشش و همپوشانی، کیفیت چکیده‌سازی و نمایه‌سازی، الگوریتم بازیابی، نظام توصیه‌گر، رابط کاربری و کیفیت رتبه‌بندی مدارک در موتورهای کاوش نام برد. در رویکرد کیفی نیز دو نوع پژوهش قوم‌نگاری و نظریه زمینه‌ای مشاهده شد که در پژوهش‌های قوم‌نگاری به توصیف رفتار اطلاع‌یابی کاربران پرداخته شده است. در نوع دیگر از رویکرد کیفی یعنی نظریه زمینه‌ای دو حوزه پژوهشی پایبند به اصول کیفی و نیمه‌پایبند به اصول کیفی قابل تشخیص است. از این‌رو یورلند (2010)، پژوهشگرانی را نقد کرده است که پژوهش‌های خود را متعلق به رویکرد کاربرگرایی و کیفی می‌دانند ولی از کلیه اصول خود پیروی نکرده‌اند.
نتیجه‌: همان‌گونه که در حوزه روش پژوهش، ابتدا روش کمی و سپس روش کیفی مطرح شده است و در نهایت روش ترکیبی برای استفاده از نقاط قوت هر دو روش ارائه شده است. به نظر می‌رسد که این‌ روند تغییر در روش­های پژوهشی از کمی به کیفی و سپس از کیفی به ترکیبی بر ارزیابی بازیابی اطلاعات به‌ویژه موتورهای کاوش نیز تأثیرگذار بوده است؛ زیرا در پژوهش‌های بازیابی اطلاعات نیز ابتدا رویکرد نظام‌گرا در ارزیابی نظام‌های بازیابی اطلاعات مطرح شده است و سپس برخی از پژوهشگران این‌ رویکرد را به نقد کشیده‌اند که در نتیجه رویکرد کاربرگرایی در توجه به کاربران ارائه شده است و در سال‌های اخیر نیز پژوهشگرانی چون ساراسویک (2007) و ثورنلی (2012) توجه به هر دو رویکرد را ضروری دانسته و به رویکرد دوگان محوری در پژوهش‌های ارزیابی بازیابی اطلاعات اشاره کرده‌اند.

کلیدواژه‌ها

عنوان مقاله [English]

Review of Search Engine Evaluation Researches: a Quantitative, Qualitative and Mixed Approach

نویسندگان [English]

  • Mahdi Zeinali Tazehkandi 1
  • Mohsen Nowkarizi 2
  • Hassan Behzadi 3

1 PhD candidate Ferdowsi University of Mashhad

2 ProfessorFerdowsi University of Mashhad

3 Assistant Professor Ferdowsi University of Mashhad

چکیده [English]

Introduction: Today, the evaluation of information retrieval systems, especially search engines, has become one of the most important studies in the field of information science. Nevertheless, a research as a review research on the evaluation of search engines was not observed. So, the aim is to analyze the related literature of information retrieval evaluation field using quantitative, qualitative and mixed approaches.
Methodology: This research is a review study to review the related articles. The terms »arzyabieh motor kavosh«,»arzyabieh nezam bazyabieh ettlaat«,»arzyabieh rabt«,»motor kavosh«,»motor jostejo« in the Magiran and SID database were searched. Also, the terms »evaluation search engine»،«evaluation information retrival»،«method and information retrieval«, »research and search engine« and »relevance« in the google scholar was searched and then the retrieved articles were studied. Finally, the research on the evaluation of general search engines published in Persian and English from 1998 have been studied using a library method and an analytical approach..
Results: The results showed that, in the reviewed studies, the search engines evaluation has conducted through one of the quantitative, qualitative and mixed approaches. In the quantitative approach, there are several research categories such as coverage and overlap, abstracting and indexing quality, retrieval algorithms, recommender systems, interface and document ranking quality. In the qualitative approach, there has been observed two kinds of studies which include ethnography and grounded theory. In the ethnography research, the users’ information retrieval behavior is described. In the other category, namely grounded theory, two research areas may be identified; one is fully committed to the qualitative principles and another semi-committed to them. Hence, Hjorland (2010) has criticized researchers who regard their research as a "functional" and qualitative approach, but did not follow all of their principles.
Conclusion: As in the research methodology, first, a quantitative method and then a qualitative method are proposed and finally, a mixed method is proposed to use the strengths of both methods. It seems that this process of change in research methods from quantitative to qualitative, and then from qualitative to composite has also affected the evaluation of information retrieval, especially search engines. In data retrieval research, a systematic approach has been initially introduced in evaluating information retrieval systems. Then some researchers have criticized this approach, which is the result of a user-oriented approach. In recent years, researchers such as Saracevic (2007) and Thoronley (2012) have considered both approaches as necessary ones and pointed to a dual-axis approach to data retrieval assessment research.

کلیدواژه‌ها [English]

  • Quantitative approach
  • Qualitative approach
  • Mixed method approach
  • Information retrieval evaluation
  • Search engine
استراس، آنسلم؛ و کوربین، جولیت (1393). اصول روش تحقیق کیفی: نظریه مبنایی، رویه‌ها و شیوه‌ها. تهران: پژوهشگاه علوم انسانی و مطالعات فرهنگی.
افنانی، فریده (1387). چگونگی توانمندی‌های ابزارهای کاوش اینترنت با واسط جستجوی فارسی. فصلنامه کتاب، 19(1)، 105-126. بازیابی شده در 9 شهریور 1400 از http://nastinfo.nlai.ir/article_376.html
پاول، رونالد (1389). روش‌های اساسی پژوهش برای کتابداران. ترجمه نجلا حریری. تهران: آثار نفیس.
خسروی، عبدالرسول؛ فتاحی، رحمت‌الله؛ پریرخ، مهری؛ و دیانی، محمدحسین (1392). بررسی کارآمدی کلیدواژه‌های و عبارت‌های پیشنهادی موتور کاوش گوگل در بسط جستجو و افزایش ربط از دیدگاه دانشجویان تحصیلات تکمیلی. پژوهشنامه کتابداری و اطلاع‌رسانی، 3(1)،133-150. بازیابی شده در 9 شهریور 1400 از https://infosci.um.ac.ir/article_28005.html
داورپناه، محمدرضا (1387). جستجوی اطلاعات علمی و پژوهشی در منابع چاپی و الکترونیکی. تهران: دبیزش.
دری، راحله (1393). مقایسه و ارزیابی موتورهای جستجویی معنایی. پژوهشنامه پردازش و مدیریت اطلاعات،30(2)، 467-490. بازیابی شده در 9 شهریور 1400 از https://jipm.irandoc.ac.ir/article-1-2602-fa.pdf
رجبی، منصور؛ و نوروزی، یعقوب (1394). موتورهای جستجوی فارسی: ارزیابی امکانات جستجو، بازیابی اطلاعات، میزان جامعیت و مانعیت، و تعیین همپوشانی میان آنها. فصلنامه مطالعات ملی کتابداری و سازماندهی اطلاعات، 26(3)، 133-150. بازیابی شده در 9 شهریور 1400 از http://nastinfo.nlai.ir/article_473.html
ریاحی‌نیا، نصرت؛ بخشیان، لیلی الله؛ لطیفی، معصومه؛ و رحیمی، فروغ (1395). بررسی مقایسه‌ای جامعیت و دقت موتورهای جستجوی عمومی براساس شاخص ربط سیستمی و منطق جستجو. تحقیقات کتابداری و اطلاع‌رسانی دانشگاهی، 50 (1)، 3-24. بازیابی شده در 9 شهریور 1400 از https://journals.ut.ac.ir/article_59444.html
ریاحی‌نیا، نصرت؛ رحیمی، فروغ؛ لطیفی، معصومه؛ و بخشیان، لیلی الله (1394). بررسی میزان انطباق ربط سیستمی و ربط کاربرمدارانه در پایگاه‌های اطلاعاتی SID، ISC و Google scholar. فصلنامه تعامل انسان و اطلاعات، 2(1)، 1-11. بازیابی شده در 9 شهریور 1400 از https://hii.khu.ac.ir/browse.php?a_id=2462&sid=1&slc_lang=fa
زینالی تازه‌کندی، مهدی؛ نوکاریزی، محسن؛ و بهزادی، حسن (1396). ارزیابی کارآمدی موتورهای کاوش بومی بر اساس پارادایم دیالکتیکی. فصلنامه کتابداری و اطلاع‌رسانی، 24(2)، 140-165. بازیابی شده در 9 شهریور 1400 از http://lis.aqr-libjournal.ir/article_54356.html
عابدی، احمد؛ و شواخی، علیرضا (1389). مقایسه روش‌شناسی پژوهش کمی و کیفی در علوم رفتاری. راهبرد، 19(54)، 153-168.
فتاحی، رحمت‌الله (1383). تحلیل عوامل مؤثر بر نسبی بودن ربط در نظام‌های بازیابی اطلاعات. اطلاع‌شناسی، 2 (1)، 7-22.
فتاحی، رحمت‌الله (1385). شناسایی و تحلیل واژگان عمومی در منابع وب: رویکردی نو به بسط جستجو با استفاده از زبان طبیعی در موتورهای کاوش. مطالعات تربیتی و روانشناسی دانشگاه فردوسی مشهد،7(1)،31-52. بازیابی شده در 9 شهریور 1400 از https://www.magiran.com/paper/372419
قاسمی الوری، مینا و عباسی دشتکی، ندا (1396). مقایسه عملکرد‌ ابزار پیشنهاددهنده در ‌موتور ‌جستجوی‌ گوگل، یاهو، بینگ،‌اسک ‌و ‌وب‌کزاولز. فصلنامه مدیریت اطلاعات و دانش‌شناسی،4(4)، 75-96. بازیابی شده در 9 شهریور 1400 از http://journals.pnu.ac.ir/article_4692.html
کرسول، جان، و کلارک، ویکی پلانو (1390). روش‌های پژوهش ترکیبی. ترجمه علیرضا کیامنش و جاوید سرایی. تهران: آییژ.
محمد اسماعیل، صدیقه؛ و قائمی، مهناز (1388). مقایسه میزان همپوشانی نتایج بازیابی شده در موتورهای کاوش و ابرموتورهای کاوش در بازیابی اطلاعات کشاورزی. ماهنامه اطلاع‌یابی و اطلاع‌رسانی،3 (21)، 55-61.
نشاط، نرگس (1388). تعامل پارادایم‌های پژوهشی در روش‌شناسی. کتاب ماه کلیات، 13(3)، 30. بازیابی شده در 9 شهریور 1400 از http://ensani.ir/fa/article/213835
نوکاریزی، محسن؛ و زینالی تازه‌کندی، مهدی (1396). ارزیابی همپوشانی و پوشش چهار موتور جستجوی بومی اصلی: پارسی‌جو، یوز، پارسیک و ریسمون. مجله تعامل انسان و اطلاعات، 4(3)، 48-59. بازیابی شده در 9 شهریور 1400 از https://hii.khu.ac.ir/article-1-2687-fa.html
Ajayi, O. O., & Elegbeleye, D. M. (2014). Performance Evaluation of Selected Search Engines. Performance Evaluation, 4(2),1-12. DOI: 10.1108/14684521011084609
Allen, Robert (2017). Search Engine Statistics 2017 [website comment].Retrieved from: http://www.smartinsights.com/search-engine-marketing/searchengine-statistics/
Anderson, T.D (2000). Doing relevance research: an ethnographic exploration of relevance assessment. The New Review of Information Behaviour Research1(2000), 201-218.
Bar-Ilan, J. (1998). On the overlap, the precision and estimated recall of search engines. A case study of the query “Erdos”. Scientometrics, 42(2), 207-228. DOI: 10.1007/bf02458356
Bar-Ilan, J. (2005). Comparing rankings of search results on the Web. Information Processing & Management, 41(6), 1511-1519. DOI: 10.1016/j.ipm.2005.03.008
Bharat, K., & Broder, A. (1998). A technique for measuring the relative size and overlap of public web search engines. Computer Networks and ISDN Systems, 30(1), 379-388. DOI: 10.1016/S0169-7552(98)00127-5
Budd, JM. (2001). Knowledge and knowing in library and information science: A philosophical framework, Boson Way, Lanham, MaryLand, United State: Scarecrow Press.
Budd, JM. (2004). Relevance: Language, semantics, philosophy. Library Trends 52: 447-462. Retrieved at 1 september 2021 from http://hdl.handle.net/2142/1678
Chowdhury, A., & Soboroff, I. (2002). Automatic evaluation of World Wide Web search services. In Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval (pp. 421-422). ACM. DOI: 10.1145/564376.564474
Clarke, S. J. (2000). Search engines for the World Wide Web: an evaluation of recent developments. Journal of internet cataloging2(3-4), 81-93. DOI: 10.1300/J141v02n03_06
Clarke, S. J., & Willett, P. (1997). Estimating the recall performance of Web search engines. In Aslib Proceedings, 49 (7), 184-189 DOI: 10.1108/eb051463
Croft, W. B., Metzler, D., & Strohman, T. (2015). Search engines: Information Retrieval in Practice. London: Pearson Education.
Deka, S. K., & Lahkar, N. (2010). Performance evaluation and comparison of the five most used search engines in retrieving web resources. Online Information Review, 34(5), 757-771. DOI: 10.1108/14684521011084609
Fidel, R. (2008). Are we there yet?: Mixed methods research in library and information science. Library & Information Science Research30(4), 265-272. DOI: 10.1016/j.lisr.2008.04.001
Greene, J. C., & Caracelli, V. J. (1997). Defining and describing the paradigm issue in mixed‐method evaluation. New directions for evaluation, 1997(74), 5-17.DOI: Defining and describing the paradigm issue in mixed‐method evaluation.
Hariri, N. (2011). Relevance ranking on Google: Are top ranked results really considered more relevant by the users?. Online Information Review35(4), 598-610. DOI: 10.1108/14684521111161954
Hayati, Z., & Alijani, R. (2012). The Web Search Engines and General Reference Questions. International Journal of Information Science and Management (IJISM), 3(1), 18-32. Retrieved at 1 september 2021 from http://ijism.ricest.ac.ir/index.php/ijism/article/view/173
Hjørland, B. (2010). The foundation of the concept of relevance. Journal of the American Society for Information Science and Technology, 61(2), 217-237. DOI: 10.1002/asi.21261
Huang, X., & Soergel, D. (2013). Relevance: An improved framework for explicating the notion. Journal of the American Society for Information Science and Technology, 64(1), 18-35. DOI: 10.1002/asi.22811
Isfandyari Moghaddam, A., & Parirokh, M. (2006). A comparative study on overlapping of search results in metasearch engines and their common underlying search engines. Library Review, 55(5), 301-306. DOI: 10.1108/00242530610667567
Jansen, B. J., & Pooch, U. (2001). A review of web searching studies and a framework for future research. Journal of the Association for Information science and Technology52(3), 235-246.DOI: 10.1002/1097-4571(2000)9999:9999<::AID-ASI1607>3.0.CO;2-F
Jansen, B. J., & Spink, A. (2006). How are we searching the World Wide Web? A comparison of nine search engine transaction logs. Information processing & management42(1), 248-263.DOI: 10.1016/j.ipm.2004.10.007
Järvelin, K. (2007). An analysis of two approaches in information retrieval: From frameworks to study designs. Journal of the Association for Information Science and Technology58(7), 971-986. DOI: 10.1002/asi.20589
Kaur, M., Bhatia, N., & Singh, S. (2011). Web search engines evaluation based on features and end-user experience. International Journal of Enterprise Computing and Business Systems, 1(2), 1-19.DOI: 10.1.1.300.6322
Kumar, K., & Bhadu, V. (2013). A Comparative Study of Byg Search Engines. American Journal of Engineering Research (AJER), 2(4), 39-43.
Lewandowski, D (2008) The retrieval effectiveness of web search engines: considering results descriptions. Journal of Documentation, 64(6),915 – 937.DOI: 10.1108/00220410810912451
Lewandowski, D. (2015). Evaluating the retrieval effectiveness of Web search engines using a representative query sample. Journal of the Association for Information Science and Technology, 66(9), 1763-1775. DOI: 10.1002/asi.23304
Liu, B (2011). User Personal Evaluation of Search Engines:google, bing,blekko. Retrieved 19 Dec. 2017 from https://www.cs.uic.edu/~liub/searchEval/Search-Engine-Evaluation-2011.pdf
Lucas, W. & Topi, H. (2005). Learning and training to search. In New directions in cognitive information retrieval (pp. 209-226). Netherlands: Springer
Malik, S. (2014). A comparative study of two major search engines: Google and Yahoo. oriental journal of computer science & technology, 1(7).29-37. Retrieved at 1 september 2021 from http://computerscijournal.org/?p=706
Mitra, A., & Awekar, A. (2017). On Low Overlap Among Search Results of Academic Search Engines. arXiv preprint arXiv. 823-824.DOI: 10.1145/3041021.3054265
Mizzaro, S. (1998). How many relevances in information retrieval. Interacting with computers, 10, 303-320.DOI: 10.1016/S0953-5438(98)00012-5
Nowkarizi, M., & Zeynali Tazehkandi, M. (2019). Rethinking the Recall Measure in Appraising Information Retrieval Systems and Providing a New Measure by Using Persian Search Engines. International Journal of Information Science and Management (IJISM), 17(1), 1-17.Retrieved at 1 september 2021 from https://5.190.58.17/index.php/ijism/article/view/1380
Oppenheim, C., Morris, A., McKnight, C., & Lowley, S. (2000). The evaluation of WWW search engines. Journal of documentation56(2), 190-211.DOI: 10.1108/00220410010803810
Runes, D. D. (1948), The Dictionary of Philosophy, Philosophical library, New York.
Saracevic, T. (2007). Relevance: A Review of the Literature and a Framework for Thinking on the Notion in Information Science. Part II: Nature and Manifestations of Relevance. Journal of the American Society for Information Science and Technology, 58(13):1915–1933.DOI: 10.1002/asi.20681
Savolainen, R. (2009). Information use and information processing: Comparison of conceptualizations. Journal of Documentation65(2), 187-207.DOI: 10.1108/00220410910937570
Spink, A and Cole, CH. (2005). New Directions in Cognitive Information Retrieval. Netherland: Springer.
Spink, A., Jansen, B. J., & Ozmultu, H. C. (2000). Use of query reformulation and relevance feedback by Web users. Internet Research: Electronic Networking Applications and Policy, 10(4), 317-328.DOI: 10.1108/10662240010342621
Spink, A., Jansen, B. J., Kathuria, V., & Koshman, S. (2006). Overlap among major web search engines. Internet Research, 16(4), 419-426.DOI: 10.1108/10662240610690034
Su, L. T., & Chen, H. L. (1999). Evaluation of Web Search Engines by Undergraduate Students. In Proceedings of the ASIS Annual Meeting, 36, 98-114. Retrieved at 1 september 2021 from https://scholarsmine.mst.edu/library_facwork/87/
Teixeira Lopes, C., & Ribeiro, C. (2011). Comparative evaluation of web search engines in health information retrieval. Online Information Review, 35(6), 869-892. DOI: 10.1108/14684521111193175
Thornley, C. (2012). Information retrieval (IR) and the paradox of change: An analysis using the philosophy of Parmenides. Journal of Documentation68(3), 402-422.DOI: 10.1108/00220411211225601
Vaughan, L. (2004). New measurements for search engine evaluation proposed and tested. Information Processing & Management40(4), 677-691.DOI: 10.1016/S0306-4573(03)00043-8
Yaltaghian, B., & Chignell, M. (2002). How Good is Search Engine Ranking? a Validation Study with Human Judges. In Proceedings of the Human Factors Ergonomics Society Annual Meeting, 46 (14), 1276-1280. Sage CA: Los Angeles, CA: SAGE Publications. DOI: 10.1177/154193120204601408