به گزارش ایسنا، در این فهرست دیتاسِت‌هایی ایجاد شده و شاخصی به نام «شاخص استنادی مرکب» (composite citation index) تعریف شده است. در گزارش تحلیلی پایگاه استنادی علوم جهان اسلام (ISC)، سیر تکاملی انتشار این فهرست و نحوه محاسبه شاخص تعریف‌شده در آن از سال ۲۰۱۶ تا ۲۰۲۱ مورد بررسی قرار گرفته است. این گزارش؛ ضمن بررسی نقاط ضعف و قوت فهرست‌های سال‌های ۲۰۱۶ تا ۲۰۲۱  استنفورد، به نقد این فهرست پرداخته است.

به گفته پژوهشگران دانشگاه استنفورد؛ هدف این دیتاسِت ارائه مجموعه‌ای از سنجه‌های استنادی استانداردشده، برای ارزیابی تاثیر استنادی دانشمندان در رشته‌ها و حوزه‌های علمی مختلف است. شاخص استنادی مرکب (به اختصار C) مجموعه‌ای از شش شاخص استنادی مجزا است که پژوهشگران دانشگاه استنفورد در مقاله سال ۲۰۱۶ خود معرفی و محاسبه کرده‌اند. 

در فهرست ۲۰۲۱ چه مواردی بررسی شده است؟

 فهرست سال ۲۰۲۱ که تازه‌ترین به‌روزرسانی این دیتاسِت (نسخه ۳) است؛ در ۱۹ اکتبر ۲۰۲۱ (۲۷ مهرماه ۱۴۰۰) منتشر شده است و در آن دامنه پوشش داده‌ها از سال ۱۹۶۰ تا ۲۰۲۰ گسترش یافته است. این فهرست دربرگیرنده اسامی یک‌صد هزار نویسنده پراستناد برحسب شاخص C و همچنین نویسندگانی است که جزو دو درصد پراستناد در زیرحوزه تخصصی خود قرار می‌گیرند.

در مجموع بیش از ۱۸۶ هزار نویسنده، در این فهرست مورد ارزیابی قرار گرفته‌اند. در این فهرست، ۲۴۷ نفر دارای خوداستنادی بالای ۶۰ درصد هستند و دو هزار و ۴۸۰ نویسنده نیز نرخ خوداستنادی بالاتر از ۴۰ درصد دارند و نسبت تعداد استنادات به مقالات استنادکننده برای حدود ۵۰۰ نفر از نویسندگان ۳≥ است.

در گزارش تحلیلی ISC عنوان شده است که از جمله اشکالات عمده این دیتاست، خطا در تفکیک نام افراد است؛ به طوری که افرادی که نام مشابه داشته اند، مقالات و ارجاعاتشان با هم جمع شده است. برای مثال، در فایل اصلی دیتاست که داده‌های مربوط به طول دوره کاری پژوهشگران را از سال ۱۹۶۰ تا ۲۰۲۰ پوشش می‌دهد، یک ستون (firstyr) تاریخ اولین سال انتشار مقاله و یک ستون نیز آخرین سال (lastyr) انتشار توسط هر نویسنده را نشان داده شده است.

در این فهرست، برخی نویسندگان عمر کاری بالای 100 سال دارند!

در این جدول، تعداد ۳۴ نویسنده فهرست شده‌اند که اولین مقاله خود را در سال‌های سده ۱۸۰۰ میلادی نوشته‌اند. با تفریق اولین و آخرین سال انتشار برای تمام نویسندگان این فهرست، مشخص می‌شود که ۵۱ نویسنده طول عمر کاری بالای صد سال دارند (دامنه ۱۰۱ تا ۱۸۶ سال) و ۴۶۸ نویسنده نیز دوره کاری ۷۰ تا ۹۹ سال دارند. این اعداد بسیار غیرمحتمل به نظر می‌رسند و احتمالاً نتیجه ترکیب اسامی نویسندگانی است که نام‌های مشابه دارند. در پژوهشی که توسط دو پژوهشگر بنگلادشی بر روی فهرست استنفورد صورت گرفته است، تخمین زده می‌شود که این فهرست در شناسایی نویسندگان پراستناد بنگلادشی حدود ۴۱ درصد خطا دارد. این خطاها شامل شناسایی نادرست وابستگی سازمانی نویسندگان، ترکیب اسامی نویسندگان با نام‌های مشابه و شمارش نادرست تعداد مدارک هر نویسنده است.

همچنین بررسی موردی انجام شده توسط ISC نشان داده که تعدادی از نویسندگان پراستناد و باسابقه که واجد شرایط حضور در این فهرست بوده و پروفایل مشخصی در پایگاه اسکوپوس دارند، در این فهرست قرار نگرفته‌اند.

مسئله دیگر در این فهرست، نحوه رتبه‌بندی پژوهشگران بر اساس شاخص C است (rank(ns)). در حالی که حدود ۱۸۶ هزار نویسنده در این فهرست قرار گرفته‌اند، رتبه نویسندگان اعداد بسیار متفاوتی را نشان می‌دهد؛ به طوری که بالاترین رتبه دو میلیون و ۶۱۸ هزار و ۹۹۱ است و مشخص نیست این رتبه‌بندی چگونه صورت گرفته و رتبه‌ها چگونه تعیین شده است. 

استفاده نادرست از شاخص‌های علم‌سنجی، آسیب‌هایی در پی دارد 

به گفته نویسندگان گزارش تحلیلی ISC؛ شاخص‌ها و سنجه‌های آماری و علم‌سنجی منبع غنی، سریع و بهینه‌ای برای ارزیابی وضعیت علم، پژوهش و پویایی قلمروهای علمی هستند؛ اما استفاده نادرست از این شاخص‌ها و عدم شناخت از کارکرد واقعی و منطق درونی هر سنجه می‌تواند آسیب‌هایی را در پی داشته باشد. با گسترش مراکز پژوهشی و دانشگاه‌ها، افزایش ظرفیت پژوهش، افزایش چشمگیر تعداد پژوهشگران و رشد فزاینده انتشارات علمی، شاخص‌های علم‌سنجی و کتاب‌سنجی، توسعه یافته‌اند تا امکان ارزیابی‌های آماری و عینی از عملکرد پژوهشی، میزان تاثیرگذاری علمی پژوهش‌ها و میزان کارآمدی هزینه‌­کرد در بخش تحقیق و توسعه وجود داشته باشد. پایگاه های استنادی ملی، منطقه‌ای و بین المللی در جهان منبع اصلی گردآوری اطلاعات مدارک علمی و پژوهشی و انتشار آمار و اطلاعات کتاب شناختی در مورد این منابع هستند. این اطلاعات آماری منبع ارزشمندی برای مقایسه، معیارسنجی و ارزیابی عملکرد پژوهشی افراد، موسسات و کشورها هستند.

فهرست استنفورد تنها فهرست از پژوهشگران پراستناد نیست. برخی از پایگاه‌های اطلاعات علمی و سامانه‌های استنادی نیز فهرست‌های درصدی از نویسندگان و موسسات برتر ارائه می‌کنند. علی‌رغم این‌که در تمام این فهرست‌ها ایرادات روش شناختی و نقص در داده‌ها وجود دارد؛ اما همچنان می‌توانند دیدی کلی از وضعیت تاثیرگذاری علمی پژوهشگران رشته های مختلف در موسسات و کشورهای مختلف ارائه کنند.

نکته مهم در خصوص این ارزش گذاری‌ها این است که این فهرست‌ها جامعیت و مانعیت کافی ندارند. همه پژوهشگران برتر و تاثیرگذار در این فهرست ها قرار نمی‌گیرند و حتی شاید بتوان گفت کسانی که در این فهرست‌ها قرار می‌گیرند، لزوما برترین پژوهشگران نیستند. از این رو، این فهرست‌ها همواره درصدی مثبت کاذب و منفی کاذب دارند. به علاوه، با تغییر روش‌شناسی‌ها، فهرست‌ها و اسامی هم تغییر می‌کنند. بنابراین، باید توجه داشت که هر یک از سنجه های استنادی یا  رتبه بندی های پژوهشگران بیانگر نوع متفاوتی از عملکرد و دستاورد پژوهشی است.

لزوم پرهیز از تعبیرهای نادرست از این فهرست‌ها

در این گزارش عنوان شده است که گاهی اوقات انتشار این فهرست‌ها بازتاب‌های گسترده‌ای در سطح کشور پیدا می‌کند و حتی تعبیرهای نادرستی از آن‌ها صورت می‌گیرد. یکی از مهم ترین ایرادات این فهرست‌ها عدم توجه لازم به زیست بوم علمی است. نویسندگان پراستنادی که در این فهرست‌ها وارد می‌شوند، اغلب در طول دوره فعالیت آکادمیک خود با تیم‌های مختلف و پژوهشگران مختلفی همکاری داشته‌اند. آن‌ها در برخی از پژوهش‌ها نقش پژوهشگر ارشد و در برخی نقش جنبی، محدود و یا شاید افتخاری داشته‌اند؛ لذا نقش‌ها و میزان همکاری آن‌ها در پژوهش‌های مختلف متفاوت است و نمی‌توان تمام اثرگذاری علمی و استنادهای دریافتی را به یک میزان برای آن‌ها وزن دهی کرد. سوال مهم این است که آیا پژوهشگران دیگری که در طول سالیان مختلف با یک پژوهشگر پراستناد مشارکت داشته‌اند نیز در این فهرست‌ها جای گرفته اند یا خیر؟ در اصل، چنین رویکردهایی معطوف به فردگرایی و تقلیل گرایی است در حالی که پژوهش‌های علمی در جهان معاصر ماهیتی مشارکتی و مبتنی بر همکاری تیمی دارد.

همچنین در عین حال، آنچه به عنوان فهرست استنفورد در کشور شناخته می شود و مورد توجه رسانه ها و موسسات قرار می گیرد یک دیتاست از نویسندگان پراستناد در رشته‌های علمی مختلف به همراه انواع مختلفی از سنجه‌های استنادی استانداردشده است که می‌تواند به عنوان منبعی کمکی برای ارزیابی تاثیرگذاری علمی پژوهشگران رشته های مختلف مورد استفاده قرار گیرد. اما باید توجه داشت که هرگونه استفاده از داده‌های آن و شناسایی یک نویسنده به عنوان نویسنده تاثیرگذار یا پراستناد بایستی با توجه به مقایسه عملکرد در همه شاخص ها و بررسی مقادیر نرمال یا غیرنرمال نسبت به حوزه های علمی تخصصی و در مقایسه با سایر همتایان صورت گیرد به ویژه اینکه ایرادات آشکاری در این دیتاست وجود دارد.

کلاریوت آنالیتیکس در اعلام فهرست سالانه پژوهشگران پراستناد دنیا (Highly Cited Researchers) مدارک همه نویسندگان را بررسی کرده و مواردی مانند مقالات ابطال شده، سوء رفتار علمی و نرخ بالای خوداستنادی را بررسی می کند. در نتیجه، برخی از نویسندگان از فهرست حذف می شوند و تعداد زیاد استنادات یک نویسنده ضامن قرارگیری در فهرست نویسندگان پراستناد دنیا نیست. اما محققان استنفورد هیچ گونه پردازش کیفی بر روی فهرست خود انجام نمی‌دهند و بر اساس محاسبات و حدود آستانه آماری فهرست خود را تدوین می کنند. بنابراین، کاربران بایستی برحسب نیاز خود و بدون پیش داوری از چنین داده‌هایی استفاده کنند و منطق محاسبه هر شاخص، ضعف ها و قوت ها و کاربردهای آن را مدنظر قرار دهند.

با توجه به مباحث فوق و ضعف های موجود در چنین فهرست‌هایی، پایگاه استنادی علوم جهان اسلام (ISC) هر ساله پس از رفع خطاهای موجود در فهرست های مستخرج از پایگاه استنادی وب علوم (Web of Science) و با استفاده از روش‌های آماری و تحلیل های علم سنجی، فهرست نرمال‌شده نویسندگان یک درصد برتر ایران را به دانشگاه های مربوطه اعلام می‌نماید. به این منظور، پایگاه ISC روش مشخص و استانداردی را برای شناسایی و معرفی پژوهشگران پراستناد برتر ایران توسعه داده است. همچنین، پایگاه ISC با اتکاء به منابع اطلاعاتی و پایگاه‌های داده خود، هر ساله فهرستی از نویسندگان پراستناد ایرانی در حوزه‌های علوم انسانی، اجتماعی و هنر را نیز شناسایی و به جامعه علمی معرفی می‌کند.

این گزارش تحلیلی با عنوان «فهرست اسامی نویسندگان 2% برتر استنفورد» در پایگاه استنادی علوم جهان اسلام، منتشر شده است.

انتهای پیام