به گزارش ایسنا، در سال‌های اخیر شاهدیم که مؤسسه‌های رسمی که به پایش وضعیت علم و فناوری در ایران مشغول هستند، اعداد متفاوتی برای پژوهشگران پر استناد ایران، پژوهشگران یک درصد برتر و یا پژوهشگران پر استناد یک درصد برتر ایران، اعلام می‌کنند. به طوری که در یک ماه اخیر؛ معاون پژوهشی وزیر علوم به نقل از پایگاه استنادی علوم و پایش علم و فناوری (ISC) آخرین آمار تعداد پژوهشگران پر استناد یک درصد برتر ایران را ۸۴۱ نفر اعلام کرد. پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک) تعداد پژوهشگران پر استناد ایران را در سال ۲۰۲۲ بر اساس آمار مؤسسه «کلاریویت آنالیتیکس»، ۱۲ نفر اعلام کرده است. همچنین رئیس مؤسسه استنادی علوم و پایش علم و فناوری (ISC) از حضور ۱۸۷۰ پژوهشگر ایرانی در فهرست پژوهشگران ۲ درصد برتر استنفورد خبر داد. 

این اختلاف فاحش در آمار مؤسسات داخلی و خارجی، ما را بر این داشت که در سلسله گفت‌وگوهای تفصیلی با متخصصان علم‌سنجی کشور به این موضوع بپردازیم که پژوهشگران پراستناد، یک درصد برتر و دو درصد برتر، چه کسانی هستند؟ این پژوهشگران بر اساس چه شاخص‌هایی انتخاب می‌شوند؟ و کدام آمار قابل اعتنا است و اهمیت بیشتری دارد؟

آنچه که در پی می‌آید بخش اول گفت‌وگوی ایسنا با دکتر عبدالرضا نوروزی چاکلی، استاد دانشگاه شاهد، سردبیر نشریه «پژوهشنامه علم‌سنجی» و از متخصصان علم‌سنجی کشور درباره موضوعات یادشده است.

دکتر عبدالرضا نوروزی چاکلی در گفت‌وگو با ایسنا، در مورد شاخص «پژوهشگران پر استناد» و «دانشمندان یک درصد برتر دنیا» گفت: از سالیان گذشته، پایگاه ESI یا Essential Science Indicator  که متعلق به «تامسون رویترز» سابق و «کلاریویت آنالیتیکس» فعلی است، داده‌ها را از پایگاه‌هایی مثل Web OF Science (WOS) استخراج می‌کند و با توجه به اهداف خود، گزارش‌هایی را در مورد پژوهشگران، دانشگاه‌ها، کشورها، سازمان‌ها و... اعلام می‌کند.

وی ادامه داد: بر همین اساس، این مؤسسه هر ساله دانشمندان و پژوهشگرانی را که در طی ۱۰ سال گذشته توانسته‌اند در گروه موضوعی خود، یک درصد از کل استنادات بین‌المللی را به دست بیاورند، به عنوان پژوهشگران پراستناد یا Highly Cited Researchers معرفی می‌کند. البته شاخص دیگری به نام «مقالات داغ» یا Hot Paper هم وجود دارد که مقالات برتر هر حوزه موضوعی را بر اساس عملکرد استنادی دو ساله بررسی می‌کند.

این پژوهشگر علم‌سنجی، در پاسخ به این سؤال که آیا فهرست پژوهشگران پراستناد کلاریویت آنالیتیکس، از دیگر فهرست‌های اعلامی، معتبرتر است؟، گفت: با توجه به این‌که این پایگاه، سالیان سال است که در این حوزه فعالیت می‌کند و داده‌های خود را از WOS می‌گیرد و این پایگاه نیز معتبرترین مجلات بین‌المللی را نمایه‌سازی می‌کند، پایگاه مرجع مهمی است و جزو معتبرترین‌ها است.

اگر در مقام مقایسه قرار نگیریم، ممکن است همواره همه‌چیز خیلی خوب به نظر برسد!

سردبیر نشریه «پژوهشنامه علم‌سنجی» درباره کاربرد و فایده بررسی پژوهشگران پراستناد، توضیح داد: بررسی پژوهشگران پراستناد، بخشی از مطالعات علم‌سنجی است و هدف اصلی علم‌سنجی نیز همواره روشن‌گری برای سیاست‌گذاران و برنامه‌ریزان علم و فناوری بوده است. این شاخص می‌خواهد به کشورها بگوید که در مقایسه با سایر کشورها، در هر یک از حوزه‌های موضوعی مثل شیمی، فیزیک، مهندسی و یا ...، چه سهمی از پژوهشگران برتر بین‌المللی را در اختیار دارند و به این ترتیب، امکان مقایسه کشورها با یکدیگر را فراهم می‌کند.

وی با اشاره به اهمیت مقایسه کشورها، تشریح کرد: با مقایسه صحیح است که می‌توانیم بفهیم در چه سطحی قرار داریم. اگر در مقام مقایسه قرار نگیریم، ممکن است همواره همه‌چیز خیلی خوب به نظر برسد! اما در نتیجه مقایسه صحیح و اصولی است که ضعف‌ها و قوت‌ها مشخص می‌شود و بر این اساس می‌توان در راستای اتخاذ تصمیم‌ها و سیاست‌های صحیح پژوهشی گام برداشت و فهمید که در چه زمینه‌هایی چقدر جلوتر یا چقدر عقب‌تر هستیم؛ نقاط قوت ما در کدام بخش‌ها است؛ در چه بخش‌هایی موفقیت بیشتری داریم و در کدام بخش‌ها نیازمند سرمایه‌گذاری بیشتر هستیم؟ بدیهی است که بر اساس نتایج ارزیابی‌های مقایسه‌ای اگر نسبت به کشورهای دیگر، وضعیت بهتری داشتیم، می‌توانیم نتیجه بگیریم که موفق‌تر عمل کرده‌ایم.

نباید با ارقام خام، رشته‌ها را با یکدیگر مقایسه کرد

این متخصص علم‌سنجی، با اشاره به این نکته که ما نمی‌توانیم بدون نرمال‌سازی علمی، حوزه‌های مختلف علمی را با یکدیگر مقایسه کنیم، تشریح کرد: ما نباید حوزه‌های مختلف علمی را با ارقام خام با یکدیگر مقایسه کنیم و بگوییم مثلاً در حوزه پزشکی بالینی، این تعداد استناد یا مقاله، ولی در حوزه‌ای دیگر نظیر علوم کامپیوتر این تعداد استناد یا مقاله داریم و با چنین مقایسه‌های ناصحیح، یک رشته را نسبت به رشته‌ای دیگر برتر یا ضعیف‌تر جلوه دهیم. چون ماهیت، رفتارهای استنادی، جمعیت پژوهشگران و ویژگی‌های رشته‌ها با یکدیگر متفاوت است و آن‌ها به این طریق با یکدیگر قابل مقایسه نیستند و مقایسه صحیح آن‌ها مستلزم نرمال‌سازی و لحاظ کردن این نوع تفاوت‌ها در فرآیند مقایسه نرمال‌سازی‌شده است.

وی با بیان این‌که «مقایسه نرمال‌سازی شده رشته‌ها با یکدیگر است که می‌تواند راهگشا باشد»، گفت: بر این اساس اگر بتوان جایگاه یک رشته از یک کشور را با جایگاه همان رشته در سطح بین‌المللی مورد مقایسه قرار داد و مشخص کرد که به عنوان مثال حوزه برق و الکترونیک کشور، در مقایسه با حوزه برق و الکترونیک سایر کشورها از چه جایگاهی برخوردار است، یک مقایسه نرمال‌سازی شده و قابل اتکاء انجام داده‌ایم که بسیار هم می‌تواند مفید باشد و در مطالعات علم‌سنجی نیز مورد تأکید قرار دارد.

وی با تاکید بر این‌که «رفتارهای استنادی رشته‌ها با یکدیگر متفاوت است»، گفت: مثلاً نسبت استناد در رشته‌های علوم انسانی و اقتصاد، با نسبت استناد در رشته‌هایی مثل زیست‌شناسی فرق می‌کند. ممکن است برای نوشتن یک مقاله زیست‌شناسی، از ۱۰۰ منبع استفاده شود و به آن‌ها استناد داده شود؛ ولی یک مقاله علوم انسانی یا علوم اجتماعی، به‌دلیل سبک نگارش رایج و اقتضای نوع تحلیل‌های لازم برای بسط و تحلیل مطالب، ممکن است تعداد استنادشان آن‌قدر نباشد و برای نگارش مقاله، تکیه بر ۳۰-۲۰ منبع نیز کافی باشد.

این استاد دانشگاه شاهد توضیح داد: برای نگارش یک مقاله علوم اجتماعی، ممکن است لازم باشد در حدود ۳-۴ صفحه یک مطلب را تحلیل کرد و توضیح داد و برای انجام این تحلیل حتی نیازی به استناد نباشد؛ چرا که استناد همواره در هنگام فراخوانی شواهد صورت می‌پذیرد، نه الزاماً برای تحلیل شواهد. برعکس، در حوزه‌ای مثل زیست‌شناسی که نقش شواهد در بیان مطالب بیشتر است، در هر صفحه شاید نیاز به ۱۰ استناد باشد و در آن مرحله هنوز نیازی به تحلیل نباشد و بیشتر تکیه بر شواهد باشد. بنابراین، ما نمی‌توانیم رشته‌ها را با ارقام خام و بصورت غیرنرمال‌سازی شده با هم مقایسه کنیم و بگوییم چرا این رشته کم‌تر دانشمند دارد و آن رشته بیشتر؟

نوروزی چاکلی، ضمن تاکید مجدد بر اهمیت مقایسه صحیح کشورها، گفت: موضوع مهم این است که با استفاده از شاخص پژوهشگران پراستناد، می‌توانیم وضعیت یک رشته در کشور خودمان را با همان رشته در کشورهای دیگر مقایسه کنیم. این نکته‌ای است که به ما جهت می‌دهد و هدف اصلی علم‌سنجی نیز روشن‌گری است. ما باید آمارهای درست ارائه دهیم و آمار درست دادن، مستلزم استفاده از منابع و چارچوب‌های معتبر است.

چرا آمار پژوهشگران پر استناد مؤسسه استنادی علوم (ISC) و کلاریویت آنالیتیکس متفاوت است؟

این پژوهشگر علم‌سنجی در پاسخ به سوال ایسنا در مورد این‌که «مؤسسه استنادی علوم و پایش علم و فناوری (ISC)، تعداد پژوهشگران پر استناد یک درصد برتر کشور را ۸۴۱ نفر اعلام کرده، این در حالی است که طبق اعلام پایگاه کلاریویت آنالیتیکس در سال ۲۰۲۲، پژوهشگران پر استناد ایران ۱۲ نفر هستند. دلیل این تفاوت چیست؟» توضیح داد: این تفاوت، به خاطر آن است که ISC بر مبنای روش‌ها و محاسبات خود، به این نتیجه دست یافته و البته این مانعی ندارد. اما مطمئناً ISC انتظار ندارد که این نتیجه به عنوان نتیجۀ کلاریویت آنالیتیکس در نظر گرفته شود.

وی تشریح کرد: همواره هر پژوهشگر یا مؤسسه پژوهشی می‌تواند داده‌های پایگاهی نظیر WOS یا Scopus را دریافت کند و با چارچوب‌ها و روش‌های موردنظر خود محاسباتی روی داده‌ها انجام دهد و نتایجی را بر اساس چشم‌انداز خود اعلام کند. اما صِرف بهره‌گیری از داده‌های یک پایگاه نمی‌تواند باعث شود نتایجی یکسان به‌دست آید. چون در کنار داده‌ها، مسئله دیگر روش‌ها و شاخص‌های مورد استفاده است. به همین دلیل ISC با وجود استفاده از همان داده‌های کلاریویت آنالیتیکس، نتایج متفاوتی به‌دست آورده است؛ چون مطمئناً جزئیات روش‌شناسی بررسی آن‌ها متفاوت بوده است.

وی افزود: حتی ممکن است هر پژوهشگر یا مؤسسه پژوهشی دیگر، بازهم در آینده از داده‌های همین پایگاه‌ها استفاده کند و این داده‌ها را با معیارها، فرمول‌ها و چارچوب‌های خود مورد تجزیه و تحلیل قرار دهد و بازهم نتایج متفاوتی به‌دست آورد. کما این‌که چنین بحثی در علم‌سنجی یک امر رایج است و بسیاری از پژوهشگران و دانشجویان از همین داده‌های وب آو ساینس یا اسکوپوس برای مطالعات خود استفاده می‌کنند و با توجه به اهداف، چارچوب‌ها، معیارها و روش‌هایی که برای کار پژوهشی خود تعریف می‌کنند، به نتایجی متفاوت دست می‌یابند و این یک امر طبیعی و پذیرفته شده است.

سردبیر مجله پژوهشنامه علم‌سنجی با ذکر مثالی توضیح داد: برخی مجلات رأساً برای خود ایمپکت فکتور یا ضریب تاثیر محاسبه می‌کنند و حتی این ضریب تأثیر را در وب‌سایت خود نیز درج می‌کنند و موجبات سردرگمی مخاطبان را فراهم می‌کنند. چرا که وقتی مخاطب، عنوان مجله را در پایگاه JCR که مرجع محاسبه و اعلام ضریب تأثیر بین‌المللی مجلات به شمار می‌رود جستجو می‌کند، می‌بیند در آن پایگاه نه اثری از نام مجله و نه اثری از ضریب تأثیر مجله است و در واقع اصلاً آن مجله در JCR نمایه‌سازی نمی‌شود!  

وی در خصوص دلیل این موضوع توضیح داد: واقعیت این است که این مجلات بدون ِ آن‌که در JCR تحت پوشش قرار داشته باشند، این ضریب تاثیر را خودشان محاسبه کردند و به این عدد رسیده‌اند. ولی مبنای پذیرفته شده بین‌المللی این نیست که یک مجله خودش و بر اساس روش‌ها و چارچوب‌های خود، ضریب تأثیر مجله را محاسبه و اعلام کند. بلکه مبنا این است که این ضریب بر اساس چارچوب رسمی و پذیرفته شده پایگاه JCR و به‌صورتی یک‌دست، محاسبه و اعلام شود. البته ایرادی ندارد که خود مجله هم این ضریب را خودش محاسبه کند، ولی این باید کار ِخود مجله و به منظور آگاهی کلی از وضعیت مجله معرفی ‌شود، نه به منزله کار JCR.

اهمیت نحوه طبقه‌بندی علوم مختلف در مطالعات علم‌سنجی

نوروزی چاکلی، ضمن بیان این موضوع که «کاری که کلاریویت آنالیتیکس انجام می‌دهد، به دلایل مختلف خاص خودش است»؛ به بیان دلایل احتمالی وجود این نوع تفاوت‌ها در نتایج اعلام شده پرداخت و تصریح کرد: مهم‌ترین مسئله در روش انجام این بررسی‌ها، نحوه تقسیم‌بندی و طبقه‌بندی موضوعی مقالات است. مؤسسه کلاریویت آنالیتیکس در پایگاه ESI، از نظام طبقه‌بندی موضوعی خاص خود استفاده می‌کند و بر اساس آن بررسی را انجام می‌دهد. ESI در گزارش‌های خود، فقط طبقه‌ها و زیر طبقه‌های اصلی موضوعی را به‌صورت عمومی منتشر می‌کند، ولی هیچ‌گاه جزئیات و رده‌های فرعی هر یک از زیرمجموعه‌های طبقه‌بندی‌های موضوعی را اعلام نمی‌کند. از آنجایی که انجام مطالعات مقایسه‌ای علم‌سنجی، به‌طور مستقیم به نوع طبقه‌بندی موضوعی که برمی‌گزینیم و به‌ویژه به سطح جزئی‌نگری در هر طبقه موضوعی وابسته است؛ لذا نتایج به‌دست آمده نیز می‌توانند بر همین اساس تحت تأثیر قرار گیرند.

وی ضمن تشریح این موضوع، اظهار کرد: به عنوان مثال؛ از یک نگاه، حوزه‌هایی همچون زیست‌شناسی، بیوشیمی، ایمونولوژی، میکروبیولوژی، بیولوژی مولکولی و ژنتیک، حوزه‌های مرتبط و نزدیک به هم هستند که با توجه به دیدگاه‌ها و فلسفه رده‌بندی که مد نظر قرار دارد، می‌توان آن‌ها را به‌صورت جدا از هم در طبقات مختلف یا به‌صورت وابسته به هم در یک مجموعه موضوعی در نظر گرفت و طبقه‌بندی کرد. البته در اینجا کار به همین تقسیم‌بندی کلی طبقات اصلی این حوزه‌های موضوعی ختم نمی‌شود و در سطوح و لایه‌های جزئی‌تر بعدی که برای طبقه‌بندی هر یک از این گروه‌های موضوعی وجود دارد نیز همین تفاوت‌ها تأثیرگذار است و بر اساس دیدگاه‌های مختلف می‌توان یک موضوع را حتی به‌طور همزمان در زیرگروه چندین رده موضوعی نیز طبقه‌بندی کرد.

این پژوهشگر علم‌سنجی ادامه داد: در واقع به همین دلیل هم هست که «تزاروس‌ها» (اصطلاح‌نامه‌های تخصصی) مختلفی که برای یک موضوع وجود دارند، برای طبقه‌بندی موضوع‌ها به‌صورت یکسان عمل نمی‌کنند و در فرآیند تقسیم‌بندی یک موضوع تخصصی، بعضاً برای جایگاه یک موضوع تخصصی، دیدگاه‌های مختلفی قائل هستند. بدیهی است که همین تفاوت در نحوه طبقه‌بندی موضوعی، به‌طور مستقیم می‌تواند بر نتایج پژوهش‌های ارزیابانه علم‌سنجی تأثیر بگذارد و پژوهشگران علم‌سنجی بسته به این‌که در مطالعات خود، استفاده از کدام طبقه‌بندی موضوعی را مد نظر قرار دهند، به نتایج متفاوتی دست می‌یابند.

وی افزود: حتی اگر از اساتید برجسته و درجه یک دنیا در یک رشته نظیر پزشکی، زیست‌شناسی و مانند آن هم بخواهند که رشته خودشان را طبقه‌بندی کنند، بازهم ممکن است هر یک از این اساتید بر اساس دیدگاه خود طبقه‌بندی‌های متفاوتی را برای این حوزه ارائه دهند که همه این طبقه‌بندی‌ها نیز به لحاظ علمی، درست ولی با یکدیگر متفاوت باشند.

عضو هیئت‌علمی دانشگاه شاهد با ذکر مثالی، اظهار کرد: هنگام جستجوی ساده و کنترل‌نشده یک حوزه موضوعی در WOS، اگر یک کلمه مثل پزشکی (Medicine) جستجو شود، تنها مقالاتی  که در آن‌ها عیناً کلمه پزشکی به‌کار رفته باشد، بازیابی خواهد شد و مثلاً مقالات مربوط به کووید با این‌که مربوط به پزشکی است، بازیابی نمی‌شود. بدیهی است که نمی‌توان از روی چنین جستجویی نتیجه‌گیری کرد که فقط همین مقالاتِ بازیابی شده، تنها مقالات حوزه پزشکی موجود در پایگاه WOS هستند. بنابراین برای به‌دست آوردن نتایج صحیح و اصولی، باید تمام اصطلاح‌های زیرمجموعه پزشکی مورد بررسی و جستجو قرار گیرد و این‌که برای انتخاب این اصطلاح‌های زیرمجموعه پزشکی، کدام نظام طبقه‌بندی موضوعی یا کدام اصطلاح‌ها و اصطلاح‌نامه‌های تخصصی پزشکی یا کدام روش طبقه‌بندی یا کنترل واژگان مد نظر قرار می‌گیرد، نتایج متفاوتی به‌دست خواهد آمد.

راهکاری برای جلوگیری از خطای تشابه اسمی پژوهشگران 

نوروزی چاکلی درباره این که مؤسسه استنادی علوم (ISC) می‌گوید «پایگاه ESI تنها نام خانوادگی و شکل اختصاری نام کوچک پژوهشگران را اعلام می‌کند و تشابه اسمی را در نظر نمی‌گیرد و همه پژوهشگران ما را بررسی نکرده است»، به همین دلیل آن‌ها اقدام به بررسی پژوهشگران ایران کرده‌اند، گفت: این موضوع تنها برای ایران نیست و برای همه دنیا همین‌طور انجام شده است! نکته دیگر این است که اصلاً بررسی ESI بر اساس اسامی مستند نشده نویسندگان انجام نمی‌شود، بلکه امروزه مبنای شناسایی اسامی، بر اساس شناسه پژوهشگر (Research ID) و ORCID است!

وی تشریح کرد: امروزه هر پژوهشگری کد شناسایی مخصوص به خود را دارد و ملاک بررسی‌ها، اسامی ظاهری افراد نیستند که بخواهد مشکل تشابه اسمی ایجاد شود. ID و کد بین‌المللی افراد مهم است و چه بسا حتی نام دو پژوهشگر مشابه باشد، اما کدهای Researcher ID و ORCID آنها روشن کند که آنها یکی نباشند. پژوهشگران پراستناد، از پژوهشگران بزرگ دنیا هستند و به خوبی بر این نکته واقفند که باید ORCID خود را مرتب روزآمد کنند. از طرفی، سال‌هاست که حتی ارسال مقاله به مجلات بین‌المللی، بدون اعلام شناسه ORCID به مجله امکان‌پذیر نیست و نویسندگان در نخستین گام باید شناسه بین‌المللی خود را در مجله موردنظر به ثبت برسانند و با تأئید هویت خود به مجله از این طریق، بتوانند مقاله خود را سابمیت کنند.

این متخصص علم‌سنجی با بیان این‌که «در محاسبات، روش‌شناسی و متدولوژیک، یک سری جزئیات دیگری وجود دارد که اعلام نمی‌شود»، گفت: معمولاً کلیات روش بررسی و شاخص‌های مورد استفاده همچون نسبت استناد به مقاله، نسبت خوداستنادی به ازای هر مقاله، متوسط درصد خوداستنادی، نسبت کل استنادهای دریافتی بدون در نظر گرفتن خوداستنادی، نحوه محاسبه سهم نویسندگان با بیش از یک وابستگی سازمانی، نحوه محاسبه سهم نویسندگان مقاله‌های حاصل همکاری و مانند آن توسط نظام‌های ارزیابی و رتبه‌بندی نظیر مؤسسه کلاریویت آنالیتیکس ذکر می‌شود، ولی ملاحظات و شرایط خاص مستندسازی داده‌ها و محاسبات، که نتایج متفاوتی را رقم می‌زند، چیزی است که خاص خود نظام ارزیابی است و همراه با جزئیات، به‌صورت عمومی اعلام نمی‌شود.

وی خاطرنشان کرد: با توجه به این ملاحظات، مطمئناً منظور ISC این نبوده که نتایجی که خودش بر اساس داده‌های به‌دست آمده از کلاریویت آنالیتیکس استخراج و محاسبه کرده، جایگزین نتایجی است که پایگاه ESI اعلام کرده و در واقع کلاریویت آنالیتیکس، محاسبات را اشتباه یا ناقص انجام داده است. به نظر می‌رسد منظور ISC این بوده که این نتایج اعلام شده توسط ISC، نتایجی است که خودش با محاسبات جدیدی که بر اساس روش‌ها و چارچوب‌های خود انجام داده به‌دست آورده است. به این ترتیب، ISC خواسته تعداد پژوهشگران برجسته بیشتری از کشور را بر اساس دیدگاه‌ها و چارچوب‌های خود به جامعه علمی کشور معرفی کند که البته این رویکرد، چنانچه به عنوان لیست ISC معرفی شود، نه تنها مانعی ندارد، بلکه می‌تواند مثبت نیز تلقی شود.

پایان بخش اول گفت‌وگو