پیام‌های کلیدی
• آموزش داوران همتا ممکن است تاثیری اندک یا عدم تاثیر بر کیفیت داوری همتا داشته باشد.
• انجام مطالعات بیشتر، و با طراحی خوب مورد نیاز است تا تخمین‌های بهتری از تاثیر مداخله ارائه شود.
داوری همتا (peer review) چیست؟
داور همتا (peer reviewer) شخصی است که کار تحقیقاتی انجام‌شده را توسط شخص دیگر ارزیابی می‌کند. داور همتا معمولا محققی است با مهارت‌هایی مشابه با مهارت‌های مورد نیاز برای انجام تحقیقاتی که ارزیابی می‌کند.
داوری همتا برای چه مواردی استفاده می‌شود؟
هم سرمایه‌گذاران و هم ناشران تحقیق ممکن است نسبت به کیفیت خوب یک پروژه تحقیقاتی یا گزارش آن، اطمینان زیادی نداشته باشند. بسیاری از آنها از داوران همتا برای ارزیابی کیفیت یک پروژه یا گزارش استفاده می‌کنند.
چگونه می‌توان کیفیت داوری همتا را با آموزش داوران بهبود بخشید؟
آموزش داوران همتا ممکن است در شناسایی نقاط قوت و ضعف در تحقیقاتی که ارزیابی می‌کنند، به آنها کمک کند.
ما به دنبال چه یافته‌ای بودیم؟
ما خواستیم بدانیم که آموزش داوران همتا چه تاثیری بر افزایش کیفیت کار آنها دارد.
ما چه کاری را انجام دادیم؟
برای یافتن مطالعاتی جست‌وجو کردیم که به بررسی آموزش داوران همتا در مقایسه با عدم آموزش، انواع مختلف آموزش، یا روش مجله استاندارد یا سرمایه‌گذار پرداختند. اطلاعات را استخراج کرده و نتایج تمام مطالعات مرتبط را خلاصه کردیم. بر اساس عواملی مانند روش انجام و حجم نمونه مطالعه، سطح اطمینان خود را به شواهد رتبه‌بندی کردیم.
ما به چه نتایجی رسیدیم؟
تعداد 10 مطالعه را یافتیم که در مجموع شامل 1213 واحد آنالیز (722 داور و 491 مقاله) بودند. هشت مطالعه فقط شامل داوران همتا در مجلات بودند. دو مطالعه باقی‌مانده شامل داوران همتا برای اعطای کمک هزینه یا گرنت (grant) بودند.
نتایج اصلی
ایمیل‌هایی که به داوران همتا یادآوری می‌کنند تا موارد چک‌لیست‌های گزارش‌دهی را بررسی کنند، در مقایسه با روش استاندارد مجلات، احتمالا تاثیری اندک یا عدم تاثیر بر کامل بودن گزارش دارند (شواهد حاصل از 2 مطالعه با 421 مقاله).
آموزش داوران، در مقایسه با روش استاندارد مجلات، ممکن است توانایی داور همتا را در تشخیص خطاها، اندکی بهبود بخشد (شواهد حاصل از 1 مطالعه با 418 داور). داورانی که آموزش دریافت کردند، به‌طور متوسط 3.25 مورد از 9 خطا را شناسایی کردند، در حالی که داورانی که آموزش دریافت نکردند، به‌طور متوسط 2.7 مورد از 9 خطا را تشخیص دادند.
آموزش داوران، در مقایسه با روش استاندارد مجلات، ممکن است تاثیری اندک یا عدم تاثیر بر ارزیابی ذینفعان از کیفیت مرور داشته باشد (شواهد حاصل از 6 مطالعه با 616 داور و 60 مقاله).
در مورد تاثیر دوره ویدیویی، در مقایسه با عدم استفاده از آن، بر توافق میان داوران مطمئن نیستیم (شواهد حاصل از 1 مطالعه با 75 داور).
بازخورد فردی ساختاریافته در مورد امتیازدهی، در مقایسه با اطلاعات عمومی در مورد امتیازدهی، ممکن است تاثیری اندک یا عدم تاثیر بر تغییر توافق میان داوران داشته باشد (شواهد حاصل از 1 مطالعه با 41 داور).
محدودیت‌های شواهد چه هستند؟
به بیشتر شواهد اعتماد کمی داریم زیرا اکثر مطالعات فاقد اطلاعات مهم بوده و داوران بسیار کمی را وارد کردند. علاوه بر این، مشخص نیست که مطالعات، کیفیت داوری همتا را به روشی معتبر و قابل اعتماد اندازه‌گیری کردند یا خیر.
این شواهد تا چه زمانی به‌روز است؟
شواهد تا اپریل 2022 به‌روز است.
شواهد از 10 RCT نشان می‌دهد که آموزش داوران همتا ممکن است منجر به بهبودی اندک یا عدم بهبودی در کیفیت انجام داوری همتا شود. نیاز به انجام مطالعاتی با شرکت‌کنندگان بیشتر و طیف وسیع‌تری از معیارهای پیامد معتبر و قابل اعتماد وجود دارد. مطالعاتی که ارزیابی‌های ذینفعان را از کیفیت داور همتا بررسی می‌کنند، باید اطمینان حاصل کنند که این ابزار دارای سطوح کافی از اعتبار (validity) و پایایی (reliability) هستند.
سرمایه‌گذاران و مجلات علمی از داوری همتا (peer review) برای تصمیم‌گیری پیرامون ارائه کمک هزینه یا گرنت (grant) به پروژه‌ها یا مقالات برای انتشار استفاده می‌کنند. آموزش داور، مداخله‌ای است برای بهبود کیفیت داوری همتا. با این حال، مطالعات در مورد تاثیرات چنین آموزشی نتایج متناقضی را به همراه داشته، و هیچ مرور سیستماتیکی به‌روزشده‌ای برای پرداختن به این سوال وجود ندارد.
ارزیابی تاثیر آموزش داور همتا (peer reviewer) بر کیفیت اعطای گرنت و انجام داوری همتا در مجله.
از روش‌های استاندارد و جامع جست‌وجو در کاکرین استفاده کردیم. تاریخ آخرین جست‌وجو، 27 اپریل 2022 بود.
کارآزمایی‌های تصادفی‌سازی و کنترل‌شده‌ای (RCTs؛ از جمله RCTهای-خوشه‌ای) را وارد کردیم که داوری همتا را با مداخلات آموزشی در مقایسه با فرآیندهای معمول، عدم انجام مداخله آموزشی، یا دیگر مداخلات برای بهبود کیفیت داوری همتا ارزیابی کردند.
از روش‌های استاندارد کاکرین بهره بردیم. پیامدهای اولیه عبارت بودند از 1. کامل بودن گزارش‌دهی و 2. تشخیص خطاهای داوری همتا. پیامدهای ثانویه 1. نمرات کتاب‌سنجی (bibliometric score)، 2. ارزیابی ذینفعان از کیفیت داوری همتا، 3. توافق بین داوران (inter-reviewer agreement)، 4. پیامدهای فرآیند-محور، 5. رضایت داور همتا، و 6. نرخ تکمیل و سرعت پروژه‌های تامین‌شده از نظر مالی، بودند. از نخستین نسخه ابزار خطر سوگیری کاکرین برای ارزیابی خطر سوگیری استفاده کرده، و از GRADE برای ارزیابی قطعیت شواهد بهره بردیم.
تعداد 10 RCT را با مجموع 1213 واحد آنالیز وارد کردیم. واحد آنالیز، داور در هفت مطالعه (در مجموع 722 داور)، و نسخه نوشتاری مقاله (manuscript) در سه مطالعه (در مجموع 491 مقاله) بود.
در هشت RCT، شرکت‌کنندگان داوران همتا در مجلات بودند. در دو مطالعه، شرکت‌کنندگان، داوران همتا برای اعطای گرنت بودند. مداخلات آموزشی را می‌توان به‌طور کلی به مداخلات مبتنی بر گفت‌وگو (کارگاه آموزشی تعاملی (interactive workshop)، آموزش حضوری (face-to-face training)، مربیگری (mentoring)) و ارتباط یک طرفه (اطلاعات نوشتاری، دوره ویدیویی، چک‌لیست، بازخورد کتبی) تقسیم کرد. همه مطالعات حجم نمونه کوچکی داشتند.
شواهدی را با قطعیت متوسط یافتیم که ایمیل‌هایی که به داوران همتا یادآوری می‌کنند موارد چک‌لیست گزارش‌دهی را بررسی کنند، در مقایسه با روش استاندارد مجلات، تاثیری اندک یا عدم تاثیر بر کامل بودن گزارش دارند، که در قالب نسبتی از موارد (از 0.00 تا 1.00) اندازه‌گیری شد که گزارش‌دهی کافی داشتند (تفاوت میانگین (MD): 0.02؛ 95% فاصله اطمینان (CI): 0.02- تا 0.06؛ 2 RCT؛ 421 مقاله).
شواهدی با قطعیت پائین وجود داشت مبنی بر اینکه آموزش داوران، در مقایسه با روش استاندارد مجلات، توانایی داوران همتا را در تشخیص خطاها بهبود می‌بخشد (MD: 0.55؛ 95% CI؛ 0.20 تا 0.90؛ 1 RCT؛ 418 داور).
شواهدی را با قطعیت پائین به دست آوردیم که آموزش داوران، در مقایسه با روش استاندارد مجلات، تاثیری اندک یا عدم تاثیر بر ارزیابی ذینفعان از کیفیت انجام مرور در داوری همتا در مجله (تفاوت میانگین استانداردشده (SMD): 0.13 انحراف معیار (standard deviation; SD)؛ 95% CI؛ 0.07- تا 0.33؛ 1 RCT؛ 418 داور)، یا تغییر در ارزیابی ذینفعان از کیفیت انجام مرور در داوری همتا در مجله (SMD: -0.15 SDs؛ 95% CI؛ 0.39- تا 0.10؛ 5 RCT؛ 258 داور) دارد.
شواهدی را با قطعیت بسیار پائین یافتیم که گذراندن یک دوره ویدیویی، در مقایسه با نگذراندن آن، تاثیری اندک یا عدم تاثیر بر توافق بین داوران در داوری همتا به منظور اعطای گرنت دارد (MD؛ 0.14 امتیاز؛ 95% CI؛ 0.07- تا 0.35؛ 1 RCT؛ 75 داور ).
شواهدی با قطعیت پائین وجود داشت که ارائه بازخورد فردی ساختاریافته در مورد امتیازدهی، در مقایسه با اطلاعات عمومی در مورد امتیازدهی، تاثیری اندک یا عدم تاثیر بر تغییر در توافق میان داوران در داوری همتا به منظور اعطای گرنت داشت (MD؛ 0.18 امتیاز؛ 95% CI؛ 0.14- تا 0.50. 1 RCT؛ 41 داور، شواهد با قطعیت پائین).
این متن توسط مرکز کاکرین ایران به فارسی ترجمه شده است.