اواخر سال گذشته، گزارش‌های رسانه‌ای جهانی درباره خطرناک بودن ظروف پلاستیکی سیاه به دلیل وجود مواد شیمیایی سرطان‌زا منتشر شد. اما مشخص شد که این خطر بیش از حد بزرگ‌نمایی شده است، زیرا یک خطای ریاضی باعث شده بود که مقدار یک ماده شیمیایی ده برابر کمتر از حد مجاز به نظر برسد. پژوهشگران نشان دادند که یک مدل هوش مصنوعی می‌توانست این خطا را در چند ثانیه تشخیص دهد. این رویداد دو پروژه هوش مصنوعی را برای کشف اشتباهات در مقالات علمی به راه انداخت:

پروژه Black Spatula و YesNoError

پروژه Black Spatula یک ابزار متن‌باز است که تاکنون حدود ۵۰۰ مقاله را برای یافتن خطا بررسی کرده است. این پروژه دارای ۸ توسعه‌دهنده فعال و صدها مشاور داوطلب است و به جای انتشار عمومی خطاها، ابتدا به نویسندگان اطلاع می‌دهد. پروژه YesNoError که از Black Spatula الهام گرفته شده، هدفی حتی بزرگ‌تر دارد. این پروژه که توسط یک ارز دیجیتال اختصاصی تأمین مالی شده است، تاکنون بیش از ۳۷,۰۰۰ مقاله را طی دو ماه بررسی کرده است. برخلاف Black Spatula، این پروژه یافته‌های خود را به صورت عمومی منتشر می‌کند، اگرچه هنوز بسیاری از آن‌ها توسط انسان بررسی نشده‌اند. هر دو پروژه قصد دارند که پژوهشگران قبل از ارسال مقاله و ژورنال‌ها قبل از انتشار از این ابزارها استفاده کنند تا از ورود اشتباهات و تقلب‌های علمی به ادبیات پژوهشی جلوگیری شود.

مزایا و چالش‌های استفاده از هوش مصنوعی در بررسی مقالات

این پروژه‌ها مورد حمایت پژوهشگران حوزه تمامیت علمی قرار گرفته‌اند، اما چالش‌هایی نیز دارند:
•    نرخ خطای بالا: در پروژه Black Spatula، حدود ۱۰٪ از خطاهای شناسایی‌شده اشتباه هستند. در YesNoError، تاکنون تنها ۱۰۰ مورد از ۱۰,۰۰۰ مقاله بررسی شده‌اند، اما ۹۰٪ از نویسندگانی که پاسخ داده‌اند، خطاها را تأیید کرده‌اند.
•    نیاز به تأیید انسانی: برای اطمینان از دقت یافته‌ها، نیاز به بررسی توسط متخصصان هر حوزه است، اما یافتن متخصصان چالش بزرگی است.
•    احتمال آسیب به اعتبار پژوهشگران: میشل نویتن، پژوهشگر حوزه متاعلم در دانشگاه تیلبورگ هلند، هشدار می‌دهد که اگر ادعاهای اشتباه علیه پژوهشگران مطرح شود، ممکن است اعتبار آن‌ها خدشه‌دار شود.

روش کار ابزارهای هوش مصنوعی در این پروژه‌ها

این سیستم‌ها از مدل‌های زبانی بزرگ (LLM) برای شناسایی طیف وسیعی از خطاها در مقالات استفاده می‌کنند، از جمله خطاهای محاسباتی، روش‌شناسی، و ارجاع‌دهی.

مراحل تحلیل یک مقاله علمی توسط هوش مصنوعی:

1.    استخراج اطلاعات از مقاله (متن، جداول، تصاویر).
2.    ایجاد مجموعه‌ای از دستورالعمل‌های پیچیده (پرامپت) برای مدل زبانی.
3.    بررسی چندباره مقاله برای انواع مختلف خطا.
4.    ارزیابی هزینه بررسی، که بین ۱۵ سنت تا چند دلار متغیر است.

انتقادات و نگرانی‌ها

نیک براون، پژوهشگر حوزه یکپارچگی علمی، اشاره می‌کند که وب‌سایت YesNoError بسیاری از موارد را اشتباه شناسایی کرده است. او از بین ۴۰ مقاله پرچم‌گذاری‌شده، ۱۴ مورد را نادرست یافت. بسیاری از مشکلات گزارش‌شده تنها خطاهای نگارشی بودند که در فرآیند داوری باید اصلاح شوند. به گفته او، اگر فناوری بهبود نیابد، ممکن است حجم عظیمی از کار بی‌فایده برای جامعه علمی ایجاد شود. واکنش YesNoError: این تیم در حال بهبود نرخ دقت سیستم است. مت اشلیشت، بنیان‌گذار پروژه، تأکید می‌کند که حتی یک صفر اضافی می‌تواند اثرات بزرگی داشته باشد (مانند خطای ظروف پلاستیکی). خطر سیاسی‌شدن فرایند بررسی: برنامه YesNoError شامل استفاده از ارز دیجیتال برای تعیین اولویت بررسی مقالات است. نیک براون هشدار می‌دهد که این سیستم می‌تواند مقالات حساس مانند پژوهش‌های اقلیمی را هدف قرار دهد.

آینده استفاده از هوش مصنوعی در بررسی مقالات

جیمز هیترز، متخصص علوم قضایی، می‌گوید اگر این فناوری به درستی اجرا شود، می‌تواند برخی حقیقت‌های ناخوشایند را آشکار کند. او می‌افزاید: "اگر چنین سیستمی به خوبی عمل کند، در برخی حوزه‌های علمی، مانند روشن کردن چراغ در یک اتاق پر از سوسک خواهد بود." در حالی که این پروژه‌ها هنوز در مراحل اولیه هستند، بسیاری از پژوهشگران از آن‌ها حمایت مشروط کرده‌اند و بر نیاز به بهبود دقت و شفافیت تأکید دارند.

منبع خبر: nature