در سال‌های اخیر و با ظهور مدل‌های زبانی بزرگ (LLM) مانند ChatGPT و Google Gemini، تشخیص محتوای انسانی از محتوای تولید یا ویرایش‌شده توسط هوش مصنوعی دشوارتر شده است. این مسئله به‌ویژه در حوزه تحقیقات علمی نگرانی‌هایی را ایجاد کرده، چرا که نشانه‌هایی از استفاده گسترده و پنهانی از LLMها در مقالات علمی، به‌ویژه مقالات زیست‌پزشکی، دیده می‌شود. به منظور بررسی میزان استفاده از LLM در مقالات علمی، گروهی از پژوهشگران آمریکایی و آلمانی بیش از ۱۵ میلیون چکیده مقاله در پایگاه داده PubMed را تحلیل کردند. آن‌ها با تمرکز بر تغییرات زبانی و واژه‌هایی که پس از انتشار عمومی ChatGPT به طور غیرعادی رایج شده‌اند، سعی کردند تأثیر LLMها را به‌طور غیرمستقیم ارزیابی کنند.

بررسی‌ها نشان داد که از زمان ظهور LLMها، به‌ویژه در سال ۲۰۲۴، استفاده از واژه‌های خاص و دارای سبک نوشتاری "ادبی و احساسی" مانند "showcasing"، "pivotal" و "grappling" به‌طور چشمگیری افزایش یافته است. این در حالی است که پیش از این، واژگان پرتکرار بیشتر اسامی بودند، اما در سال ۲۰۲۴ بیش از ۶۶ درصد از واژگان پرتکرار افعال و ۱۴ درصد صفات بودند. این تغییر در سبک نوشتار می‌تواند نشانه‌ای از مشارکت LLMها در نگارش یا ویرایش مقالات باشد.

مطالعه حاضر با الهام از روش‌های آماری مورد استفاده در دوران همه‌گیری کرونا، تلاش کرد با مقایسه روندهای زبانی قبل و بعد از ظهور LLMها، نشانه‌های واضحی از تأثیر آن‌ها بر نوشتار علمی بیابد. برخلاف مطالعات قبلی که صرفاً به مقایسه متن‌های انسانی و تولیدشده توسط LLM می‌پرداختند و دچار تعصب در فرضیات بودند، این تحقیق بدون نیاز به فرض در مورد نوع مدل یا نحوه استفاده پژوهشگران از آن‌ها، تنها به شناسایی الگوهای آماری در تغییر زبان اکتفا کرد.

نتیجه‌گیری نهایی این تحقیق که در مجله Science Advances منتشر شده، این است که دست‌کم ۱۳.۵ درصد از مقالات علمی منتشرشده در سال ۲۰۲۴ دارای نشانه‌هایی از دخالت مستقیم یا غیرمستقیم LLMها بوده‌اند. همچنین تفاوت‌های قابل توجهی در میزان استفاده از LLMها بین رشته‌ها، کشورها و مجلات علمی مختلف مشاهده شده است. این یافته‌ها پرسش‌های مهمی را درباره اعتبار، اصالت و آینده نگارش علمی در دوران هوش مصنوعی مطرح می‌کنند.

منبع خبر: phys