محققان اسرائیلی دریافتند که مدل‌های زبانی بزرگ (LLM) هوش مصنوعی مانند ChatGPT نیز دچار نوعی «زوال شناختی» مشابه انسان‌ها می‌شوند. این پژوهش که توسط نورولوژیست‌های بیمارستان هداسا و یک دانشمند داده از دانشگاه تل‌آویو انجام شده، نشان می‌دهد که عملکرد شناختی این مدل‌ها با گذر زمان کاهش می‌یابد. در این مطالعه، نسخه‌های مختلفی از مدل‌های زبانی، از جمله ChatGPT-4 و 4o، Gemini از آلفابت و Claude-3.5، مورد بررسی قرار گرفتند. آزمایشات شامل ارزیابی شناختی مونترال (MoCA) بود که توانایی‌هایی مانند حافظه، مهارت‌های فضایی و عملکرد اجرایی را می‌سنجد. بالاترین امتیاز در این آزمون مربوط به ChatGPT-4o با 26 از 30 بود که نشان‌دهنده اختلال شناختی خفیف است. پس از آن، ChatGPT-4 و Claude با 25 امتیاز و در نهایت Gemini با 16 امتیاز قرار گرفتند که در انسان‌ها نشانه‌ای از اختلال شناختی شدید محسوب می‌شود.

یکی از ضعف‌های اصلی این مدل‌ها، عملکرد ضعیف در وظایف بینایی-فضایی و عملکرد اجرایی بود. برای مثال، آن‌ها در تکمیل آزمایش‌های ترسیم اشکال ساده، طراحی ساعت و تشخیص موقعیت مکانی خود ناتوان بودند. برخی پاسخ‌هایشان مشابه بیماران مبتلا به زوال عقل بود، مانند پاسخ مبهم Claude به پرسش درباره مکان خود: «محل دقیق بستگی به موقعیت کاربر دارد.» همچنین، این مدل‌ها در آزمون‌های ارزیابی همدلی، مانند آزمون آفازیای بوستون، ضعیف عمل کردند. این موضوع می‌تواند نشانه‌ای از عملکرد مشابه بیماران مبتلا به زوال عقل پیشانی-گیجگاهی باشد. با این حال، پژوهشگران تأکید دارند که LLMها مغز انسان نیستند و نمی‌توان آن‌ها را به‌طور دقیق به بیماری‌های شناختی تشبیه کرد.

نتایج تحقیق نشان می‌دهد که هر نسل جدید از مدل‌های زبانی توانسته برخی از ضعف‌های شناختی مدل‌های قبلی را جبران کند. این روند ممکن است در آینده منجر به توسعه مدل‌هایی شود که امتیاز کامل در آزمون‌های شناختی کسب کنند. اما تا آن زمان، نمی‌توان به پاسخ‌های این مدل‌ها، به‌ویژه در حوزه‌هایی مانند پزشکی که نیاز به تفسیر دقیق داده‌های بصری دارد، اعتماد کامل داشت. به همین دلیل، توصیه می‌شود که همچنان با دیدی انتقادی به پیشنهادات و تحلیل‌های این مدل‌ها نگاه شود.

منبع خبر: sciencealert