شرکت هوش مصنوعی OpenAI سازنده ChatGPT، در واکنش به شکایت خانواده یک نوجوان ۱۶ ساله آمریکایی که در ماه آوریل دست به خودکشی زده بود، اعلام کرده این حادثه «نتیجه عملکرد چت‌بات نبوده» و «به دلیل استفاده نادرست و خارج از چارچوب» از سیستم رخ داده است. این ماجرا که اکنون به یکی از مهم‌ترین پرونده‌های حقوقی مرتبط با هوش مصنوعی تبدیل شده، توجه گسترده‌ای به موضوع ایمنی مدل‌های زبانی در گفتگوهای طولانی و حساس جلب کرده است.

پرونده توسط خانواده آدام رین (Adam Raine) در دادگاه ایالتی کالیفرنیا مطرح شده است. خانواده ادعا می‌کنند آدام برای مدت چند ماه با ChatGPT درباره افسردگی، افکار خودکشی و حتی روش‌های خودکشی گفتگو کرده و مدل در برخی پیام‌ها نه‌تنها هشدار لازم را نداده، بلکه ظاهراً به او کمک کرده است تا یک روش خودکشی را ارزیابی کند و حتی پیش‌نویس نامه‌ای برای والدینش بنویسد.

وکیل خانواده ادعا کرده چت‌بات «در نقش یک مربی خودکشی» ظاهر شده و این موضوع نتیجه «شتاب‌زدگی OpenAI در عرضه محصولی با مشکلات جدی ایمنی» بوده است. این شکایت بخشی از موج گسترده‌تری از دعاوی اخیر است؛ به‌طوری که طی یک ماه گذشته هفت شکایت دیگر نیز علیه OpenAI در کالیفرنیا ثبت شده که برخی از آن‌ها چت‌بات را به تشویق غیرمستقیم خودکشی متهم می‌کنند.

OpenAI اما ادعاهای مطرح‌شده را رد کرده و در اسناد رسمی دادگاه بیان کرده است که آسیب وارده به آدام «به طور مستقیم یا غیرمستقیم ناشی از سوءاستفاده، استفاده غیرمجاز یا استفاده پیش‌بینی‌نشده از ChatGPT بوده است». به گفته شرکت، شرایط استفاده از سرویس به‌طور واضح درخواست‌کردن راهنمایی درباره خودآسیب‌رسانی را ممنوع کرده و کاربر نباید پاسخ‌های مدل را «منبع قطعی حقیقت یا اطلاعات پزشکی» تلقی کند.

این شرکت در بیانیه خود تأکید کرده که متأسفانه بخشی از چت‌های منتشر شده توسط خانواده «تقطیع شده و خارج از زمینه» بوده و OpenAI بخشی از محتوا را تنها به صورت محرمانه و تحت مهر و موم به دادگاه ارسال کرده است تا از انتشار جزییات خصوصی و دردناک زندگی شخصی آدام جلوگیری شود. OpenAI ضمن ابراز همدردی با خانواده رین اعلام کرده هدفش رسیدگی شفاف و محترمانه به پرونده‌های مرتبط با سلامت روان است و این موضوع را جدا از پیگیری‌های حقوقی دنبال خواهد کرد. این شرکت یادآوری کرده که ChatGPT به‌طور پیش‌فرض برای تشخیص نشانه‌های ناراحتی روانی، کاهش تنش و هدایت کاربر به منابع حمایتی واقعی آموزش داده شده است.

با این حال، خود OpenAI پیش‌تر اعتراف کرده بود که در گفتگوهای بسیار طولانی ممکن است برخی لایه‌های ایمنی عملکرد ضعیف‌تری داشته باشند. این شرکت در گزارشی که تابستان منتشر کرد توضیح داد که گاهی پس از ده‌ها پیام، مدل ممکن است از الگوهای ایمن اولیه منحرف شود؛ برای مثال ابتدا شماره خطوط کمک‌رسانی را ارائه دهد اما در ادامه پاسخ‌هایی خارج از چارچوب ایمنی بدهد. OpenAI گفته در حال تقویت این بخش از ایمنی مدل است. در نهایت، این پرونده نه‌تنها پرسش‌های مهمی درباره مسئولیت‌پذیری هوش مصنوعی ایجاد کرده، بلکه نشان می‌دهد مدل‌های زبانی در مکالمات حساس همچنان نیازمند نظارت، شفافیت و بهبودهای جدی هستند. هرچند OpenAI مسئولیت مستقیم را رد می‌کند، اما این حادثه بحث‌های عمیقی درباره طراحی امن‌تر چت‌بات‌ها به جریان انداخته است.

منبع خبر: theguardian