ام‌دش‌ها؛ مشکل ساده‌ای که هوش مصنوعی را گیر انداخت

...

در سال‌های اخیر، استفاده بیش از حد از ام‌دش (—) به یکی از نشانه‌های تشخیص متن تولیدشده توسط هوش مصنوعی تبدیل شده است. بسیاری از کاربران معتقدند که ChatGPT و سایر مدل‌های زبانی این علامت نگارشی را بیش از اندازه به‌کار می‌برند و همین مسئله باعث شده تشخیص متن انسانی از متن هوش مصنوعی آسان‌تر شود. اما حالا اتفاق جدیدی رخ داده است: سام آلتمن، مدیرعامل OpenAI، اعلام کرده که ChatGPT در نسخه جدید GPT-5.1 بالاخره می‌تواند در صورت درخواست، از ام‌دش استفاده نکند. او در یک پست در شبکه X نوشت که ChatGPT اکنون به‌درستی از دستورهای کاربر برای حذف ام‌دش پیروی می‌کند. با این حال، این خبر واکنش‌های متفاوتی برانگیخت. بسیاری پرسیدند اگر کنترل چیزی ساده مثل یک علامت نگارشی تا امروز ممکن نبود، پس چگونه می‌توان ادعا کرد که صنعت هوش مصنوعی به سمت هوش عمومی مصنوعی (AGI) پیش می‌رود؟

چرا ام‌دش‌ها برای هوش مصنوعی مهم شدند؟

ام‌دش بر خلاف خط تیره کوتاه، یک نویسه بلند و مستقل است که برای جداسازی جمله‌ها، توضیح بیشتر یا تغییر ناگهانی در ساختار جمله استفاده می‌شود. حتی قبل از ظهور هوش مصنوعی، برخی نویسندگان به‌کارگیری بیش از حد آن را نشانه ضعف در ساختاردهی جمله‌ها می‌دانستند. با این حال، Reddit، فروم‌ها و مقالات مختلف نشان می‌دهد که بسیاری از نویسندگان انسانی نیز از این علامت به‌شدت استفاده می‌کنند.

اما مدل‌های زبانی مانند ChatGPT به‌شکل افراطی از آن بهره می‌برند. چرا؟
محتمل‌ترین علت این است که مدل‌ها از روی میانگین سبک نوشتاری داده‌های آموزشی عمل می‌کنند، و در بسیاری از متن‌های رسمی، روزنامه‌ای و تحلیلی، ام‌دش رایج است. همچنین، در برخی ارزیابی‌های انسانی (RLHF)، احتمالاً پاسخ‌هایی که ام‌دش بیشتری داشتند امتیاز بهتری گرفتند، زیرا “رسمی‌تر” یا “روان‌تر” به‌نظر می‌رسیدند.

حل شدن مشکل ام‌دش؛ پیروزی کوچک یا نشانه یک بحران بزرگ؟

موفقیت ChatGPT در پرهیز از ام‌دش ناشی از تقویت ویژگی Custom Instructions است. این ویژگی به کاربران اجازه می‌دهد دستورهای دائمی تعیین کنند، مانند «از ام‌دش استفاده نکن».
اما مشکل اینجاست:

 

مشکل ام دش در ChatGPT

 

LLMها قوانین را مثل کامپیوترهای سنتی دنبال نمی‌کنند.

در رایانه معمولی اگر بنویسید «این کاراکتر را تولید نکن»، خروجی هرگز شامل آن کاراکتر نخواهد بود. اما در مدل‌های زبانی، تمام پاسخ‌ها بر اساس احتمال‌های آماری تولید می‌شود. وقتی کاربر می‌گوید «از ام‌دش استفاده نکن»، این فرمان فقط احتمال تولید ام‌دش را کاهش می‌دهد؛ اما به‌طور کامل آن را صفر نمی‌کند. در واقع، «دستورپذیری» یک مدل زبانی تنها به معنای تغییر وزن احتمال انتخاب توکن‌ها است، نه اجرای یک قانون قطعی.

به همین دلیل است که:
• همه کاربران نتیجه مشابه نمی‌گیرند،
• بسیاری گزارش داده‌اند که ChatGPT هنوز در برخی مکالمات از ام‌دش استفاده می‌کند،
• و رفتار مدل ممکن است با هر به‌روزرسانی OpenAI دوباره تغییر کند.

این مسئله نشان می‌دهد که حتی کنترل دقیق و ساده‌ای مانند مدیریت یک علامت نگارشی هنوز برای LLMها چالش‌برانگیز است.

مشکل اصلی: کنترل‌پذیری در مدل‌های زبانی

دلیل سخت بودن کنترل مدل‌ها این است که شبکه‌های عصبی بزرگ با میلیون‌ها وزن داخلی کار می‌کنند و رفتار آن‌ها نتیجه تعامل پیچیده همین وزن‌ها است. وقتی OpenAI برای کاهش ام‌دش مدل را تنظیم می‌کند، ممکن است روی رفتارهای دیگر آن تأثیر بگذارد. این همان چیزی است که پژوهشگران آن را alignment tax می‌نامند:

اصلاح یک رفتار، گاهی رفتارهای دیگر را به‌هم می‌ریزد. به‌عبارت دیگر، مدل‌های زبانی هنوز قابل برنامه‌ریزی دقیق نیستند؛ بلکه مانند موجوداتی آماری عمل می‌کنند که با احتمال‌ها هدایت می‌شوند.

 

مشکل ام دش در ChatGPT

 

این موضوع درباره فاصله واقعی تا AGI چه می‌گوید؟

اگر کنترل یک نشانه نگارشی این‌قدر دشوار باشد، طبیعی است که بسیاری به توانایی LLMها در رسیدن به هوش عمومی مصنوعی تردید کنند.

AGI به معنای سیستمی است که:

• فهم واقعی دارد،
• یکپارچه تصمیم می‌گیرد،
• و قوانین را همان‌طور که می‌فهمد دنبال می‌کند.

اما مدل‌های زبانی فعلی تنها پیش‌بینی‌کننده‌های آماری متن هستند و حتی ساده‌ترین دستورها را با احتمال اجرا می‌کنند، نه با قطعیت. در نتیجه، این خبر که ChatGPT بهتر می‌تواند ام‌دش را حذف کند، در اصل نشان می‌دهد که مدل تا چه حد غیرقابل‌پیش‌بینی است و کنترل دقیق آن هنوز یک چالش اساسی محسوب می‌شود.

واکنش کاربران: مشکل هنوز کاملاً حل نشده

برخی کاربران گزارش داده‌اند که وقتی در داخل چت دستور می‌دهند «ام‌دش استفاده نکن»، مدل حتی این دستور را با سیستم Memory اشتباه گرفته و به‌صورت دائمی ذخیره کرده است. این رفتار غیرمنتظره نشان می‌دهد که مدل همچنان در تفسیر دستورها دچار خطاست.

منبع خبر: arstechnica

نظرات 0

wave

ارسال نظر

wave
برای ثبت نظر ابتدا وارد حساب کاربری خود شوید. ورود | ثبت نام

در آرتیجنس دنبال چی میگردی؟