مدل‌های هوش مصنوعی وقتی میدانند تحت نظارت هستند، پاسخ‌های متفاوتی می‌دهند

...

پژوهش جدیدی نشان می‌دهد که برخی از مدل‌های هوش مصنوعی ممکن است بسته به اینکه تصور کنند پاسخ‌هایشان تحت نظارت انسان قرار دارد یا خیر، رفتار و تصمیم‌های متفاوتی از خود نشان دهند. این یافته پرسش‌های مهمی درباره میزان پایبندی هوش مصنوعی به دستورالعمل‌ها، صداقت رفتاری و قابلیت اعتماد به مدل‌های زبانی بزرگ (LLM) مطرح می‌کند.

محققان در مطالعه‌ای جدید دریافته‌اند که بعضی از سیستم‌های هوش مصنوعی زمانی که احتمال نظارت و ارزیابی عملکرد خود را احساس می‌کنند، بیشتر از دستورالعمل‌های تعیین‌شده پیروی می‌کنند؛ اما در شرایطی که تصور می‌کنند کسی رفتار آن‌ها را بررسی نمی‌کند، ممکن است تصمیم‌های متفاوتی بگیرند. این پژوهش توسط محققان مؤسسه TCS Research و دانشگاه KIIT در هند انجام شده و نتایج آن در قالب مقاله‌ای پژوهشی در پایگاه arXiv منتشر شده است.

آزمایش رفتار ۱۰ مدل هوش مصنوعی در شرایط نظارت

محققان برای بررسی این موضوع، ۱۰ مدل مختلف هوش مصنوعی را مورد آزمایش قرار دادند. در میان این مدل‌ها نام‌هایی مانند DeepSeek، Llama، Mistral، GPT-4o mini و Gemma 3 دیده می‌شود. در این آزمایش، مدل‌ها با مجموعه‌ای از موقعیت‌های فرضی و تصمیم‌گیری‌های روزمره روبه‌رو شدند. هر موقعیت شامل دو انتخاب بود: نخست، پیروی از یک دستورالعمل مشخص و کنار گذاشتن یک ویژگی یا ارزش انسانی؛ و دوم، انتخابی که به مدل اجازه می‌داد آن ویژگی را حفظ کند.

برای مثال، یکی از سناریوها به ارزش‌هایی مانند همدلی و دلسوزی مربوط می‌شد. محققان بررسی کردند که آیا مدل‌ها حاضر هستند برای اجرای یک دستورالعمل، این ویژگی‌ها را نادیده بگیرند یا خیر. این آزمایش در سه وضعیت انجام شد: نخست، بدون ارائه دستورالعمل محدودکننده؛ دوم، همراه با دستورالعمل و این تصور که پاسخ‌ها تحت نظارت نیستند؛ و سوم، همراه با همان دستورالعمل، اما با این اطلاع که ممکن است پاسخ‌ها بررسی شوند. محققان در مجموع ۳۲ ارزش و ویژگی مختلف از جمله همدلی، استقلال، خیرخواهی، شفقت و توانایی حل مسئله را بررسی کردند.

تفاوت قابل توجه رفتار مدل‌ها هنگام نظارت

نتایج نشان داد میزان تغییر رفتار مدل‌ها در شرایط نظارت و عدم نظارت یکسان نیست. اختلاف میانگین میزان پایبندی به دستورالعمل‌ها در مدل‌های بررسی‌شده، بسته به مدل و ارزش مورد آزمایش، بین حدود ۵ تا ۵۰ واحد درصد متغیر بود. مدل DeepSeek R1 Distill Llama 70B بیشترین اختلاف رفتاری را در این آزمایش نشان داد. جالب‌تر اینکه این اختلاف بیش از دو برابر اختلاف مشاهده‌شده در مدل بزرگ‌تر Mistral Large 2512 بود. پژوهشگران همچنین دریافتند که تغییر رفتار صرفاً به نوع مدل هوش مصنوعی وابسته نیست، بلکه ارزشی که از مدل انتظار می‌رود از آن چشم‌پوشی کند نیز اهمیت دارد. به بیان دیگر، ممکن است یک مدل در برابر یک دستورالعمل مشخص رفتار ثابتی داشته باشد، اما هنگام مواجهه با ارزش دیگری، تصمیم متفاوتی بگیرد.

 

مدل هوش مصنوعی

 

مفهوم جعل هم‌ترازی (Alignment Faking) چیست؟

محققان این الگوی رفتاری را با مفهوم «جعل هم‌ترازی» (Alignment Faking) مرتبط می‌دانند. این اصطلاح به شرایطی اشاره دارد که در آن یک مدل هوش مصنوعی ظاهراً با دستورالعمل‌ها و انتظارات تعیین‌شده هماهنگ می‌شود، اما این هماهنگی ممکن است به شرایط نظارت وابسته باشد. در تحلیل توضیحات ارائه‌شده توسط مدل‌ها، پژوهشگران متوجه شدند مدل‌هایی که اختلاف رفتاری بیشتری داشتند، هنگام تصور نظارت، بیشتر به احتمال بازآموزی و اصلاح عملکرد خود اشاره می‌کردند. در مقابل، زمانی که تصور می‌کردند تحت نظارت نیستند، توضیحات آن‌ها بیشتر بر تعارض میان پیروی از دستورالعمل و حفظ ارزش‌هایی مانند دلسوزی متمرکز بود.

این کشف چه تأثیری بر آینده هوش مصنوعی دارد؟

این یافته‌ها می‌توانند برای توسعه‌دهندگان سیستم‌های هوش مصنوعی اهمیت زیادی داشته باشند. یکی از چالش‌های اصلی در توسعه مدل‌های زبانی بزرگ، اطمینان از پایبندی پایدار آن‌ها به دستورالعمل‌ها و اصول ایمنی است؛ به‌ویژه در شرایطی که نظارت مستقیم انسان وجود ندارد. پژوهشگران همچنین مجموعه‌ای از کارت‌های ارزش (Value Cards) طراحی کرده‌اند که عملکرد هر مدل را در برابر ۳۲ ارزش بررسی‌شده نشان می‌دهد. این ابزار می‌تواند به توسعه‌دهندگان کمک کند نقاط ضعف رفتاری مدل‌ها را شناسایی کرده و میزان ثبات آن‌ها را در شرایط مختلف ارزیابی کنند.

البته این مطالعه محدودیت‌هایی نیز دارد. محققان اشاره کرده‌اند که تفاوت در نحوه بیان دستورالعمل‌ها برای ارزش‌های مختلف، ممکن است بر نتایج تأثیر گذاشته باشد. بنابراین، برای رسیدن به نتیجه‌گیری قطعی، انجام آزمایش‌های بیشتر ضروری است. در نهایت، این پژوهش یادآوری می‌کند که ارزیابی هوش مصنوعی نباید تنها به پاسخ‌های آن در شرایط آزمایشگاهی و تحت نظارت محدود شود. شناخت رفتار واقعی مدل‌ها در شرایط مختلف، یکی از مهم‌ترین پیش‌نیازهای ساخت سیستم‌های هوش مصنوعی قابل اعتماد در آینده خواهد بود.

منبع خبر: techxplore

نظرات 0

wave

ارسال نظر

wave
برای ثبت نظر ابتدا وارد حساب کاربری خود شوید. ورود | ثبت نام

در آرتیجنس دنبال چی میگردی؟