محققان MIT و همکارانشان کشف کرده‌اند که برخلاف باور رایج، آموزش هوش مصنوعی در محیطی متفاوت از محیط واقعی می‌تواند عملکرد بهتری به همراه داشته باشد. به‌طور خاص، آن‌ها دریافتند که آموزش یک عامل هوش مصنوعی در محیطی با نویز کمتر، می‌تواند موجب بهبود عملکرد آن در محیط‌های پرنویز شود. این پدیده که "اثر آموزش در محیط داخلی" نام گرفته، نشان می‌دهد که تطابق کامل بین محیط آموزش و محیط اجرا همیشه بهترین نتیجه را به همراه ندارد.

چالش‌های آموزش و روش تحقیق

در یادگیری تقویتی، هوش مصنوعی با آزمایش و خطا یاد می‌گیرد که چگونه با انجام اقدامات خاص، بیشترین پاداش را کسب کند. با این حال، وقتی یک عامل آموزش‌دیده در محیطی متفاوت آزمایش می‌شود، عملکرد آن اغلب کاهش می‌یابد. برای بررسی این مسئله، محققان یک روش جدید برای افزودن نویز به تابع گذار (Transition Function) ایجاد کردند. این تابع احتمال تغییر وضعیت عامل را بر اساس اقداماتش تعیین می‌کند. برای مثال، در بازی Pac-Man، تابع گذار احتمال حرکت اشباح را به جهات مختلف مشخص می‌کند. در روش معمول، این تابع در طول آموزش و آزمایش ثابت می‌ماند. اما محققان با افزودن نویز به این تابع، سناریوهای متفاوتی را آزمایش کردند.

نتایج غیرمنتظره

محققان ابتدا انتظار داشتند که تطبیق هرچه بیشتر محیط آموزش با محیط اجرا، بهترین عملکرد را به همراه داشته باشد. اما نتایج نشان دادند که عاملی که در محیطی بدون نویز آموزش دیده بود، هنگام آزمایش در محیط پرنویز عملکرد بهتری داشت، در مقایسه با عاملی که از ابتدا در محیط پرنویز آموزش دیده بود.

بررسی‌های عمیق‌تر و توضیحات

محققان دریافتند که این اثر به نحوه کاوش (Exploration) عامل در فضای یادگیری مربوط است.
•    اگر الگوهای کاوش دو عامل مشابه باشند، آموزش در محیط کم‌نویز بهتر است، زیرا عامل بدون مواجهه با نویز، قوانین محیط را راحت‌تر یاد می‌گیرد.
•    اگر الگوهای کاوش متفاوت باشند، آموزش در محیط پرنویز می‌تواند مفیدتر باشد، زیرا عامل به کشف الگوهایی نیاز دارد که در محیط کم‌نویز یاد نمی‌گیرد.

پیامدها و تحقیقات آینده

این مطالعه نشان می‌دهد که برای بهبود عملکرد هوش مصنوعی در محیط‌های نامطمئن، لازم نیست محیط آموزش دقیقاً مشابه محیط واقعی باشد. در عوض، طراحی محیط‌های آموزشی که از "اثر آموزش در محیط داخلی" بهره ببرند، می‌تواند به توسعه الگوریتم‌های یادگیری تقویتی پیشرفته‌تر کمک کند. این یافته‌ها در کنفرانس پیشرفت هوش مصنوعی (AAAI) ارائه خواهند شد و ممکن است به بهبود روش‌های آموزش در زمینه‌های دیگر مانند بینایی کامپیوتر و پردازش زبان طبیعی منجر شوند.

منبع خبر: news.mit