مدل‌های زبانی کوچک برای حل مسائل استدلالی پیچیده

...

با پیشرفت سریع مدل‌های زبانی در سال‌های اخیر، بسیاری تصور می‌کنند که هوش مصنوعی به‌زودی به سطحی از استدلال شبیه انسان دست خواهد یافت. این مدل‌ها در تولید تصویر، پاسخ به سوالات عمومی و حتی انجام محاسبات ساده عملکرد قابل قبولی دارند، اما وقتی پای وظایف پیچیده با قوانین سخت و محدودیت‌های دقیق به میان می‌آید، ضعف آن‌ها آشکار می‌شود. حل پازل‌هایی مانند سودوکو نمونه‌ای واضح از این مسئله است؛ جایی که مدل‌های زبانی یا نمی‌توانند مسئله را کامل حل کنند یا راه‌حل‌هایی ناکارآمد ارائه می‌دهند، هرچند در توضیح روش حل معمولاً موفق‌تر هستند.

چرا مدل‌های زبانی در استدلال واقعی ضعیف‌اند؟

دلیل اصلی این ضعف به ماهیت استدلال بازمی‌گردد. حل مسائل پیچیده نیازمند بررسی هم‌زمان گزینه‌های متعدد، رعایت محدودیت‌ها و تصمیم‌گیری مرحله‌به‌مرحله است. مدل‌های زبانی کوچک به دلیل ظرفیت محاسباتی محدود قادر به انجام چنین فرایندی نیستند و مدل‌های بزرگ نیز اگرچه توانمندتر هستند، اما هزینه پردازشی بالا، زمان پاسخ‌دهی طولانی و مصرف انرژی زیادی دارند. همین چالش باعث شده است پژوهشگران به دنبال راهکارهایی باشند که بدون تکیه صرف بر مدل‌های بسیار بزرگ، دقت و کارایی را افزایش دهند.

 

مدل های زبانی کوچک

 

معرفی DisCIPL؛ همکاری هوشمندانه بین مدل‌ها

در همین راستا، پژوهشگران آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) چارچوبی نوآورانه به نام DisCIPL معرفی کرده‌اند که مخفف Distributional Constraints by Inference Programming with Language Models است. ایده اصلی DisCIPL بر پایه همکاری میان مدل‌های زبانی شکل گرفته است، به‌طوری که یک مدل بزرگ نقش برنامه‌ریز یا رهبر را ایفا می‌کند و چندین مدل کوچک‌تر به‌عنوان پیرو، اجرای جزئیات را بر عهده می‌گیرند.

در این ساختار، مدل بزرگ ابتدا مسئله را تحلیل کرده و راهبرد کلی حل را طراحی می‌کند. سپس این راهبرد به‌صورت دستورالعمل‌های دقیق به مدل‌های کوچک منتقل می‌شود تا هرکدام بخشی از پاسخ را تولید کنند. در نهایت، مدل بزرگ خروجی‌ها را بررسی می‌کند و در صورت نیاز، آن‌ها را اصلاح یا با گزینه‌های مناسب‌تر جایگزین می‌کند. این رویکرد شباهت زیادی به مدیریت یک پروژه دارد که در آن مدیر پروژه کار را میان اعضای تیم تقسیم کرده و کیفیت نهایی را کنترل می‌کند.

نقش زبان برنامه‌نویسی LLaMPPL در DisCIPL

برای ارتباط مؤثر میان مدل‌ها، DisCIPL از یک زبان برنامه‌نویسی ویژه به نام LLaMPPL استفاده می‌کند که توسط پروژه محاسبات احتمالاتی MIT توسعه یافته است. این زبان به پژوهشگران اجازه می‌دهد تا قوانین و محدودیت‌های دقیق را به‌صورت رسمی و قابل فهم برای مدل‌ها تعریف کنند. برای مثال، دستوراتی مانند نوشتن متنی با تعداد مشخصی کلمه یا قرار گرفتن واژه‌های خاص در موقعیت‌های مشخص، به‌صورت کد در LLaMPPL پیاده‌سازی می‌شود و مدل‌های کوچک موظف به رعایت آن هستند.

عملکرد DisCIPL در مقایسه با GPT-4o و o1

در آزمایش‌ها، پژوهشگران از GPT-4o به‌عنوان مدل برنامه‌ریز و از چندین مدل Llama-3.2-1B به‌عنوان مدل‌های پیرو استفاده کردند. نتایج نشان داد که DisCIPL در انجام وظایف مبتنی بر محدودیت‌های دقیق، عملکردی نزدیک به سیستم‌های پیشرفته استدلالی مانند o1 دارد و در برخی موارد حتی از آن پیشی می‌گیرد. این در حالی است که GPT-4o به‌تنهایی اغلب در رعایت جزئیات دقیق دچار خطا می‌شود و مدل‌های کوچک بدون هدایت، ضعیف‌ترین نتایج را ارائه می‌دهند.

 

مدل های زبانی کوچک

 

سرعت بیشتر و کاهش چشمگیر هزینه‌ها

یکی از مهم‌ترین دستاوردهای DisCIPL کاهش قابل توجه هزینه و زمان استدلال است. در حالی که مدل‌هایی مانند o1 فرایند استدلال را به‌صورت متنی و پرهزینه انجام می‌دهند، DisCIPL از کدنویسی پایتون برای استدلال استفاده می‌کند که فشرده‌تر و کارآمدتر است. بر اساس گزارش پژوهشگران، این روش باعث کاهش ۴۰ درصدی طول فرایند استدلال و صرفه‌جویی بیش از ۸۰ درصدی در هزینه‌ها شده است. استفاده از مدل‌های کوچک که هزاران برابر ارزان‌تر هستند، امکان اجرای موازی و مقیاس‌پذیری بالاتری را نیز فراهم کرده است.

کاربردهای عملی و چشم‌انداز آینده

DisCIPL در وظایف دنیای واقعی مانند تهیه لیست خرید با بودجه مشخص، برنامه‌ریزی سفر، نگارش پروپوزال‌های پژوهشی با محدودیت کلمات و حتی نوشتن تست‌های متنی عملکرد بسیار خوبی از خود نشان داده است. پژوهشگران MIT در آینده قصد دارند این چارچوب را به‌صورت بازگشتی توسعه دهند، آن را به مسائل ریاضی پیچیده‌تر تعمیم دهند و حتی توانایی درک ترجیحات مبهم انسانی را نیز به آن اضافه کنند. این رویکرد می‌تواند گام مهمی در مسیر توسعه هوش مصنوعی دقیق‌تر، کم‌هزینه‌تر و پایدارتر باشد.

منبع خبر: news.mit

نظرات 0

wave

ارسال نظر

wave
برای ثبت نظر ابتدا وارد حساب کاربری خود شوید. ورود | ثبت نام

در آرتیجنس دنبال چی میگردی؟