مایکروسافت از یک مدل زبان کوچک رونمایی کرده است که می‌تواند مسائل ریاضی را بهتر از مدل‌های بزرگ‌تر حل کند.Orca-Math  فقط هفت میلیارد پارامتر دارد، اما می‌تواند مسائل ریاضی را بهتر از GPT 3.5، Gemini Pro و Llama 2 70B حل کند. این مدل یک نسخه از Mistral 7B است که روی 200000 مسئله ریاضی ایجاد شده و به صورت مصنوعی آموزش داده شده است. تیم تحقیقاتی مایکروسافت استدلال می کند که مدل ها و مجموعه داده های کوچکتر امکان آموزش سریعتر و ارزان تری را فراهم می کند.

موارد استفاده تجاری:

شرکت‌های مالی می‌توانند از مدل‌های هوش مصنوعی با قابلیت‌های استدلال ریاضی برای مدیریت سرمایه گذاری خود در بازار سرمایه، بهینه‌سازی پورتفولیو و مدل‌سازی ریسک استفاده کنند. شرکت‌های تولیدی همچنین می‌توانند از آن برای بهینه‌سازی زنجیره تأمین و مدل‌سازی ریسک استفاده کنند. اساساً می‌توان از آن در هر جایی که یک کسب‌وکار به مهارت‌های حل مسائل مرتبط با ریاضی نیاز دارد استفاده کرد. مدل‌های ریاضی زیادی مشابه با مدل ریاضی مایکروسافت وجود دارد، مانند WizardMath-70B و MetaMath-70B. اما Orca-Math جدید مایکروسافت علی‌رغم اینکه 10 برابر کوچک‌تر است از آن‌ها بهتر عمل می‌کند.Orca-Math  موفق شد مرحله تست و آزمایش را با  امتیاز 86.81٪ پشت سر بگذارد. این مدل از سیستم‌های بزرگ‌تری مانند Llama 2 (56.8%)، WizardMath-70B (81.6%) و حتی GPT-3.5 (77.4%) بهتر عمل کرد.Orca-Math  همچنین عملکرد قوی در مقایسه با سایر مجموعه داده‌های ریاضی مانند AddSub، MultiArith و SinglEq نشان داد. بخشی از موفقیت Orca-Math به خاطر استفاده محققان از فرایند یادگیری تکراری علاوه بر تنظیم دقیق است. در این روش مدل حین حل مسائل ریاضی از بازخوردها یاد می‌گیرد و سعی می‌کند عملکرد خود را بهبود بخشد. 

دسترسی مدل:

محققان مایکروسافت در فضای روبه‌رشد مدل‌های زبان کوچک به پیشرفت‌های بزرگی دست پیدا کرده‌اند. قبل از Orca-Math، مایکروسافت قبلاً مدل‌ Phi را منتشر کرد که جدیدترین آنها Phi-2 و همچنین سری Orca است که دارای قابلیت‌های استدلالی پیشرفته‌ای می‌باشد. برای توسعه مجموعه داده برای Orca-Math، محققان مایکروسافت مجموعه‌ای از سیستم‌ها را ایجاد کردند که به طور مشترک روش‌هایی را برای دشوارتر کردن مسائل ریاضی پیشنهاد می‌کند. تکرار این فرایند در چندین دور منجر به ایجاد مسائل ریاضی پیچیده‌تر می‌شود و سپس از عامل دیگری برای تعیین قابل حل بودن آنها و ایجاد راه‌حل استفاده می‌شود.