• یک مدل زبان بزرگ دوزبانه جدید ساخته شده بر روی Meta’s Llama 2 می‌تواند زبان هندی را بهتر از مدل‌های OpenAI مدیریت کند.

مدل‌های زبان بزرگ می‌توانند چندین زبان را پشتیبانی کنند؛ اما تا حد زیادی بر روی محتوای انگلیسی آموزش ‌دیده‌اند. مدل زبان بزرگ جدید امیدوار است که علاوه بر زبان انگلیسی بتواند از زبان هندی هم به خوبی پشتیبانی کند.OpenHathi-Hi-v0.1  یک مدل زبان بزرگ از Sarvam AI، یک استارت آپ هندی است که بر روی مدل‌های هوش مصنوعی کار می‌کند. مدل جدید آنها در انجام کارهای مختلف به زبان هندی از GPT 3.5  بهتر عمل می‌کند و در عین حال در زبان انگلیسی هم عملکرد خوبی دارد.OpenHathi-Hi-v0.1  بر روی نسخه هفت میلیارد پارامتری Llama 2، مدل منبع باز محبوب متا ساخته شده است. تیم سروام توکن‌های مدل خود را به 48 هزار توکن گسترش داد که به مدل اجازه می‌دهد طیف وسیع‌تری از زبان‌ها یا واژگان تخصصی را در خود جای دهد. این مدل به زبان‌های هندی، انگلیسی و هندلیش، ترکیبی از هندی و انگلیسی آموزش دیده است. سروام ادعا می‌کند که در حالی که مدل‌های باز مانند لاما و میسترال دسترسی به مدل‌های زبانی بزرگ و پردازش زبان طبیعی را آزاد کرده‌اند، اما در پشتیبانی از زبان هندی محدود هستند. این زبان‌ها زبان‌هایی هستند که بیش از ۸۰۰ میلیون نفر در کشورهایی مانند هند، پاکستان، سریلانکا و بنگلادش به این زبان‌ها صحبت می‌کنند. این استارتاپ هندی چندین مدل را ارزیابی کرد و از آنها خواست جملات ساده انگلیسی را به هندی ترجمه کنند. مدل‌ها در این آزمایش باید می‌توانستند متنی را به زبان دوانگاری خروجی دهند؛ اما مدل‌ها پاسخ‌های نادرستی را ارائه کردند. بر اساس پلتفرم آموزش زبان Babbel، هندی پنجمین زبان پرطرف‌دار در جهان است که حدود 344 میلیون گویشور بومی دارد. تیم سازنده OpenHathi می‌خواهد این مدل نوآوری در هوش مصنوعی به زبان هندی را تشویق کند و امیدوار است که دیگران با ساختن مدل‌های بهتر به نوآوری در آن بپردازند.

آموزش یک مدل هوش مصنوعی برای کار با زبان هندی:

آموزش یک مدل زبان بزرگ برای زبان‌های هندی کمی سخت‌تر از انگلیسی است. سروام مجبور شد یک توکنایزر را صرفاً برای بهبود توانایی مدل در مدیریت زبان هندی ایجاد کند. تیم سروام یک توکنایزر جمله‌ای را بر روی مجموعه بزرگی از متن هندی آموزش داد و آن را با توکنایزر موجود مدل پایه Llama 2 ادغام می‌کرد. این استارت‌آپ باید هندی رومی ‌شده را نیز در نظر می‌گرفت که یک روشی رایج برای نوشتن هندی روی صفحه‌کلید انگلیسی می‌باشد. سروام مجبور شد مدل را طوری آموزش دهد که جملات متناوب به زبان هندی و انگلیسی را جایگزین کند تا مدل را مجبور کند که متن اصلی ورودی را از روی ترجمه آن پیش بینی کند. سروام برای رفع کمبود داده‌های آموزشی موجود، محتوای انگلیسی را به هندی ترجمه و از آن برای آموزش استفاده کرد. این استارت آپ همچنین با I4Bharat، یک آزمایشگاه تحقیقاتی در مؤسسه فناوری هند که منابع زبانی و همچنین معیارهایی را برای ساخت و آزمایش مدل ارائه می‌کرد، همکاری کرد. در نهایت این مدل دوباره برای کارهایی مانند ترجمه، تعدیل محتوا و ساده‌سازی متن تنظیم شد تا قابلیت‌های عملکرد آن بهبود یابد. مدل به دست آمده از GPT-3.5 و GPT-4 در معیار FLoRes-200 برای ترجمه زبان هندی به انگلیسی بهتر عمل کرد، اگرچه همچنان از IndicTrans2 و Google Translate عقب بود.OpenHathi  همچنین در ترجمه هندی رومی شده به انگلیسی در همان آزمون از مدل‌های OpenAI بهتر عمل کرد. ترجمه از و به هندی رومی شده اندکی دقیق‌تر از هندی دوانگاری بود.