Meta مدل هوش مصنوعی Llama 3.1 405B خود را معرفی کرد که با 405 میلیارد پارامتر، بزرگترین مدل AI متن باز در تاریخ شد. این مدل جدید در آوریل عرضه شده و برای موارد استفاده مانند مکالمه‌ چند زبانه و خلاصه‌سازی متون بلند طراحی شده است. API جدید آن نیز به کاربران اجازه می‌دهد این مدل را به سادگی پیاده‌سازی کنند. مارک زاکربرگ، مدیر عامل Meta، اظهار داشت که انتشار Llama 3.1 نقطه عطفی در این صنعت خواهد بود که بسیاری از توسعه‌دهندگان به استفاده از مدل‌های متن باز روی خواهند آورد. مدل Llama 3.1 با 405 میلیارد پارامتر، بسیار بزرگتر از مدل قبلی Llama با 70 میلیارد پارامتر است و حتی از GPT-3 با 175 میلیارد پارامتر نیز بزرگتر است. هرچند اندازه GPT-4 توسط OpenAI اعلام نشده، اما تخمین‌ها حاکی از آن است که ممکن است به تریلیون‌ها پارامتر برسد.

مدل Llama 3.1 بر روی بیش از 15 تریلیون توکن آموزش دیده و این فرآیند در طول چندین ماه با استفاده از 16,000 تراشه گرافیکی  H100از Nvidia انجام شده است. این مدل دارای طول متن ورودی 128,000 توکن، معادل 96,241 کلمه است. هرچند این مقدار به اندازه طول متن Gemini 1.5 Pro با 2 میلیون توکن نیست. مدل Llama 3.1 در توانایی‌های استدلالی خود بهبود چشمگیری یافته است. این مدل از معماری استاندارد ترنسفورمر استفاده می‌کند و برای آموزش آن از داده‌های مصنوعی نیز استفاده شده است. در آزمایش‌ها، مدل Llama 3.1 405B توانسته در تست‌هایی مانند GSM8K و Nexus از مدل‌های Claude 3.5 و GPT-4o پیشی بگیرد و در تست‌های استاندارد صنعتی مانند HumanEval و MMLU نیز به نتایج قابل توجهی برسد. 

Meta تأکید کرده که این مدل با ایمنی طراحی شده و ارزیابی‌های متعددی برای تضمین ایمنی آن انجام شده است. زاکربرگ بیان کرده که مدل‌های متن باز مانند Llama 3.1 405B ایمن‌تر از سیستم‌های بسته هستند، زیرا شفاف‌تر هستند و می‌توانند به طور گسترده مورد بررسی قرار گیرند. به علاوه، این مدل دارای یک فیلتر جدیدی است که کیفیت پاسخ‌ها را کنترل می‌کند. مدل Llama 3.1 405B به صورت متن باز در دسترس است و می‌توان آن را از پلتفرم‌هایی مانند Hugging Face، GitHub یا مستقیماً از Meta دانلود کرد. همچنین از چندین ارائه‌دهنده خدمات ابری مانند AWS، Nvidia، Microsoft Azure و Google Cloud نیز قابل دسترسی است. با این حال، به دلیل اندازه بزرگ آن، نیاز به سخت‌افزار قابل توجهی دارد که ممکن است دسترسی به آن را محدود کند.

بسیاری از محققان و سازمان‌ها، زیرساخت لازم برای استفاده مؤثر از چنین مدل‌های عظیمی را ندارند و تأثیرات زیست‌محیطی آموزش و اجرای این مدل‌ها نیز نگران کننده است. ویکتور بوتف، یکی از بنیان‌گذاران و مدیر فناوری Iris.ai، اظهار داشت که نوآوری در کارایی مدل‌ها می‌تواند به جامعه AI بیشتر کمک کند تا اینکه صرفاً به مدل‌های بزرگ‌تر روی آوریم. دستیابی به نتایج مشابه یا برتر با مدل‌های کوچک‌تر و قابل‌مدیریت‌تر نه تنها هزینه‌ها و تأثیرات زیست‌محیطی را کاهش می‌دهد، بلکه هوش مصنوعی پیشرفته را برای گروه وسیع‌تری از کاربران و برنامه‌ها قابل دسترس می‌کند.

منبع خبر: https://aibusiness.com/nlp/meta-unveils-largest-open-source-ai-model-in-history