با کلاسترهای GPU برای آموزش Llama 3 آشنا شوید

...

• متا از دو خوشه گرافیکی جدید پرده برداری کرد که به آموزش مدل هوش مصنوعی آن کمک می‌کند.
• خوشه‌های جدید گرافیکی، علاوه بر پروژه‌های دیگر، Llama 3 را هم آموزش می‌دهند که نسخه بعدی از مدل‌های منبع باز متا است.

متا جدیداً جزئیات دقیق‌تری از زیرساخت هوش مصنوعی خود را به اشتراک گذاشته و از خوشه‌های GPU جدیدی که برای پشتیبانی از آموزش مدل‌های نسل بعدی از جمله Llama 3 استفاده می‌کند، رونمایی کرده است. متا در یک پست وبلاگ اطلاعاتی در مورد دو خوشه جدید در مقیاس مرکز داده ارائه کرد. خوشه‌های جدید برای پشتیبانی از مدل‌های بزرگ‌تر و پیچیده‌تر از قبل طراحی شده‌اند. هر خوشه شامل 24576 پردازنده گرافیکی Nvidia H100 است. پیش از این، کلاسترهای اصلی متا حاوی حدود 16000 پردازنده گرافیکی Nvidia A100 بودند. تحقیقات Omdia که در سال 2023 منتشر شد، متا را به عنوان یکی از بزرگترین مشتریان انویدیا معرفی کرد که هزاران دستگاه H100 پرچمدار آن را خریداری کرده است. متا از این سخت‌افزار برای آموزش سیستم‌های هوش مصنوعی فعلی و آینده خود استفاده خواهد کرد. این شرکت مجدداً در پست وبلاگ خود به Llama 3، جانشین مدل Llama 2 خود اشاره می‌کند. این شرکت در زمان نگارش این مقاله هیچ اطلاعات مشخصی در مورد Llama 3 منتشر نکرده بود. با این حال، پست وبلاگ اشاره می کند که آموزش Llama 3 در حال انجام است. متا گفت که از زیرساخت جدید خود برای تحقیق و توسعه هوش مصنوعی نیز استفاده خواهد کرد. هدف بلندمدت متا ساخت AGI یا هوش ماشینی پیشرفته است. پست وبلاگ متا بیان می کند که در حال افزایش خوشه های خود برای تقویت جاه طلبی های AGI خود است. متا قصد دارد به ساخت زیرساخت‌های هوش مصنوعی خود ادامه دهد و این شرکت اعلام کرد که تا پایان سال 2024، 350000 پردازنده گرافیکی Nvidia H100 خواهد داشت که همراه با تکنیک‌هایی مانند خوشه‌بندی در مجموعه کلی دارای قدرت محاسباتی نزدیک به 600000 H100 خواهد بود.

نظرات 0

wave

ارسال نظر

wave
برای ثبت نظر ابتدا وارد حساب کاربری خود شوید. ورود | ثبت نام

در آرتیجنس دنبال چی میگردی؟