OpenAI قابلیت‌های صوتی و تصویری مکالمه‌ای جدیدی را برای ChatGPT برای تعاملات بصری‌تر معرفی می‌کند.

کاربران اکنون می‌توانند با چت ربات هوش مصنوعی صحبت کنند و با نشان دادن عکس مربوط به سؤال خود پاسخ‌های بهینه‌تری از ChatGPT  بگیرند. OpenAI از تغییرات اساسی در ChatGPT پرده برداری کرده است و قابلیت‌های صوتی و تصویری جدیدی را ارائه کرده است که به چت ربات هوش مصنوعی اجازه می‌دهد به طور مؤثر ببیند، بشنود و صحبت کند. شرکت تحت حمایت مایکروسافت گفت که قابلیت‌های جدید، نوع رابط بصری‌تری را ارائه می‌دهند. ChatGPT با قابلیت‌های جدید به کاربران اجازه می‌دهد تا در صورت تمایل به دریافت اطلاعات بیشتر و دقیق‌تر تصویری مربوط به سؤال خود را به چت بات ارائه دهند. حتی می‌توانند روی بخشی مهمی از تصویر که سؤال به آن مربوط می‌شود تأکید کنند. کاربر می‌تواند به سادگی با ارائه عکس از سؤال خود به چت بات، پاسخ مورد نظر خود را دریافت کند. برای مثال زمانی که در تکالیف ریاضی به کمک نیاز دارید به راحتی می‌توانید با عکس گرفتن از سؤال و خط کشیدن دور قسمت مورد نظر از ChatGPT بخواهید که به آن پاسخ دهد. کاربران ChatGPT همچنین اکنون می‌توانند با استفاده از صدای خود با ربات چت تعامل برقرار کنند. ایده‌های دستور غذا دریافت کنید یا با استفاده از صدای خودشان به عنوان ورودی، یک داستان قبل از خواب بشنوند. گزینه‌های صوتی و تصویری ذکر شده در دو هفته آینده برای کاربران ChatGPT Plus و Enterprise ارائه می‌شوند. قابلیت Voice هم در iOS و Android عرضه می‌شود و قابلیت‌های کار با تصویر به همه پلتفرم‌ها می‌آید.OpenAI  گفت که امکان دسترسی به گزینه‌های صوتی و تصویری را به زودی پس از انتشار در اختیار توسعه‌دهندگان قرار می‌دهد، اگرچه هیچ بازه زمانی خاصی را مشخص نکرده است.

درک تصاویر:

عملکرد تصویر جدید ChatGPT توسط تکرارهای چندوجهی مدل‌های GPT-3.5 و GPT-4 آن ارائه می‌شود. برای استفاده از گزینه تصویر، یک یا چند تصویر را آپلود کرده و توضیحاتی مورد نیاز را به صورت متنی به چت بات می‌دهیم. برای تمرکز بر روی یک بخش خاص از تصویر، کاربران تلفن همراه ChatGPT می‌توانند با استفاده از ابزار ترسیم که در اختیار دارند دور آن را خط بکشند. OpenAI گفت: مانند سایر ویژگی‌های ChatGPT، قدرت ویژن یا بصری  ChatGPT به شما در زندگی روزمره‌تان کمک می‌کند و وقتی می‌تواند آنچه را که شما می‌بینید ببیند، بهتر می‌تواند به شما کمک کند.

از صدای خود استفاده کنید:

عملکرد صوتی جدید به کاربران اجازه می‌دهد تا با ChatGPT مکالمه داشته باشند که یک سطح بالاتر از قابلیت‌هایی است که در حال حاضر توسط دستیاران هوش مصنوعی مصرف کننده مانند سیری، الکسا و گوگل هوم ارائه می‌شود. یک مدل جدید تبدیل متن به گفتار بدون نام خاصی، قابلیت صدا را در ChatGPT تقویت می‌کند که می‌تواند صدای انسان‌مانند را فقط از متن و چند ثانیه نمونه گفتار کاربر تولید کند. OpenAI گفت که نمونه‌هایی از صدای صداپیشگان حرفه‌ای را برای ایجاد هر یک از صداها به کار گرفته است. همچنین از مدل تشخیص گفتار Whisper OpenAI برای تبدیل گفتار به متن استفاده شده است. کاربران باید به تنظیمات حساب ChatGPT خود بروند و در زیر «برگه ویژگی‌های جدید» وارد مکالمات صوتی شوند. کاربران همچنین می‌توانند صدای دلخواه خود را از بین پنج صدای مختلف انتخاب کنند.OpenAI  فاش کرد که با غول استریم Spotify روی ویژگی چت صوتی خود کار می‌کند. Spotify از فناوری خود برای تقویت ترجمه خودکار محتوای پادکست استفاده می‌کند.

آیا استفاده از گزینه‌های صوتی و تصویری جدید ChatGPT ایمن است؟

OpenAI گفت اقداماتی را برای محدود کردن خطرات امنیتی انجام داده است، از جمله همکاری با اشخاص ثالث برای درک موارد استفاده و محدودیت‌ها، محدودیت‌های فنی در تجزیه و تحلیل افراد در تصاویر، شفافیت در مورد محدودیت‌های مدل و توصیه در مورد موارد استفاده پرخطر. OpenAI گفت که در حال آزمایش قابلیت‌های تصویری خود با گروهی از تیم‌هایی است که آن را در معرض خطرات مختلفی مانند افراط‌گرایی و عدم دقت علمی مورد آزمایش قرار می‌دهند. قبلاً آزمایش آلفا انجام شده است که مرحله اولیه و آزمایش داخلی یک محصول قبل از آزمایش بتا توسط گروه منتخبی از کاربران هدف است. علاوه بر این، OpenAI گفت که عملکردهای جدید از اقدامات فنی، برای محدود کردن توانایی ChatGPT برای تجزیه و تحلیل و اظهارنظر مستقیم در مورد افراد خاص استفاده می‌کند، زیرا ربات چت "همیشه دقیق نیست" و همچنین باید به حریم خصوصی افراد احترام بگذارد.OpenAI  همچنین اذعان کرد که ChatGPT «با برخی از زبان‌های دیگر، به‌ویژه زبان‌هایی با خط غیر رومی، ضعیف عمل می‌کند». این شرکت گفت: "ما به کاربران غیر انگلیسی خود توصیه می‌کنیم که از ChatGPT برای این منظور استفاده نکنند."