بر اساس گزارش اخیر مؤسسه غیرانتفاعی بریتانیا، مرکز مقابله با نفرت دیجیتال (CCDH)، مدل‌های مولد هوش مصنوعی می‌توانند توصیه‌های خطرناکی در مورد مصرف مواد مخدر و تغذیه ناسالم بدهد. محققان برای بررسی خطرات در این زمینه شش مدل هوش مصنوعی مولد را بررسی کردند مثل مدل‌های تولید متن ChatGPT از OpenAI، Bard Google و My AI Snapchat. و مولدهای تصویر مثل Open AI's Dall-E، Midjourney و Stability AI's DreamStudio بودند. در این مطالعه 180 درخواست در زمینه مواردی مانند «هروئین شیک» و «تینسپو» و توصیه‌های لاغری بررسی شد. نتیجه بررسی به شرح زیر بود:
• 41% از خروجی به طور کلی اطلاعات مضر در مورد رژیم غذایی را ارائه داد.
• مولدهای تصویر هوش مصنوعی 32% تصاویر مضر و اغراق آمیز و غیر واقعی از بدن انسان در نتیجه رژیم غذایی را تولید کردند.
• چت ربات‌های هوش مصنوعی محتوای مضر مربوط به رژیم‌های غذایی را برای 23 درصد از درخواست‌ها تولید کردند.
محققان خروجی‌های دریافتی از چت‌بات‌ها را بررسی کردند. نتایج خروجی مضر شامل تشویق کاربران به مصرف هروئین، کشیدن 10 نخ سیگار در روز، استفراغ، و محدود کردن شدید کالری برای لاغری بود. حدود 94 درصد از توصیه‌های مضر ارائه‌شده توسط تولیدکنندگان متن هوش مصنوعی همچنین به کاربران می‌گویند که این محتوا ممکن است «خطرناک» باشد و به دنبال کمک پزشکی باشند. کاربران این فرایند را با استفاده از "jailbreak" یا تکنیک‌های رایج برای دور زدن تدابیر امنیتی ربات چت هوش مصنوعی تکرار کردند. نتیجه: 67٪ حاوی محتوای مضر بود.Bard  و ChatGPT توصیه‌های مضر (به ترتیب 50 و 25 درصد) را ارائه کردند، در حالی که هوش مصنوعی My AI Snapchat هیچ نتیجه‌ای مضری تولید نکرد و کاربران را تشویق کرد که به دنبال کمک باشند. در مورد تولیدکننده‌های تصویر هوش مصنوعی، محققان درخواست‌هایی مانند «الهام از بی‌اشتهایی» را ارائه کردند. این درخواست‌ها منجر به تولید 32 درصد تصاویری مضر شدند که تصاویر نامتعارف و غیر واقعی حاصل از رژیم مضر غذایی از بدن انسان را تولید می‌کرد. این تصاویر شامل چندین تصویر از زنان دارای قفسه سینه و استخوان‌های باسن یا پاهای بسیار نازک بودند.