مدل‌های زبان بزرگ یا همان LLM ها که در ساخت چت‌بات‌هایی مثل ChatGPT از آنها در کنار پردازش زبان طبیعی استفاده می‌شود، میتواند دچار توهم شود. یعنی محتوای نادرستی تولید کنند و به عنوان اطلاعات دقیق ارائه کنند. محققان مؤسسه آکسفورد هشدار می دهند که این توهمات هوش مصنوعی، در کنار سایر خطرات، تهدیدی مستقیم برای علم و حقیقت علمی است. طبق مقاله آنها که در Nature Human Behaviour منتشر شده است، گفته شده: LLMها برای ایجاد پاسخ های مفید و قانع کننده بدون هیچ گونه تضمین اساسی در مورد دقت یا همسویی آنها با واقعیت طراحی شده اند.LLM  ها در حال حاضر به عنوان منابع دانش تلقی می شوند و در پاسخ به سؤالات یا درخواست ها، اطلاعات تولید می کنند. اما داده هایی که آنها بر روی آنها آموزش دیده اند لزوما از نظر واقعی درست نیستند. یکی از دلایل این امر این است که این مدل ها اغلب از منابع آنلاین استفاده می کنند که می تواند حاوی اظهارات، نظرات و اطلاعات نادرست باشد. پروفسور برنت میتلشتات، یکی از نویسندگان مقاله توضیح داد: افرادی که از LLM استفاده می‌کنند، به آن به عنوان یک منبع اطلاعاتی شبیه انسان اعتماد می‌کنند.

این تا حدی به دلیل طراحی مدل های بزرگ زبان به عنوان عوامل مفید و با صدای انسان است که با کاربران گفتگو می کنند و ظاهراً به هر سؤالی با صدایی مطمئن و متنی خوب پاسخ می دهند. نتیجه این امر این است که کاربران به راحتی می توانند متقاعد شوند که پاسخ ها حتی زمانی که هیچ مبنایی در واقعیت ندارند یا فقط جزئی از حقیقت را ارائه می دهند دقیق هستند. وقتی صحبت از علم و آموزش به میان می آید، دقت اطلاعات از اهمیت حیاتی برخوردار است. این بدان معناست که کاربران باید داده‌های مناسب را در اختیار مدل قرار دهند و بخواهند آن را به یک نتیجه یا کد تبدیل کنند. به این ترتیب بررسی اینکه خروجی از نظر واقعی درست است و با ورودی ارائه شده مطابقت دارد آسان تر می شود. به گفته اساتید آکسفورد، LLM بدون شک به گردش کار علمی کمک خواهد کرد. اما برای جامعه بسیار مهم است که از آنها به طور مسئولانه استفاده کند.