یک مطالعه جدید توسط محققان دانشگاه استنفورد نشان داد که ابزارهای قانونی و قضایی مبتنی بر هوش مصنوعی در هر شش پرس و جو دچار توهم می‌شوند. RegLab  و مؤسسه هوش مصنوعی انسان محور (HAI) استنفورد اثربخشی ابزارهای قانونی مبتنی بر هوش مصنوعی با نام‌های LexisNexis و Thomson Reuters را تجزیه و تحلیل کردند. محققان دریافتند که این ابزارهای هوش مصنوعی علی‌رغم اینکه به عنوان ابزارهای قانونی و حقوقی هوش مصنوعی شناخته می‌شوند، دچار توهم شده و باعث تولید اطلاعات غلط و نادرست می‌شوند. در این گزارش آمده است هدف اصلی از به‌کارگیری هوش مصنوعی در حوزه‌های قانونی و قضایی این است که می‌تواند فرایند زمان‌بر شناسایی منابع قانونی و اطلاعات قضایی مربوطه را ساده کند. اگر ابزار مبتنی بر هوش مصنوعی منابعی و اطلاعات غلط، نادرست و متناقض در این زمینه به کاربر ارائه دهد، ممکن است باعث گمراه شدن و سردرگمی کاربر شده و در دعاوی قضایی آسیب زا باشد. کاربران ممکن است به خروجی ابزارهای هوش مصنوعی قضایی اعتماد کاذب داشته باشند که به طور بالقوه منجر به قضاوت‌ها و نتیجه‌گیری‌های قانونی اشتباه می‌شود.

 از ابزارهای هوش مصنوعی بیش از 200 سوال پرسیده شد که شامل تحقیقات عمومی، سوالات مربوط به حوزه قضایی و سوالاتی است که درک اشتباهی از قانون توسط کاربر را تقلید می کند. همچنین پرسش های ساده ای در مورد حقایق ساده پرسیده شد که نیازی به تفسیر قانونی ندارد. محققان دریافتند که بیش از 17 درصد مواقع یکی از هر 6 پرس و جو از طرف ابزارهای حقوقی هوش مصنوعی LexisNexis و Thomson Reuters پاسخ های توهم زا دریافت میکنند و یا اینکه منابع را به صورت درست معرفی نمیکنند و یا به صورت کامل پاسخ نادرست ارائه میدهند. توهم در ابزارها و مدل های هوش مصنوعی به حالتی گفته میشود که ابزار هوش مصنوعی نتواند پاسخ مناسب و درخوری به سوال ارائه شده بدهد و اغلب باعث ایجاد پاسخ های نادرست و غلت شود.