
• مایکروسافت ابزار تست امنیت داخلی خود را برای تست مدلهای هوش مصنوعی به صورت رایگان ارائه میدهد.
مایکروسافت ابزار داخلی خود را برای شناسایی آسیبپذیریهای امنیتی در مدلهای هوش مصنوعی را در اختیار عموم قرار میدهد. این آزمایشگر که PyRIT نامیده میشود، میتواند برای ارزیابی نقاط ضعف امنیتی مدل زبان هوش مصنوعی، برای جلوگیری از مسائلی مثل توهم و تولید محتوای ممنوعه استفاده شود. همچنین میتواند راههای بالقوه و مخرب استفاده از مدل را شناسایی کند، مانند تولید بدافزار و ارائه راه کار برای فرار از زندان و همچنین آسیبهای احتمالی به حریم خصوصی مانند سرقت هویت. این ابزار با ارسال پیامهای مخرب به مدل و به محض دریافت پاسخ از نظر امنیتی به مدل نمره میدهد و سپس اعلان متناسب با آن را برای کاربر ارسال میکند. مایکروسافت از PyRIT برای آزمایش سیستمهای دستیار هوش مصنوعی Copilot خود استفاده کرد و چندین هزار پیام مخرب برای ارزیابی توانایی مدل خود در مقابله با ورودیهای آسیب زا ایجاد کرد. فرایند آزمایش در عرض چند ساعت به پایان رسید. در حالی که به طور معمول این آزمایش هفتهها طول میکشد.PyRIT که از طریق GitHub در دسترس است، میتواند برای یافتن نقاط ضعف در برنامههای تجاری تحت مجوز MIT استفاده شود. به این معنی که استفاده، بازنگری و توزیع رایگان است. این جعبه ابزار شامل فهرستی از دموها و سناریوهای رایج برای استفاده است، مانند نحوه استفاده از PyRIT برای بررسی آسیب پذیری خاص یک مدل.
تست خسته کننده مدلهای هوش مصنوعی را خودکار کنید:
PyRIT فرایند تست مدل هوش مصنوعی را برای شما انجام میدهد؛ اما برای ارزیابیهای دستی طراحی نشده است، بلکه صرفاً تمام بخشهای فرایند تست و ارزیابی را به صورت خودکار انجام میدهد. هدف PyRIT این است که به توسعه دهندگان یک دید کلی و پایه از عملکرد مدل و استنتاج آن ارائه دهد تا بتوانند از آن برای مقایسه با آینده مدل استفاده کنند. مایکروسافت گفت PyRIT را با هدف توانمندسازی متخصصان امنیتی و مهندسین یادگیری ماشین برای یافتن خطرات در سیستمهای هوش مصنوعی مولد به صورت رایگان در دسترس قرار داده است. در صفحه گیت هاب PyRITآمده است که این ابزار به متخصصین حوزه مدلهای هوش مصنوعی اجازه میدهد تا دادههای تجربی در مورد عملکرد مدلشان را ارزیابی کنند و هرگونه مشکل در عملکرد و امنیت مدل را بر اساس پیشرفتهای آینده تشخیص دهند. مایکروسافت قبلاً دسترسی به ابزار تست Counterfit خود را ممکن کرده بود؛ اما بعداً متوجه شد که با سیستمهای هوش مصنوعی مولد مشکل دارد. با این حال، Counterfit هنوز برای ارزیابی عملکرد سیستمهای یادگیری ماشین سنتی قابل استفاده است.
پاسخ :