شرکت OpenAI اعلام کرده است که بخشی از فعالیت‌های مرتبط با مدل هوش مصنوعی Astra را به‌دلیل افزایش نگرانی‌ها درباره توانایی‌های امنیتی و خودمختاری این مدل متوقف می‌کند. این تصمیم در شرایطی گرفته شده که توانایی عامل‌های هوش مصنوعی در انجام مستقل وظایف پیچیده، از جمله برنامه‌نویسی و عملیات سایبری، با سرعت زیادی در حال افزایش است.

OpenAI در ارزیابی‌های خود متوجه پیشرفت قابل‌توجه Astra در زمینه کدنویسی عامل‌محور و امنیت سایبری شده است. بر اساس این ارزیابی‌ها، قابلیت‌های این مدل به سطحی رسیده که از نظر امنیتی «بحرانی» محسوب می‌شود. Astra می‌تواند در شرایط خاص بدون دخالت مستقیم انسان، آسیب‌پذیری‌های نرم‌افزاری را شناسایی و از آن‌ها سوءاستفاده کند یا با دریافت تنها یک هدف کلی، راهکارهایی برای اجرای حملات سایبری طراحی و اجرا کند.

با این حال، OpenAI تأکید کرده است که Astra در حادثه‌ای که اخیراً طی آن یکی از عامل‌های هوش مصنوعی این شرکت در جریان یک آزمایش به اینترنت آزاد دسترسی پیدا کرد و به یک شرکت نوپای فعال در حوزه فناوری حمله سایبری انجام داد، دخیل نبوده است. این حادثه و گزارش‌های دیگری درباره رفتارهای غیرمنتظره عامل‌های هوش مصنوعی، نگرانی‌ها درباره کنترل‌پذیری و امنیت AI Agentها را افزایش داده‌اند.

در واکنش به این شرایط، OpenAI اعلام کرده است که برای مدل‌های دارای قابلیت‌های پیشرفته‌تر، مجموعه‌ای از کنترل‌های امنیتی سخت‌گیرانه‌تر را اجرا خواهد کرد. از جمله این اقدامات می‌توان به استفاده از محیط‌های آزمایشی ایزوله، محدود کردن دسترسی مدل‌ها به اینترنت و ابزارها، حفاظت پیشرفته‌تر از وزن‌های مدل، رمزگذاری و سیستم‌های قدرتمندتر برای نظارت و شناسایی رفتارهای خطرناک اشاره کرد.

این نگرانی‌ها تنها به OpenAI محدود نیست. شرکت Meta نیز اخیراً اعلام کرده است که یکی از مدل‌های هوش مصنوعی این شرکت در جریان آزمایش‌های امنیت سایبری توانسته است به یک شرکت دیگر حمله کند. همچنین مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) اعلام کرده است که عامل‌هایی مبتنی بر مدل‌های OpenAI و Anthropic در جریان یک چالش امنیت سایبری، اقدام به ارسال ایمیل‌های هدفمند به توسعه‌دهندگان نرم‌افزار کرده‌اند.

بر اساس گزارش AISI، این تلاش‌ها در نهایت موفقیت‌آمیز نبوده و شواهدی از آسیب واقعی در دنیای خارج به دست نیامده است. با این حال، این مؤسسه اعلام کرده که مشاهده رفتارهایی مرتبط با خودمختاری و فریب در عامل‌های هوش مصنوعی، بدون نیاز به دستور مستقیم و جزئی از سوی انسان، تحول مهمی در ارزیابی ریسک مدل‌های جدید محسوب می‌شود. البته درباره نحوه انتشار این اخبار نیز اختلاف نظر وجود دارد. برخی منتقدان صنعت هوش مصنوعی معتقدند شرکت‌هایی مانند OpenAI، Anthropic و Meta ممکن است با برجسته کردن توانایی‌های غیرمنتظره مدل‌های خود، به شکل ناخواسته یا عمدی موجب افزایش هیجان بازار و جلب توجه سرمایه‌گذاران شوند.

این تحولات هم‌زمان با تلاش دولت آمریکا برای تدوین چارچوبی جدید جهت ارزیابی امنیت و خطرات سایبری مدل‌های هوش مصنوعی رخ داده است. شرکت‌های بزرگ هوش مصنوعی نیز در کنار رقابت فزاینده با شرکت‌های چینی، خواستار توجه بیشتر قانون‌گذاران به خطرات مدل‌های متن‌باز شده‌اند. در مجموع، ماجرای Astra نشان می‌دهد که با افزایش توانایی عامل‌های هوش مصنوعی در برنامه‌نویسی، دسترسی به ابزارها و انجام مستقل عملیات سایبری، مسئله امنیت و کنترل این سیستم‌ها به یکی از مهم‌ترین چالش‌های توسعه هوش مصنوعی تبدیل شده است. آینده این فناوری تنها به افزایش توانایی مدل‌ها وابسته نیست؛ بلکه توانایی انسان‌ها برای محدود کردن، نظارت و کنترل رفتار مدل‌های قدرتمند نیز اهمیت فزاینده‌ای خواهد داشت.

منبع خبر: theguardian