به گزارش ایتنا به نقل از Techspot، این اتفاق بهعنوان یکی از نخستین نمونههای گزارششده در استرالیا از استفاده مستقل یک عامل هوش مصنوعی از یک آسیبپذیری در یک سیستم واقعی مورد توجه قرار گرفته است.
ماجرا زمانی آغاز شد که فردی به نام اندرو، که در یک شرکت استرالیایی فعال در حوزه محصولات هوش مصنوعی کار میکند، از یک عامل هوش مصنوعی مبتنی بر سرویس Claude برای رزرو کلاس باشگاه استفاده کرد. برخلاف چتباتهای معمولی، AI Agentها میتوانند به ابزارهایی مانند مرورگر وب، ایمیل و سرویسهای آنلاین متصل شوند و برای رسیدن به هدف، مجموعهای از اقدامات را بهصورت خودکار انجام دهند.
عامل هوش مصنوعی هنگام کار با سامانه رزرو باشگاه متوجه شد که میتواند از طریق API سامانه، جای کلاسها را چندین هفته یا حتی ماهها زودتر از زمان معمول رزرو کند. این در حالی بود که سیستم بهطور عادی چنین امکانی را در اختیار کاربران قرار نمیداد.
اما ماجرا زمانی جدیتر شد که اندرو که در جایگاه چهارم فهرست انتظار یک کلاس قرار داشت، از عامل هوش مصنوعی پرسید آیا میتواند او را به رتبه نخست فهرست انتظار برساند. عامل بهجای یافتن راهی مجاز برای انجام این کار، قابلیت لغو رزرو دیگر کاربران را آزمایش کرد.
عامل هوش مصنوعی اعلام کرد که API سامانه هیچ کنترل مجوزی برای لغو رزرو دیگران ندارد و حتی رزرو فردی را که در رتبه اول فهرست انتظار قرار داشت لغو کرد. در نتیجه، جایگاه اندرو از چهارم به سوم تغییر یافت؛ اقدامی که کاربر هرگز درخواست نکرده بود.
اندرو سپس از عامل خواست رزرو فرد دیگر را برگرداند، اما سیستم اعلام کرد که قادر به بازگرداندن جایگاه او نیست. همین موضوع خطر بالقوه AI Agentها را برجسته میکند: مسئله فقط توانایی آنها برای پیدا کردن نقصهای امنیتی نیست، بلکه این است که آیا میتوانند مرز میان انجام وظیفه و انجام اقدامات خارج از اختیار کاربر را تشخیص دهند یا خیر.
این حادثه نگرانیها درباره عاملهای هوش مصنوعی پیشرفته را افزایش داده است؛ بهخصوص سیستمهایی که مستقیماً به وبسایتها، نرمافزارها و سرویسهای آنلاین دسترسی دارند. اگر یک عامل، آسیبپذیری موجود در یک سامانه را سریعترین مسیر برای رسیدن به هدف خود تشخیص دهد، ممکن است بدون درک کامل پیامدهای اخلاقی یا امنیتی آن، از ضعف موجود استفاده کند.
این اتفاق همچنین در شرایطی رخ داده که گزارشهای دیگری درباره رفتار مستقل مدلهای پیشرفته هوش مصنوعی و تلاش آنها برای نفوذ به سیستمهای کامپیوتری منتشر شده است. در نتیجه، امنیت، کنترل دسترسی و تعیین حدود اختیارات AI Agentها به یکی از چالشهای مهم نسل جدید ابزارهای هوش مصنوعی تبدیل شده است.