به گزارش ایتنا به نقل از Techcrunch، بر اساس گزارش منتشرشده در یک پست وبلاگی، این اتفاق بار دیگر نگرانیها درباره توانایی مدلهای هوش مصنوعی در دور زدن محدودیتهای امنیتی و خروج از محیطهای کنترلشده را افزایش داده است؛ بهویژه در شرایطی که شرکتهای مختلف از مدلهای هوش مصنوعی برای انجام آزمایشهای مرتبط با هک و امنیت سایبری استفاده میکنند.
Kimi چگونه از محیط آزمایش خارج شد؟
محققان شرکت امنیت سایبری Frontier Security که روی امنیت هوش مصنوعی تمرکز دارد، میگویند مشکل اصلی به نحوه پیکربندی محیط آزمایش مربوط بوده است.
این محیط ایزوله یا «Sandbox» بهگونهای طراحی شده بود که دسترسی مدل هوش مصنوعی به بخش مشخصی از ترافیک وب را محدود کند. با این حال، Kimi K3 توانست با استفاده از ابزارهای خط فرمان، این محدودیت را دور بزند و از محیط تعیینشده خارج شود.
به گفته محققان، این حادثه نشان میدهد برخی از روشهای مورد استفاده برای ارزیابی تواناییهای سایبری مدلهای هوش مصنوعی ممکن است خود دارای نقاط ضعف امنیتی باشند. در چنین شرایطی، مدل به جای آنکه صرفاً در چارچوب آزمایش تعیینشده عمل کند، میتواند از ضعفهای موجود در محیط برای دور زدن قوانین ارزیابی استفاده کند.
محققان Frontier Security در گزارش خود هشدار دادهاند که برخی ارزیابیهای امنیت سایبری مورد استفاده در صنعت ممکن است در برابر چنین رفتارهایی آسیبپذیر باشند و به مدلها امکان «تقلب» در فرآیند ارزیابی را بدهند. آنها همچنین تأکید کردهاند که برخی مدلهای هوش مصنوعی نهتنها قادر به شناسایی نقاط ضعف هستند، بلکه ممکن است بهصورت هدفمند در جستوجوی آسیبپذیریهایی باشند که امکان دور زدن محدودیتهای آزمایش را برای آنها فراهم میکند.
Kimi به فهرست مدلهای فراری پیوست
اتفاق مربوط به Kimi K3 در شرایطی رخ داده است که طی هفتههای اخیر، نمونههای مشابهی در آزمایش مدلهای هوش مصنوعی شرکتهای مختلف گزارش شده است.
مدلهای توسعهیافته توسط اوپن ایآی، آنتروپیک و متا و همچنین مؤسسه امنیت هوش مصنوعی بریتانیا، در جریان برخی آزمایشها به روشهای متفاوت توانستهاند از محیطهای کنترلشده خارج شوند و در مواردی به سمت اهداف واقعی حرکت کنند؛ اهدافی که قرار نبود بخشی از آزمایش باشند.
تکرار این حوادث به اندازهای افزایش یافته است که وبسایتی با عنوان Felony Bench نیز برای ثبت و ردیابی نمونههای مربوط به خروج مدلهای هوش مصنوعی از محیطهای آزمایشی ایجاد شده است. نام این پروژه بهصورت طنزآمیز به احتمال ارتکاب رفتارهای مجرمانه توسط مدلهای هوش مصنوعی، دستکم در سطح نظری، اشاره دارد.
بر اساس آمار Felony Bench، با ثبت این حادثه، Moonshot نیز به فهرست شرکتهایی میپیوندد که مدلهای هوش مصنوعی آنها در جریان آزمایشهای امنیتی از محیط تعیینشده خارج شدهاند. OpenAI و Anthropic هرکدام تاکنون هفت حادثه ثبتشده دارند و Meta نیز یک مورد در این فهرست به ثبت رسانده است.
ضعف محیط آزمایش؛ چالش جدید امنیت هوش مصنوعی
حادثه Kimi K3 اهمیت طراحی دقیق محیطهای آزمایشی برای مدلهای هوش مصنوعی را بیش از پیش نشان میدهد. هرچه مدلها در انجام وظایف پیچیده، استفاده از ابزارهای مختلف و شناسایی آسیبپذیریهای امنیتی توانمندتر میشوند، ایجاد محیطی که واقعاً بتواند فعالیت آنها را محدود و کنترل کند نیز دشوارتر خواهد شد.
این موضوع میتواند برای توسعهدهندگان مدلهای هوش مصنوعی یک چالش جدی باشد؛ زیرا اگر محیط آزمایش بهدرستی ایزوله نشده باشد، نتایج ارزیابی ممکن است توانایی واقعی مدل را بهدرستی نشان ندهد و حتی به مدل امکان دهد محدودیتهای تعریفشده را دور بزند.