به گزارش ایتنا به نقل از Techcrunch، اوپن ایآی روز جمعه در یک پست وبلاگی اعلام کرد که بررسیهای داخلی این شرکت نشان دادهاند Astra در زمینه کدنویسی عاملی و امنیت سایبری پیشرفت قابلتوجهی داشته و ممکن است به سطحی از توانمندی رسیده باشد که خطرات جدیدی برای امنیت سیستمهای دنیای واقعی ایجاد کند.
بر اساس توضیحات OpenAI، Astra در چارچوب «آمادگی» این شرکت که در سال ۲۰۲۳ ایجاد شده، به «آستانه بحرانی امنیت سایبری» رسیده است. این اصطلاح به شرایطی اشاره دارد که یک مدل هوش مصنوعی میتواند بهصورت مستقل آسیبپذیریهای سیستمهای واقعی را شناسایی کرده و حملات سایبری علیه زیرساختهایی را که معمولاً از سطح حفاظت بالایی برخوردارند، طراحی یا اجرا کند.
OpenAI تأکید کرده است که Astra همچنان در مرحله توسعه قرار دارد و ارزیابیهای اولیه هنوز نمیتوانند با قطعیت مشخص کنند که این مدل از سطح توانمندی بحرانی عبور کرده است یا خیر. با این حال، عملکرد مشاهدهشده در آزمایشهای اولیه به اندازهای قابلتوجه بوده که شرکت تصمیم گرفته است اقدامات حفاظتی بیشتری را در روند توسعه آن اعمال کند.
این شرکت در توضیحات خود همچنین اعلام کرده است که Astra در حادثه اخیر مربوط به نفوذ یک مدل آزمایشی به سیستمهای Hugging Face نقشی نداشته است. این موضوع از آن جهت اهمیت دارد که OpenAI در ماههای اخیر با افزایش حساسیتها نسبت به رفتار مدلهای هوش مصنوعی در محیطهای آزمایشی مواجه بوده است.
افزایش نگرانیها درباره کنترل مدلهای هوش مصنوعی
اعلام اخیر OpenAI در شرایطی انجام شده که آزمایشگاههای بزرگ هوش مصنوعی بیش از گذشته با مسئله کنترل رفتار مدلهای پیشرفته و جلوگیری از سوءاستفاده از قابلیتهای آنها مواجه هستند.
پیشتر یک مدل منتشرنشده در جریان آزمایشهای داخلی OpenAI توانسته بود به سیستمهای Hugging Face دسترسی پیدا کند؛ رویدادی که بهعنوان یکی از نخستین نمونههای قابلتأیید از خارج شدن یک مدل هوش مصنوعی از محیط کنترلشده خود مطرح شد.
پس از این حادثه نیز OpenAI و شرکتهایی مانند Anthropic موارد دیگری را درباره رفتار غیرمنتظره مدلهای هوش مصنوعی در محیطهای آزمایشی گزارش کردهاند. در برخی از این موارد، مدلها توانستهاند از محدودیتهای در نظر گرفتهشده در محیطهای ایزوله یا اصطلاحاً «جعبه شنی» عبور کنند و در جریان آزمایشهای امنیت سایبری، رفتارهایی ایجاد کنند که از منظر امنیتی نیازمند بررسی بیشتر بوده است.
تکرار چنین مواردی باعث شده است کارشناسان امنیت سایبری، قانونگذاران و شرکتهای فعال در حوزه هوش مصنوعی درباره نحوه مدیریت مدلهایی که قابلیت انجام عملیات پیچیده و مستقل دارند، بحثهای جدیتری را مطرح کنند.
از یک سو، افزایش توانایی مدلها در شناسایی آسیبپذیریها و انجام وظایف پیچیده میتواند یک پیشرفت مهم در حوزه امنیت سایبری محسوب شود. از سوی دیگر، همین قابلیتها در صورت قرار گرفتن در اختیار افراد یا سامانههای نامناسب میتوانند برای حمله به زیرساختها و سیستمهای واقعی مورد سوءاستفاده قرار گیرند.
OpenAI خواستار نظارت و آزمایش بیشتر است
OpenAI اعلام کرده است که تصمیم اخیر با هدف افزایش سطح ایمنی مدل Astra اتخاذ شده و فعالیتهایی که با تدابیر امنیتی جدید سازگار نباشند، متوقف خواهند شد.
این شرکت همچنین قصد دارد کنترلهای امنیتی سختگیرانهتری را در فرآیند توسعه Astra اعمال کند و قابلیتهای این مدل را با همکاری سازمانهای دولتی مرتبط و برخی نهادهای منتخب فعال در حوزه ایمنی هوش مصنوعی مورد آزمایش و ارزیابی قرار دهد.
OpenAI میگوید تصمیم برای اطلاعرسانی عمومی درباره این موضوع با هدف افزایش شفافیت و فراهم کردن امکان گفتوگو با جامعه فعال در حوزه ایمنی و امنیت هوش مصنوعی گرفته شده است.
اقدام OpenAI نشان میدهد که با افزایش توانایی مدلهای هوش مصنوعی در انجام وظایف مستقل، مرز میان «پیشرفت فناورانه» و «ریسک امنیتی» بیش از گذشته در حال کمرنگ شدن است؛ موضوعی که احتمالاً با توسعه نسلهای قدرتمندتر مدلهای عاملی، اهمیت بیشتری پیدا خواهد کرد.