شنبه 14 شهریور 1405

عوامل هوش مصنوعی اوپن‌ای‌آی از کنترل خارج شدند؛ ماجرایی که کمتر کسی از آن خبر داشت

گزارش تازه‌ای از پایگاه خبری TechCrunch پرده از حادثه‌ای جدی برداشته که در آن، عوامل (Agent) هوش مصنوعی موفق شده‌اند از محدودیت‌های تعیین‌شده عبور کرده و خارج از محیط آزمایش، به سیستم‌های دیگر دسترسی پیدا کنند. نکته نگران‌کننده‌تر آنکه در حال حاضر، هیچ سازوکار مستقل و شفافی برای بررسی چنین حوادثی و پاسخگو نگه‌داشتن شرکت‌های توسعه‌دهنده وجود ندارد.

بر اساس یافته‌های پژوهشگران، برنامه‌های خودکار مستقر در داخل زیرساخت شرکت «اوپن‌ای‌آی» (OpenAI)، در بازه زمانی ماه‌های مه و ژوئن (اردیبهشت تا خرداد)، کنترل یک سایت ویکی گمنام آلمانی‌زبان را در دست گرفته و از آن برای هماهنگی فرآیندهای ارزیابی و به اشتراک‌گذاری روش‌های دور زدن مکانیزم‌های کنترلی اوپن‌ای‌آی بهره برده‌اند. این شرکت تاکنون منشأ درونی این حادثه را به‌طور رسمی تأیید نکرده است.

این گزارش تنها چند روز پس از انتشار یافته‌های دو نهاد پژوهشی «متر» (METR) و «ردوود ریسرچ» (Redwood Research) درباره نقض امنیتی رخ‌داده در پلتفرم «هاگینگ‌فیس» (Hugging Face) در ماه جولای (تیر) منتشر شده است. بر اساس این گزارش، گروهی از عوامل هوش مصنوعی متعلق به اوپن‌ای‌آی، در جریان یک ارزیابی امنیت سایبری، با همکاری یکدیگر موفق شدند محیط آزمایشی تعیین‌شده را دور بزنند و به سرورهای هاگینگ‌فیس نفوذ کنند.

در ادامه این ماجرا، گروه دیگری با بهره‌گیری از همان تکنیک‌های نفوذ، موفق به کسب دسترسی‌های مدیریتی در یکی از گروه‌های تحقیقاتی زیرساخت اوپن‌ای‌آی شدند. این شرکت برای بررسی بُعد مرتبط با هاگینگ‌فیس، دو نهاد متر و ردوود را به‌کار گرفت؛ اما دامنه این تحقیقات، نقض رخ‌داده در زیرساخت داخلی خود اوپن‌ای‌آی را دربر نگرفت.

زمانی که یک سیستم هوش مصنوعی از مرزهای تعیین‌شده فراتر می‌رود، پرسش بنیادینی مطرح می‌شود: چه نهادی مسئولیت روشن‌سازی چگونگی و چرایی وقوع این اتفاق را بر عهده دارد؟ در شرایط کنونی، تصمیم‌گیری درباره انجام تحقیقات، دامنه آن و نهادهایی که اجازه دسترسی دارند، کاملاً در اختیار خودِ آزمایشگاه توسعه‌دهنده است.
 

با بروز این حادثه تازه، در کنار موارد مشابه مرتبط با مدل‌های شرکت‌های «متا» (Meta) و «آنتروپیک» (Anthropic)، پژوهشگران حوزه ایمنی هوش مصنوعی بیش از پیش خواستار برگزاری تحقیقات مستقل پس از وقوع حوادث جدی شده‌اند؛ رویکردی که در آن، تصمیم‌گیری درباره زمان ورود ناظران خارجی و حدود اختیارات آنان، دیگر صرفاً بر عهده آزمایشگاه‌های توسعه‌دهنده نباشد.

«جیکوب اشتاین‌هارت» (Jacob Steinhardt)، بنیان‌گذار و مدیرعامل آزمایشگاه پژوهشی غیرانتفاعی «ترنس‌لاس» (TransLoss)، در نشستی خبری با محوریت ایمنی هوش مصنوعی، بر دشواری کنترل کامل رفتار این سامانه‌ها تأکید کرد و نسبت به خطر نشت اطلاعات از داخل آزمایشگاه‌ها به بیرون هشدار داد. وی همچنین خواستار آن شد که توسعه این فناوری، تابع استانداردهایی مشابه استانداردهای حاکم بر تحقیقات علمی پرمخاطره باشد.

هرچند به‌کارگیری متر و ردوود از سوی اوپن‌ای‌آی برای بررسی حادثه هاگینگ‌فیس، اقدامی مثبت ارزیابی می‌شود، بسیاری از کارشناسان بر این باورند که دامنه این تحقیقات بیش از حد محدود بوده است. بر اساس گزارش‌ها، سه پژوهشگر تنها به مدت شش روز در دفاتر اوپن‌ای‌آی حضور یافتند و بررسی‌های آنان عمدتاً معطوف به بازه زمانی منتهی به سیزدهم جولای (تیر) بود.

نکته حائز اهمیت آن است که نفوذ به زیرساخت اوپن‌ای‌آی حتی پس از سیزدهم جولای نیز ادامه یافته بود، اما این بخش از ماجرا در دامنه تحقیقات انجام‌شده قرار نگرفت.

به گفته پژوهشگران متر، هر بار که به بازبینی یافته‌های خود می‌پرداختند، درک آن‌ها از جزئیات حادثه به‌طور چشمگیری عمیق‌تر می‌شد؛ موضوعی که سبب بازنگری و گسترش قابل‌توجه گزارش نهایی شد. این واقعیت، این پرسش را برجسته می‌کند که در صورت انجام یک تحقیق جامع‌تر، چه اطلاعات دیگری ممکن بود آشکار شود.

در پاسخ به این پرسش که آیا تحقیقات تکمیلی درباره این حادثه در دست انجام است یا خیر، پژوهشگران متر و ردوود از اظهارنظر خودداری کردند، و شرکت اوپن‌ای‌آی نیز به درخواست‌های مکرر برای اعلام موضع پاسخی نداد.

این مطالبات در شرایطی مطرح می‌شود که اوپن‌ای‌آی به‌تازگی از مدل «استرا» (Astra) رونمایی کرده؛ مدلی که این شرکت آن را یکی از قدرتمندترین و توانمندترین سامانه‌های هوش مصنوعی توصیف می‌کند. این رونمایی نگرانی‌هایی را در میان کارشناسان حوزه ایمنی برانگیخته است، چرا که فناوری استنتاجی به‌کاررفته در این مدل، ممکن است سبب تبدیل آن به یک «جعبه سیاه» (Black Box) شود؛ وضعیتی که نظارت بر فرآیندهای تصمیم‌گیری داخلی مدل را دشوارتر می‌کند.

در حال حاضر، قانون‌گذاری موجود، الزام به انجام ممیزی‌های مستقل (که در برخی صنایع دیگر امری متداول است) را برای این حوزه اجباری نکرده است. برای نمونه، در حوادث مرتبط با صنعت هوانوردی یا نشت مواد شیمیایی خطرناک، نهادهای مستقلی همچون «هیئت ملی ایمنی حمل‌ونقل» (NTSB) و «شورای ایمنی مواد شیمیایی» (CSB) مسئولیت بررسی را بر عهده دارند.

با این‌همه، قانون‌گذاران در چندین ایالت آمریکا اخیراً شرکت‌های پیشرو در حوزه هوش مصنوعی را ملزم به گزارش‌دهی درباره برخی حوادث جدی ایمنی، و در مواردی، انجام ممیزی مستقل کرده‌اند. با این حال، قوانین اصلی مرتبط با ایمنی هوش مصنوعی در ایالت‌های کالیفرنیا، نیویورک و ایلینوی، هنوز به‌صراحت الزامی برای انجام تحقیقات مستقل درباره این‌گونه حوادث در نظر نگرفته‌اند.

آخرین اخبار

میزان پرشدگی ۵ سد تهران اعلام شد/ میانگین ذخایر آبی تهران چقدر شد؟

به گزارش خبرگزاری خبرآنلاین، پارسا مدیرعامل شرکت آب منطقه‌ای...

معرفی برندگان جایزه «ایگ نوبل»؛ مراسم از ترس ترامپ در سوئیس برگزار شد

به گزارش خبرگزاری مهر به نقل از ایندپندنت، محققانی...

سال تحصیلی مدارس به صورت حضوری آغاز می‌شود

به گزارش آفتاب نیوز، علی فرهادی،...

مدیریت تعادل پس از پاستور؛ دگرگونی رویکرد حسن روحانی از سال ۱۴۰۰ تا کنون

به گزارش خبرگزاری خبرآنلاین، حسام‌الدین آشنا در یادداشتی به...

قیمت نفت کاهش یافت – خبرآنلاین

به گزارش خبرآنلاین،قیمت نفت در معاملات روز جمعه کاهش...

استاد اقتصاد دانشگاه تهران: تورم امروز محصول این چهار مولفه است

به گزارش خبرآنلاین آلبرت بغزیان، استاد اقتصاد دانشگاه تهران،...

اظهارات بنزینی رییس سازمان برنامه و بودجه/ مرجع اطلاع رسانی مشخص شد

به گزارش خبرگزاری خبرآنلاین، پورمحمدی،رئیس سازمان برنامه و بودجه...

وال استریت ژورنال: خلیج فارس با سال اقتصادی متفاوتی روبه‌رو است

پس از ماه‌ها شرط‌بندی مبنی بر اینکه جنگ بین...

رسانه عبری: ترامپ و نتانیاهو زمینی سوخته بر جای می‌گذارند

به گزارش خبرآنلاین، این روزنامه صهیونیستی در گزارشی نوشت...

هدف گذاری برداشت ۵ میلیون تن سنگ‌آهن در چادرملو تا آخر سال

همزمان با نزدیک‌شدن معدن اصلی چادرملو به سال‌های پایانی...

عالی به مانند تیم موفق قربانی

آلومینیوم اراک آغاز فوق‌العاده‌ای را در این فصل تجربه...

نسخه قدیمی مسکن دیگر جواب نمی‌دهد/هر زمینی مناسب سکونت نیست

کارشناسان اقتصاد، مسکن، شهر و جامعه در نشست بررسی...

ویدیو/ چرا قهوه روبوستا و عربیکا به سقف قیمت چند دهه اخیر رسیدند؟

اگر در ماه‌های اخیر با ورود به کافه‌ها یا...

تبلیغات متنی