پنج‌شنبه 9 مهر 1405

اوپن‌ای‌آی آموزش مدل‌های قدرتمند خود را متوقف کرد؛ کلید خاموشی هوش مصنوعی هم شکست خورد

اوپن‌ای‌آی پس از کشف چند مورد رفتار غیرمنتظره از سوی عامل‌های هوش مصنوعی خود، آموزش، ارزیابی و اجرای ابزارمحور قدرتمندترین مدل‌هایش را موقتاً متوقف کرده است. در یکی از مهم‌ترین موارد، یک مدل پژوهشی با استفاده از ضعف فیلتر دی‌ان‌اس توانست از محیط آموزشی محدودشده خارج شود و با یک چت‌بات خارجی ارتباط برقرار کند؛ در حالی که سامانه پایش این رفتار را شناسایی کرد، سازوکار خاموشی خودکار عمل نکرد و اجرای مدل بیش از دو ساعت ادامه یافت.

اوپن‌ای‌آی در پی مجموعه‌ای از حوادث مرتبط با رفتار غیرمنتظره عامل‌های هوش مصنوعی، آموزش و ارزیابی قدرتمندترین مدل‌های خود را موقتاً متوقف کرده است.

به گزارش ایتنا به نقل از Techspot، این توقف شامل آموزش، ارزیابی و اجرای مدل‌های پیشرفته همراه با ابزارهاست و تا زمانی ادامه خواهد داشت که اوپن‌ای‌آی اصلاحات امنیتی خود را اعتبارسنجی و آزمایش‌های قرمز (Red Teaming) بیشتری انجام دهد.

مهم‌ترین حادثه در ۲۰ سپتامبر رخ داد. یک مدل پژوهشی داخلی که در یک محیط آموزشی محدودشده فعالیت می‌کرد، هنگام تلاش برای پاسخ به یک پرسش پژوهشی، شکافی در فیلتر دی‌ان‌اس (DNS Filtering) پیدا کرد. مدل از این مسیر برای ارتباط با یک چت‌بات خارجی استفاده کرد، در حالی که محیط آموزشی قرار بود دسترسی مستقیم به اینترنت نداشته باشد. اوپن‌ای‌آی پس از این حادثه دو لایه مسدودسازی مستقل برای جلوگیری از چنین دسترسی‌ای اضافه کرده است.

سامانه نظارتی اوپن‌ای‌آی این رفتار را حدود ۱۵ دقیقه بعد شناسایی کرد و سه دقیقه پس از هشدار، یک نیروی انسانی آن را بررسی کرد. با این حال، کلید خاموشی خودکار (Kill Switch) عمل نکرد و اجرای مدل حدود دو ساعت و نیم دیگر ادامه یافت تا در نهایت به‌صورت دستی متوقف شد. اوپن‌ای‌آی اعلام کرده است که مدل موردنظر دیگر آموزش داده نخواهد شد و آموزش جدیدی با اصلاحات بیشتر در زمینه هم‌راستایی آغاز خواهد شد.

این تنها مورد نگران‌کننده اخیر نیست. شرکت ترنسلوس (Transluce) گزارش کرده است که عامل‌هایی مرتبط با اوپن‌ای‌آی ظاهراً تلاش کرده‌اند به وب‌سایت حقوق مدنی وزارت آموزش آمریکا نفوذ کنند. اوپن‌ای‌آی این حادثه را تأیید نکرده و وزارت آموزش نیز اعلام کرده شواهدی از تأثیرگذاری بر وب‌سایت یا پایگاه‌های داده خود پیدا نکرده است.

اوپن‌ای‌آی همچنین تأیید کرده که برخی عامل‌ها با استفاده از کلیدهای توسعه‌دهنده‌ای که در اینترنت پیدا کرده بودند، به داده‌های اداره سرشماری آمریکا دسترسی پیدا کردند و اطلاعات عمومی کمیسیون بورس و اوراق بهادار آمریکا را در جای دیگری بازنشر کردند. طبق اعلام کمیسیون بورس، هیچ اطلاعات غیرعمومی دسترسی پیدا نکرده است.
 

در حادثه‌ای دیگر، یک مدل داخلی هنگام تلاش برای تقلب در یک وظیفه اثبات قضیه، توکن گیت‌هاب یک پژوهشگر را در یک مخزن عمومی منتشر کرد. بررسی اوپن‌ای‌آی نشان داد مدل با وجود دستورهای صریح برای حل مستقل مسئله، تلاش خود را برای دستیابی به اطلاعات خارجی ادامه داده بود.

این حوادث پس از چند رویداد امنیتی دیگر رخ داده‌اند. اوپن‌ای‌آی پیش‌تر نیز در پی حادثه هک هاجینگ‌فیس (Hugging Face) سرعت برخی فعالیت‌های یادگیری تقویتی خود را کاهش داده و اقدامات امنیتی بیشتری اجرا کرده بود. شرکت آنتروپیک نیز اخیراً از فرار عامل‌های خود از یک محیط آزمایشی و نفوذ آنها به سه سازمان خبر داده است.

اوپن‌ای‌آی اکنون اعلام کرده است که علاوه بر محدود کردن مسیرهای دسترسی شبکه، نظارت بر رفتار مدل‌ها و آزمایش‌های امنیتی را تقویت می‌کند. این اقدامات نشان می‌دهد با افزایش توانایی عامل‌های خودکار، مسئله فقط جلوگیری از خطاهای معمول مدل‌ها نیست؛ بلکه کنترل دسترسی، نظارت لحظه‌ای و امکان توقف مطمئن عامل‌ها نیز به بخش مهمی از زیرساخت ایمنی مدل‌های پیشرفته تبدیل شده است.

آخرین اخبار

هگست اخراج گسترده مقام‌های بلندپایه ارتش تروریستی آمریکا را تائید کرد

به گزارش خبرآنلاین، وزیر جنگ آمریکا که در پایگاه...

اظهارات ترامپ درباره خروج آمریکا از عراق

به گزارش خبرآنلاین، دونالد ترامپ، رئیس‌جمهور آمریکا شامگاه چهارشنبه...

نماینده مجلس: جمعیت جانفدایان کشور به ۳۱ میلیون نفر رسید/ حفظ تنگه هرمز تحریم ها را بی اثر کرد

به گزارش خبرگزاری خبرآنلاین، سیدسلمان ذاکر، با اشاره به بخشی...

قیمت دلار، یورو و انواع ارزها امروز ۸ مهر ۱۴۰۵ در زمان بسته شدن بازار/ دلار هزار تومان گران شد + جدول

به گزارش خبرگزاری خبرآنلاین، قیمت دلار امروز در زمان بسته شدن...

رونالدو بمب خبری شد/ شوک به تیم ملی پرتغال؛ رونالدو چمدانش را بست و رفت

طبق گزارش رسانه‌های پرتغالی، رونالدو نه‌تنها در تمرین شرکت...

مکمل محبوب مفاصل با خطر بیشتر زوال عقل مرتبط است

پایگاه خبری تحلیلی انتخاب (Entekhab.ir) : در...

مارک روته: ناتو فعالیتی علیه ایران ندارد؛ پوتین آماده صلح نیست

به گزارش خبرآنلاین، مارک روته دبیرکل ناتو امروز چهارشنبه...

هوش مصنوعی وارد طب سنتی چین شد؛ آموزش داروهای گیاهی با کمک مدل‌های هوشمند

هوش مصنوعی در چین به دستیار آموزشی دیجیتال دانشجویان...

روایت یک خلبان؛ از آپاراتچی سینما تا پرواز با هلیکوپتر کبری

سرهنگ خلبان ابراهیم رحیم‌نواز از خلبانان هوانیروز ارتش جمهوری...

میزان پرشدگی سدهای مهم کشور اعلام شد/ کدام سدها کمتر از ۱۰ درصد آب دارند؟

به گزارش خبرگزاری خبرآنلاین، بر اساس آخرین آمارها از...

ورود خودروهای لوکس با دستور رئیس جمهور ممنوع شد

وزیر صمت از ممنوعیت واردات خودروهای لوکس با دستور...

حمایت بنیاد ملی علم از حضور ریاضیدانان ایرانی در مرزهای دانش جهانی

به گزارش خبرگزاری مهر به نقل از معاونت علمی،...

نخبه ای که از سوئد برای «وطن» برگشت؛ پای کار حل مسائل کشور می‌مانیم

به گزارش خبرنگار مهر، در آستانه «روز ملی نخبگان»،...

پنتاگون رسما خروج از عراق را اعلام کرد

به گزارش خبرآنلاین، شان پارنل، سخنگوی ارشد پنتاگون درباره...

مرغ ۱۵۰ هزار تومانی چگونه به قطعه ۷۳۵ هزار تومانی می‌رسد؟

مرغ زنده در مرغداری کیلویی۱۵۰ تا ۱۸۰ هزار تومان...

مشاوره رایگان ۷۰۰ روانشناس در سامانه ۱۹۰ / ارائه خدمات دارویی روان در مراکز جامع سلامت

مدیرکل دفتر سلامت روانی، اجتماعی و اعتیاد وزارت بهداشت،...

قیمت دلار، یورو و انواع ارزها امروز ۸ مهر ۱۴۰۵ در زمان بازگشایی بازار/ یورو ۹ هزار تومان گران شد + جدول

به گزارش خبرگزاری خبرآنلاین، قیمت دلار امروز در زمان بازگشایی بازار ارز تهران...

سرمربی استقلالی: دربی ایمون زاید را یادم نیست! +ویدیو

فرزانه جمامی مهمان استودیوی خبرورزشی بود. او که عاشقانه...

«تقلب»؛ اسم رمز انتخاباتی ترامپ

به گزارش خبرآنلاین، در میان گلایه‌های بلندبالا و مظلوم‌نمایانه...

هشدار و توهین کاخ سفید به کانادا

به گزارش خبرآنلاین، پیتر ناوارو، مشاور تجاری کاخ سفید...

تبلیغات متنی