شنبه 18 مهر 1405

هشدار مدیر سابق ایمنی OpenAI: خطرناک‌ترین مدل‌ها همان‌هایی هستند که خودمان آموزش می‌دهیم

یکی از مسئولان ارشد پیشین تیم سیستم‌های ایمنی OpenAI پس از استعفا اعلام کرد که این شرکت با وجود هشدارهای مکرر درباره خطرات مدل‌های جدید، همچنان با همان شتاب پیشین مدل‌هایی را آموزش می‌دهد و منتشر می‌کند که خودش نسبت به آنها هشدار داده بود.

مسئول پیشین بخش ایمنی OpenAI می‌گوید این شرکت در ظاهر از لزوم احتیاط و کندتر شدن توسعه هوش مصنوعی سخن می‌گوید، اما در عمل با همان سرعت و در جهتی متناقض پیش می‌رود.

وی که اخیراً از سمت خود کنار رفته، توضیح داد: «بخشی از ناهماهنگی شناختی اساسی برای من در این شرکت این بود که مدام هشدار می‌دادیم، اما در نهایت همان مدل‌های خطرناکی را که از آنها می‌ترسیدیم آموزش می‌دادیم و منتشر می‌کردیم.»

او در مصاحبه‌ای ویدیویی با نیویورک‌تایمز نیز از فضای کاری شرکت گفت: «فعالیتی دیوانه‌وار در جریان است و افراد تا آخرین قطره انرژی خود کار می‌کنند.»
 

مقاله‌ای تند در آتلانتیک

بر اساس گزارش‌ها، او استعفای خود را در اواخر سپتامبر اعلام کرد و مقاله‌ی خود را در ۳ اکتبر در مجله آتلانتیک منتشر کرد. او در این مقاله نوشت «خوش‌بینی افسارگسیخته» محیطی خطرناک برای این فناوری ساخته و شرکت هنگام عرضه مدل‌های جدید احتیاط کافی به خرج نمی‌دهد. 

بر پایه گزارش‌های رسانه‌ای، او حدود سه سال و نیم در OpenAI کار کرده و بر گزارش‌های ایمنی ۱۲ مدل پیشرو نظارت داشته است. او همچنین هشدار داده که مدل‌های توانمندتر ممکن است تشخیص دهند در حال آزمایش‌اند و پس از عرضه رفتار متفاوتی نشان دهند. 
 

مقاله او به رخدادهای اخیر هم اشاره کرد، از جمله آزمایش امنیتی ماه ژوئیه که در آن عامل‌های هوش مصنوعی OpenAI گزارش شده است محدودیت‌های جداسازی را دور زدند و به بخش‌هایی از سامانه‌های هاگینگ‌فیس دسترسی یافتند. 

زمان این استعفا برای شرکت حساس است. OpenAI در ۱ اکتبر سه پژوهشگر ایمنی را به اتهام انتقال اطلاعات حساس خارج از روال‌های مقرر برکنار کرد. همان منبع می‌نویسد یوهانس هایدکه، مسئول پیشین سیستم‌های ایمنی، در ژوئیه از شرکت رفته و تیم‌های ایمنی در سازمان پژوهش ادغام شده بودند. 
 

واکنش OpenAI

سخنگوی شرکت پیش‌تر در پاسخ به این مقاله گفت OpenAI در حال بهبود شیوه‌های ایمنی خود است: «با افزایش قابلیت‌های مدل‌ها، به ارتقای شیوه‌های ایمنی و امنیتی ادامه می‌دهیم و در عین حال مطالعات لازم را برای پیش‌بینی تحولات آینده انجام می‌دهیم. اطمینان حاصل می‌کنیم که قابلیت مدل‌ها از توان ما برای مدیریت و ایمن‌سازی آنها فراتر نرود، و در صورت نیاز به احتیاط، آموزش را متوقف یا استفاده از مدل‌ها را به تأخیر می‌اندازیم.»

آخرین اخبار

جیلی با فست‌شارژ ۴ دقیقه‌ای به جنگ بی‌وای‌دی رفت!

جیلی با معرفی فناوری شارژ فوق‌سریع ۲.۲ مگاواتی در...

طرح دوفوریتی مجلس برای برخورد با ماینرهای غیرمجاز

به گزارش خبرآنلاین، حجت الاسلام علیرضا سلیمی عضو کمیسیون صنایع...

تکلیف تعطیلی مدارس خراسان رضوی برای همیشه مشخص شد

وزیر آموزش‌و پرورش در سفر به شهرستان‌های گناباد و...

طرفداران اپل بخوانند / فروش آیفون ۱۸ غیرقانونی است

محله‌ای، مدیر دفتر خدمات بازرگانی وزارت صنعت، معدن و...

قیمت تخم‌مرغ نجومی شد / نیمرو و املت غذای لاکچری شد

به گزارش خبرآنلاین،رئیس هیئت‌مدیره اتحادیه مرغداران میهن با بیان...

هشدار نارنجی مدیریت بحران برای وقوع سیلاب و تندباد در ۷ استان

پایگاه خبری تحلیلی انتخاب (Entekhab.ir) : تسنیم:...

تاکید پوتین بر لزوم ایجاد جهان چند قطبی و ساختار مالی با ثبات

به گزارش خبرگزاری خبرآنلاین، ولادیمیر پوتین رئیس جمهور روسیه...

لوفت هانزا پروازهای خود را به عربستان تعلیق کرد

به گزارش خبرگزاری خبرآنلاین، این شرکت هواپیمایی آلمانی در...

قیمت سکه امروز ۱۷ مهر ۱۴۰۵/ نیم‌سکه در نزدیکی کانال ۱۴۳ میلیون تومان ایستاد + جدول

به گزارش خبرگزاری خبرآنلاین، قیمت انواع قطعات سکه در بازار تهران...

مایکروسافت با RTX Spark به جنگ مک‌بوک پرو می‌رود؛ سرفیس جدید تا ۵۹۰۰ دلار قیمت دارد

مایکروسافت در جریان رویدادی در هفته فناوری سانفرانسیسکو، نسل...

ردپای مرال‌ها در شب‌های جنگل‌های هیرکانی

شب که می‌شود، جنگل هیرکانی شکل دیگری پیدا می‌کند....

بزرگترین شبکه ارتباطی دنیای کهن متعلق به ایرانیان

ایرانیان نخستین ملتی بودند که از حدود سه هزار...

مدل ۳ تسلا با نمایشگر ۱۶ اینچی و قابلیت وی‌تو‌ال به‌روز شد

تسلا مجموعه‌ای از به‌روزرسانی‌های جدید را برای مدل ۳...

آنتروپیک Claude Haiku 5.5 را معرفی کرد؛ ۹۰ درصد ارزان‌تر و بسیار سریع‌تر

شرکت آنتروپیک از Claude Haiku 5.5 رونمایی کرده است؛...

تبلیغات متنی