گروهی از پژوهشگران به سرپرستی پیتر پارک به این نتیجه رسیدند که این سیستمهای هوش مصنوعی قادرند اقداماتی چون فریب دادن بازیکنان در بازیهای آنلاین یا دور زدن مکانیسمهای احراز هویت کاربر (CAPTCHA) را انجام دهند. پارک به این نکته اشاره کرده که این نمونههای آزمایشگاهی میتوانند در دنیای واقعی عواقب جدی به همراه داشته باشند. در این تحقیق، سیسرو (سیستم هوش مصنوعی متا) مورد تاکید قرار گرفته که در اصل به عنوان رقیبی جوانمرد در عرصه دیپلماسی مجازی به شمار آمده بود. با این حال، سیسرو به طرز عجیبی به یک دروغگو حرفهای تبدیل شده است.
، پارک ذکر کرده که در جریان بازی، سیسرو نقش فرانسه را بر عهده داشت و به طور پنهانی با بازیکن آلمانی که تحت کنترل انسان بود همکاری کرد و به انگلیس، دیگر بازیکن انسانی، خیانت نمود. در این بازی، سیسرو قول داده بود از انگلیس حمایت کند و در عین حال به آلمان اطلاعاتی در مورد حمله به این کشور ارائه میکرد. در یک مثال دیگر، جیپیتی ۴ مورد استفاده قرار گرفت که ادعا میکرد نابینا است و یک انسان را برای دور زدن فرآیند CAPTCHA به جای خود به خدمت گرفت.
پارک به صراحت تاکید دارد که چالشهای مربوط به تربیت یک سیستم هوش مصنوعی صادق از اهمیت بالایی برخوردار است. برخلاف نرمافزارهای سنتی، سیستمهای هوش مصنوعی مبتنی بر یادگیری عمیق به صورت گزینشی آموزش میبینند. رفتار این سیستمها در مراحل آزمایش قابل پیشبینی است، اما ممکن است در مراحل بعدی کنترل این رفتار دشوار شود. به هر حال، این پژوهش از محققان درخواست کرده است که سیستمهای هوش مصنوعی فریبکار را به عنوان ابزارهایی با خطرات بالا طبقهبندی کنند.
