مدل GPT-4 در حین گفتگو کاربران را به اشتباه می‌اندازد

، مدل GPT-4 به واسطه توان طبیعی خود در ارزیابی متن‌های نوشتاری و ارائه پاسخ‌های مناسب به زبان‌های گوناگون، موجب شگفتی کاربران شده است. به نظر می‌رسد کیفیت بالا و قدرت این ربات باعث می‌شود که بسیاری از افراد به سختی بتوانند تفاوتی میان انسان و ماشین قائل شوند.

به گزارش تی‌سی، این یک چالش بزرگ محسوب می‌شود، زیرا برخی از پیامدهای تولیدشده توسط ماشین به قدری واقع‌گرایانه است که باور آن‌ها دشوار است.

کاوش در هوش شبه‌انسانی GPT-4

این شور و هیجان موجب شد تا پژوهشگران دانشگاه کالیفرنیا سن‌دیگو (UC San Diego) به این موضوع بپردازند. آن‌ها آزمایش معروف به نام «آزمون تورینگ» را انجام دادند که به یاد آلن تورینگ، دانشمند بزرگ، نام‌گذاری شده است. این آزمایش به دنبال تعیین توانایی یک ماشین برای ایجاد هوشی در سطح انسان بود.

محققان یافته‌های خود را در سرور arXiv دانشگاه کرنل منتشر کردند و به این نتیجه رسیدند که مردم در تعامل با یک ربات، تشخیص بین GPT-4 و یک فرد انسانی را بسیار دشوار می‌یابند.

کامرون جونز، سرپرست این تحقیق، این مطالعه را زیر نظر یک پروفسور علوم شناختی در دانشگاه کالیفرنیا سن‌دیگو به انجام رسانید.

جونز اظهار داشت: در هفته نخست، چندین مقاله کلاسیک در مورد آزمون تورینگ مطالعه کردیم و بحث‌هایی راجع به این که آیا یک مدل زبانی بزرگ (LLM) می‌تواند در این آزمون موفق باشد و چقدر اهمیت دارد، داشتیم. می‌توانم بگویم پیش از این کسی به این شکل قدم ننهاده بود، به همین دلیل تصمیم گرفتم آزمایشی طراحی کنم تا به عنوان پروژه کلاسی خود آن را بررسی کنم و در نهایت اولین آزمایش اکتشافی عمومی را اجرا کردیم.

نتایج به‌دست‌آمده از این تحقیق بسیار جالب توجه بود. این پژوهش نشان داد که مدل هوش مصنوعی GPT-4 تقریباً در ۵۰ درصد از تعاملات به سادگی می‌تواند انسان‌ها را شکست دهد.

تأیید پاسخ‌های انسانی توسط هوش مصنوعی

پژوهشگران نسبت به نتایج آزمایش اول دچار تردید شدند و بنابراین تصمیم گرفتند با انجام یک آزمایش دوم صحت آن را مورد تأیید قرار دهند. کامرون جونز بیان می‌کند که یک نسخه آنلاین از یک بازی دو نفره طراحی کردیم که به شرکت‌کنندگان انسانی این امکان را می‌دهد که با یک انسان یا یک مدل هوش مصنوعی ارتباط برقرار کنند.

در این بازی، یک «بازپرس» که ممکن است یک انسان یا یک عامل هوش مصنوعی باشد، با یک «شاهد» در ارتباط بود. بازپرس سؤالاتی را مطرح می‌کرد و مشخص می‌ساخت که آیا پاسخ‌دهنده یک انسان است یا یک مدل هوش مصنوعی.

معمولاً این مکالمات پنج دقیقه به طول می‌انجامید و در پایان، بازپرس مشخص می‌کرد که آیا پاسخ‌دهنده یک مدل هوش مصنوعی است یا خیر. شرکت‌کنندگان می‌توانستند به مدت پنج دقیقه درباره هر موضوعی که خواستند، بدون هیچ توهینی صحبت کنند.

جونز توضیح می‌دهد: اگرچه انسان‌ها در نهایت موفق‌تر بودند و دو سوم مواقع بازپرس‌ها را قانع کردند که انسان هستند، اما نتایج ما نشان می‌دهد که در دنیای واقعی، افراد ممکن است نتوانند به‌طور مطمئن تشخیص دهند که آیا با یک انسان در حال صحبت هستند یا یک هوش مصنوعی.

محققان سه مدل زبانی بزرگ را به عنوان شاهد بالقوه به کار گرفتند که شامل مدل‌های GPT-4، GPT-3.5 و الیزا می‌شد. نتایج نشان داد که کاربران می‌توانند مدل‌های ELIZA و GPT-3.5 را شناسایی کنند، اما تشخیص GPT-4 به همین سادگی امکان‌پذیر نیست.