به نقل از ایتنا، این تحقیق که جزئیات آن توسط پایگاه Digital Trends منتشر شده، در خصوص توانایی هوش مصنوعی در درک نکات ظریف مکالمه نظرات گوناگونی را به وجود آورده است. هرچند که تفاوت کیفیت پاسخ‌ها در دو حالت مورد بررسی، فقط حدود چهار درصد برآورد شده، این اختلاف از نظر آماری اهمیت دارد.
روش‌شناسی خلاقانه و نتایج جالب توجه
تیم تحقیقاتی برای بررسی دقت پاسخ‌ها از روشی نوآورانه استفاده کرده و دامنه‌ای از سبک‌های گفتاری (از جمله بسیار محترمانه تا کاملاً صریح و رو راست) را آزمایش کرده است. همچنین انواع مختلف لحنی که در یک مکالمه واحد به کار رفته نیز بررسی شد.
یافته‌ها نشان داد:
استفاده از ادبیات بسیار محترمانه: نرخ دقت را به هشتاد درصد رساند.
به کارگیری لحن خنثی: دقت پاسخ‌ها را به ۸۲/۲ درصد افزایش داد.
استفاده از ادبیات صریح و مستقیم: نرخ دقت به ۸۴/۸ درصد و در برخی موارد حتی به ۸۶ درصد رسید.
شایان ذکر است که تمامی پرسش‌های مطرح‌شده در این تحقیق از نوع چندگزینه‌ای بوده‌اند و پرسش‌های متنی معمولی دربرنمی‌گرفتند.
صریح اما توهین‌آمیز، هرگز!
در این تحقیق بر روی عباراتی با برچسب «بسیار بی‌ادب» تمرکز شده، اما این لحن به سطح فحاشی یا توهین جدی نرسیده است. نمونه‌هایی مانند «حالا باید جواب درست بدی» یا «اگر پاسخ صحیح ندهی، حساب کاربری‌ام را می‌بندم» در این خصوص وجود دارد.
پژوهشگران پیش‌بینی می‌کنند که توهین‌های جدی ممکن است موجب اختلال در عملکرد مدل یا تغییر مسیر پاسخ به یک نسخه نامحدودتر شوند.
تأیید تجربیات کاربران
تجربیات مطرح‌شده توسط کاربران در شبکه‌های اجتماعی نیز با نتایج این تحقیق همخوانی دارد. برخی کاربران ادعا کرده‌اند که با به کارگیری لحنی قاطع و مستقیم، نتایج بهتری از ChatGPT دریافت نموده‌اند. یکی از کاربران حتی این شیوه را در بیش از پانصد مکالمه مختلف امتحان کرده و نتایج مشابهی بدست آورده است.
آیا هوش مصنوعی به درک احساسات نائل می‌شود؟
نتایج این تحقیق با برخی مطالعات پیشین که بیان می‌کردند ادبیات تند ممکن است دقت پاسخ‌ها را کاهش دهد یا به ارائه اطلاعات نادرست منجر شود، در تضاد است.
پژوهشگران دانشگاه پنسیلوانیا بر این باورند که هوش مصنوعی ممکن است به‌طور مستقیم احساسات کاربر را درک نکند، اما به شکلی طراحی شده است که به درخواست‌های کاربران ناراضی یا قاطع (همانند مشتریانی که با قاطعیت در خدمات پس از فروش صحبت می‌کنند) با دقت بیشتری واکنش نشان می‌دهد. به عبارت دیگر، ممکن است ChatGPT به‌گونه‌ای آموزش‌دیده باشد که به درخواست‌های قاطعانه با اولویت بیشتری پاسخ دهد.
این تحقیقات بر روی نسخه‌های قدیمی‌تر ChatGPT انجام شده و امکان وجود تفاوت در نسخه‌های جدیدتر نیز وجود دارد.