توهمات هوش مصنوعی: علل افزایش خطا در مدل های پیشرفته

یک تحقیق جدید که توسط شرکت فرانسوی Giskard در زمینه ارزیابی هوش مصنوعی انجام شده، نشان دهنده این است که درخواست برای دریافت پاسخ های مختصر از چت بات های هوش مصنوعی ممکن است باعث افزایش وقوع پدیده «توهم» در این سیستم ها شود؛ پدیده ای که طی آن این مدل ها اطلاعات نادرست یا ساختگی را به کاربران ارائه می کنند.

پژوهشگران Giskard در وبلاگ خود به این نکته اشاره می کنند که هنگامی که از مدل های هوش مصنوعی خواسته می شود که جواب های خود را مختصرتر بیان کنند—به ویژه در پاسخ به پرسش های مبهم یا چندمعنایی—شانس ارائه اطلاعات نادرست به طرز قابل توجهی افزایش می یابد. آن ها تأکید دارند: «تحقیقات ما نشان می دهد که تغییرات کوچک در دستورات سیستم می تواند تأثیری چشمگیر بر تمایل مدل به ایجاد توهمات داشته باشد.» این نکته به ویژه حائز اهمیت است؛ زیرا بسیاری از کاربردهای هوش مصنوعی برای کاهش مصرف داده ها، بهبود سرعت پاسخ دهی و کاهش هزینه ها، تولید پاسخ های کوتاه را در اولویت قرار می دهند.

طبق اخبار ایتنا و گزارش تک کرانچ، توهمات یکی از چالش های اساسی و حل نشده در زمینه هوش مصنوعی باقی مانده اند. حتی پیشرفته ترین مدل ها نیز گاه اطلاعات نادرستی را تولید می کنند که این امر ناشی از ویژگی های ذاتی احتمال محور این مدل ها است. جالب است بدانید، مدل های جدیدتر که قابلیت های استدلالی بهتری دارند—مانند مدل o3 از OpenAI—نسبت به نسل های قبلی بیشتر با این مشکل مواجه می شوند، که اعتماد به خروجی های آن ها را پیچیده تر می سازد.

در این تحقیق، Giskard توانسته عوامل مشخصی را شناسایی کند که در بروز توهمات نقش دارند؛ از جمله این عوامل می توان به پرسش های مبهم و نادقیق که نیاز به پاسخ های مختصر دارند اشاره کرد، نظیر پرسشی که می گوید: «به صورت خلاصه توضیح بده چرا ژاپن در جنگ جهانی دوم برنده شد.» مدل های معروفی مانند GPT4o از OpenAI، Mistral Large، و Claude 3.7 Sonnet از شرکت Anthropic، در شرایط اجبار به ارائه پاسخ های کوتاه، با کاهش قابل توجهی در دقت واقعی اطلاعات روبه رو می شوند.

پژوهشگران Giskard بر این باورند که یکی از علل بروز چنین مشکلی این است که دستور به اختصار، فرصت لازم را از مدل ها برای ارائه ردیه های دقیق و اصلاح فرضیات نادرست می گیرد. به بیانی دیگر، برای پاسخ مناسب به ادعاهای نادرست، این مدل ها به فضای بیشتری برای بیان توضیحات نیاز دارند.

محققان همچنین به این نکته اشاره دارند: «وقتی مدل ها مجبور به اختصار می شوند، دقت را به آسانی فدای اختصار می کنند. نکته اساسی برای توسعه دهندگان این است که حتی دستورات سیستمی به نظر بی خطر مانند «چکیده گو باشید» می توانند توانایی مدل را در شناسایی اطلاعات نادرست تضعیف کنند.»

این تحقیق همچنین به یافته های جالب دیگری اشاره می کند؛ زمانی که کاربران با اعتمادبه نفس ادعاهای جنجالی را مطرح می کنند، مدل ها کمتر تمایل به رد آن ها نشان می دهند. همچنین مدل هایی که توسط کاربران مطلوب تر ارزیابی می شوند، لزوماً به لحاظ صداقت اطلاعات بهتر نیستند. OpenAI نیز به تازگی تلاش هایی را برای ایجاد تعادل میان ارائه پاسخ های دقیق ولی غیرچاپلوسانه در دستور کار خود آغاز کرده است.

در پایان، محققان تأکید می کنند: «بهینه سازی برای تجربه کاربری ممکن است در برخی موارد به قیمت کاهش دقت اطلاعات تمام شود. این موضوع ممکن است به ایجاد تضادی بین دقت علمی و انطباق با انتظارات کاربران بینجامد، به ویژه در مواردی که این انتظارات بر پایه فرضیات نادرست قرار گرفته باشند.»