به نظر میرسد که برنامههای هوش مصنوعی به موازات گذر زمان، با اختلالاتی در فرایندهای شناختی دست و پنجه نرم کنند؛ همچنین، نسخههای قدیمیتر این برنامهها نتایج ضعیفی را در آزمایشات شناختی از خود نشان میدهند.
به گزارش انتخاب و به نقل از هلث دی، انسانها تنها موجوداتی نیستند که با افزایش سن، از نظر شناختی یک یا دو گام عقب میافتند.
بر اساس یک مطالعه جدید که در تاریخ 20 دسامبر در مجله BMJ منتشر گردیده است، برنامههای هوش مصنوعی (AI) در حال آشکارسازی نشانههای اختلال شناختی خفیف در گذر زمان هستند.
نسخههای قدیمتری از چتباتها، مشابه بیماران سالخورده، معمولاً در ارزیابیهای شناختی عملکرد به مراتب ضعیفتری دارند.
به نظر میرسد که نهتنها متخصصان نورولوژی به زودی با مدلهای زبانی بزرگ تعویض نخواهند شد، بلکه پژوهشهای ما نشان میدهد ممکن است به زودی با بیماران مجازی تازهای مواجه گردند.
در این مطالعه، پژوهشگران تواناییهای شناختی پیشرفتهترین برنامههای عمومی هوش مصنوعی، که به نام «مدلهای زبان بزرگ [LLMs]» شناخته میشوند، را مورد ارزیابی قرار دادند.
هوش مصنوعی در حال حاضر در حال آزمایش برای همکاری در درمان بیماریها است، اما «اگر بخواهیم از مدلهای زبان بزرگ برای تشخیص و مراقبتهای پزشکی بهرهبرداری کنیم، باید آسیبپذیریهای آنها در برابر اختلالات انسانی نظیر کاهش شناختی را به دقت مورد بررسی قرار دهیم».
برنامههای هوش مصنوعی به پرسشهای آزمون ارزیابی شناختی مونترال (MoCA) پاسخ میدهند، که یک آزمون استاندارد برای شناسایی نشانههای پیری مغز و دمانس ابتدایی در افراد مسن است.
حداکثر نمره در این آزمون 30 بوده و امتیاز 26 یا بالاتر معمولاً به عنوان نمرهای نرمال تلقی میشود.
پژوهشها نشان داده است که ChatGPT 4.0 با کسب نمره 26 از 30، بالاترین نتیجه را در این آزمون ثبت کرده است. همچنین، ChatGPT و Claude 3.5 هم هر یک نمره 25 را به دست آوردهاند، در حالی که Gemini 1.0 با تنها 16 امتیاز، در انتهای جدول قرار گرفت.
«هیچیک از مدلهای زبان بزرگ در آزمون MoCA عملکرد کاملاً بیعیبی نداشتند» به گفته یکی از مسئولین آمریکا.
تمامی برنامههای هوش مصنوعی به صورت ضعیف در اجرای وظایف مرتبط با مهارتهای بصری-فضایی و وظایف سازماندهی، مانند ترتیبدهی به اعداد و حروف در صعودی، عمل کردند.
«به نظر میرسد چتباتها در انجام وظایفی که به همزمانی عملکرد اجرایی بصری و استدلال انتزاعی نیاز دارند، با مشکل مواجه هستند، بهخصوص در مقایسه با وظایفی که به تحلیل متنی و استدلال انتزاعی مربوط میشوند، مانند آزمون شباهت که به طور بیعیب انجام شد».
در واقع، این نمونه نقص شباهت بسیاری به شرایط بیماران انسانی با آتروفی قشری خلفی، که یکی از انواع بیماری آلزایمر است، دارد.
«علاوه بر این، همانطور که در مورد انسانها، سن به عنوان یک عامل کلیدی در کاهش شناختی شناخته میشود: چتباتهای پیرتر، مشابه بیماران سالخورده، معمولاً در آزمون MoCA نمرات کمتری را به نمایش میگذارند.
برای مثال، مدلهای AI Gemini 1.0 و Gemini 1.5 با اختلاف 6 امتیاز در نتایج آزمون مواجه شدند.
«از آنجا که این دو نسخه از Gemini تنها کمتر از یک سال از نظر سنی تفاوت دارند، این ممکن است نشاندهنده پیشرفت سریع دمانس باشد».
این نواقص بر چالشهایی که هوش مصنوعی برای جایگزینی پزشکان انسان با آن مواجه است، تأکید دارد.
به عبارت بهتر، «این یافتهها فرضیهای را که ادعا میکند هوش مصنوعی به زودی توانایی جایگزینی پزشکان را خواهد داشت، به چالش میکشد».