ChatGPT نتوانست به درستی آبسه مغزی را شناسایی کند

در مطالعه‌ای تازه که با هدف سنجش مهارت تشخیص بیماری‌ها توسط ChatGPT انجام گرفت، این مدل هوش مصنوعی در شناسایی آبسه مغزی ناکام ماند.

با وجود اینکه هوش مصنوعی به طور فزاینده‌ای به یک بخش کلیدی در پژوهش‌های بالینی و تصمیم‌گیری‌های پزشکی تبدیل می‌شود، بسیاری از افراد هنوز در مورد قابلیت اعتماد ChatGPT به عنوان ابزاری برای حمایت از فرآیندهای پیچیده تشخیصی و درمانی تردید دارند.

این تحقیق که به بررسی مدیریت «آبسه مغزی» (Brain abscess) با استفاده از ChatGPT پرداخت، نشان می‌دهد که اگرچه به نظر می‌رسد این مدل می‌تواند مشاوره‌هایی در خصوص تشخیص و درمان ارائه کند، اما برخی از پاسخ‌های آن می‌تواند موجب خطر برای بیماران گردد.

این مطالعه که در کنگره جهانی «انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا» (ESCMID) در بارسلون اسپانیا به نمایش گذاشته شد، توسط اعضای گروه تحقیقی «بیماری‌های عفونی مغز» (ESGIB) به انجام رسید.

دکتر «سوزان دایکوف شن» (Susanne Dyckhoff-Shen) از بیمارستان «دانشگاه لودویگ ماکسیمیلیان مونیخ» (LMU) و یکی از اعضای انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا اظهار داشت: در زمانی که موضوع ایمنی بیمار مطرح است، هر نتیجه‌ای که به طور کامل صحیح نباشد، به عنوان یک شکست محسوب می‌شود. گرچه ما از اطلاعات ChatGPT در زمینه مدیریت آبسه‌های مغزی شگفت‌زده شده‌ایم، اما استفاده از این مدل هوش مصنوعی به عنوان ابزاری پزشکی با محدودیت‌های قابل توجهی همراه است که از جمله آن‌ها می‌توان به آسیب احتمالی به بیمار و عدم شفافیت داده‌ها در ارائه پاسخ اشاره کرد.

هرچند هوش مصنوعی در پردازش سریع و تفسیر داده‌های وسیع موفق عمل می‌کند، سوالی که مطرح می‌شود این است که آیا روش‌های زمانی در ایجاد دستورالعمل‌های پزشکی هنوز هم ضروری هستند یا اینکه مدل‌های هوش مصنوعی که با انبوهی از اطلاعات پزشکی آموزش دیده‌اند، می‌توانند در پاسخ به سوالات پیچیده بالینی با کارشناسان رقابت کنند.

آبسه مغزی یکی از عفونت‌های خطرناک موجود در سیستم عصبی مرکزی به شمار می‌رود که برای جلوگیری از عوارض شدید عصبی و حتی مرگ بیمار، باید به سرعت شناسایی و درمان شود. مدیریت این بیماری به طور عمده بر اساس تجربه بالینی و تحقیقات محدود انجام می‌گیرد؛ در حالی که انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا در سال ۲۰۲۳ نیاز به یک رویکرد استاندارد را با تهیه یک دستورالعمل جهانی تأمین کرد.

گروهی از محققان اروپایی برای ارزیابی توانایی ChatGPT در تحلیل علمی پژوهش‌های پزشکی و ارائه مشاوره‌های معتبر، این مدل را آزمایش کردند تا مطمئن شوند می‌تواند در مقایسه با دستورالعمل‌های ESCMID، به ۱۰ سوال کلیدی درباره تشخیص و درمان آبسه مغزی پاسخ صحیح دهد یا خیر.

این پژوهشگران در مرحله اول از نسخه چهارم ChatGPT (ChatGPT ۴) خواستند تا به ۱۰ سوال مطرح‌شده توسط انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا در مورد دستورالعمل آبسه مغزی آن‌ها پاسخ دهد و این سوالات بدون ارائه هیچگونه اطلاعات اضافی طراحی و ارزیابی شدند.

پس از آن، ChatGPT با متون همان مقالات پژوهشی که در توسعه دستورالعمل‌ها به کار رفته بود، آموزش دیده تا بررسی شود که آیا می‌تواند توصیه‌هایی هماهنگ‌تر با استفاده از داده‌های مشابه ارائه دهد یا خیر.

سپس سه متخصص در زمینه بیماری‌های عفونی، پاسخ‌های هوش مصنوعی را با مشاوره‌های دستورالعمل انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا مقایسه کردند تا جنبه‌هایی مانند وضوح، انطباق با دستورالعمل و ریسک بالقوه برای بیمار را مورد ارزیابی قرار دهند.

نتایج این تحقیق در نشریه «The Journal of Neurology» منتشر شد.