در اواخر سال قبل، رسانه های جهانی به موضوع ظروف پلاستیکی پخت وپز با رنگ مشکی توجه کردند و بر این عقیده بودند که این ظروف ممکن است سطوح نگران کننده ای از مواد مرتبط با سرطان را شامل شوند. با این حال، به تدریج این نگرانی ها به واقعیت کمتر از آنچه تصور می شد، منتهی شد. در تحقیقات اولیه، یک اشتباه محاسباتی نشان داد که مقدار ماده شیمیایی خاصی فراتر از حد مجاز است، در حالی که در واقعیت میزان آن تقریباً ده برابر کمتر از برآوردهای اولیه بود. محققان به سرعت توانستند با استفاده از یک مدل هوش مصنوعی (AI) این نادرستی را در کسری از ثانیه شناسایی کنند.
براساس گزارش این اتفاق منجر به راه اندازی دو پروژه شده است که از هوش مصنوعی برای شناسایی خطاها در مقالات علمی بهره می برند. پروژه Black Spatula یک ابزار مبتنی بر هوش مصنوعی و متن باز است که تاکنون نزدیک به ۵۰۰ مقاله را در راستای شناسایی اشتباهات مورد بررسی قرار داده است. در این پروژه که شامل حدود هشت توسعه دهنده فعال و صدها مشاور داوطلب می باشد، تاکنون خطاها به صورت عمومی منتشر نشده اند. خواکین گولوسو (Joaquin Gulloso)، محقق مستقل هوش مصنوعی مستقر در کارتاژنا، کلمبیا، که در هماهنگی این پروژه نقش دارد، اظهار می دارد که به جای انتشار عمومی، به طور مستقیم با نویسندگان ارتباط برقرار می کند. او همچنین می افزاید که موفق به شناسایی تعداد قابل توجهی از خطاها شده اند و این فهرست نسبتاً بزرگ است.
به نقل از نیچر، مت اشلیخت، بنیان گذار و کارآفرین حوزه هوش مصنوعی، پروژه دیگری تحت عنوان YesNoError را معرفی کرده است که از ایده پروژه Black Spatula الهام گرفته شده است.
این ابتکار که از طریق ارز دیجیتال مختص به خود تأمین مالی می شود، اهدافی فراتر از انتظار دارد. او بیان می کند: چرا نباید مانند دیگران، به دقت اسناد را مورد بررسی قرار دهیم؟ ابزار هوش مصنوعی آن ها در مدت دو ماه موفق به تجزیه و تحلیل بیش از ۳۷ هزار مقاله شده و وب سایت این پروژه مقالاتی را که در آن ها خطاهایی شناسایی شده، مشخص می کند.
هر دو پروژه از محققان تقاضا دارند که قبل از ارسال مقالات به نشریات، از ابزارهای آن ها استفاده کنند و همچنین نشریات موظفند پیش از انتشار، نتایج را بررسی نمایند؛ هدف جلوگیری از بروز اشتباهات و تقلبات در پژوهش هاست.
این ابتکارات از حمایت آزمایشی کارکنان دانشگاهی برخوردارند. با این حال، نگرانی هایی نیز در خصوص خطرات احتمالی وجود دارد. میشل نویتن (Michèle Nuijten)، محقق بین رشته ای در دانشگاه تیلبورگ هلند، اظهار می کند که مشخص نیست این ابزارها در شناسایی خطاها تا چه اندازه موثر هستند و آیا ادعاهای آن ها به تأیید رسیده است یا خیر. او خاطرنشان می سازد که اگر افراد به خاطر باگ های احتمالی به اتهاماتی دچار شوند و بعد مشخص شود که هیچ خطایی وجود ندارد، این امر می تواند به اعتبار آن ها آسیب بزند.
برخی محققان بیان می کنند که اگرچه خطراتی وجود دارد و پروژه ها باید در ادعاهای خود محتاط باشند، اما هدف آن ها به طور کلی قابل قبول است. جیمز هدرز (James Heathers)، کارشناس پزشکی قانونی در دانشگاه لینائوس در وکسیو، سوئد، می گوید: در گام اول، هوش مصنوعی می تواند برای ارزیابی مقالات پیش از بررسی های بیشتر مورد استفاده قرار گیرد. او همچنین اضافه می کند: من از این ابتکارات حمایت می کنم.
کارمندان هوش مصنوعی
بسیاری از پژوهشگران، حرفه خود را به مطالعه دغدغه های مربوط به یکپارچگی مقالات اختصاص داده اند و ابزارهایی برای بررسی جنبه هایی از مقالات در دسترس است. اما طرفداران این حوزه امیدوارند که هوش مصنوعی بتواند توانایی انجام بازرسی های گسترده تر و مدیریت حجم بیشتری از مقالات را داشته باشد.
پروژه های Black Spatula و YesNoError از مدل های زبانی بزرگ (LLMs) برای شناسایی انواع خطاها در مقالات استفاده می کنند، که شامل خطاهای واقعی، خطا در محاسبات، روش شناسی و ارجاعات می شود.
این سیستم ها به طور اولیه اطلاعاتی از جمله جداول و تصاویر را از مقالات استخراج کرده و سپس دسته ای از دستورالعمل های پیچیده تولید می کنند که به بخش استدلالی مدل زبانی بزرگ گفته می شود چه نقاطی باید مدنظر قرار گیرد و چه نوع خطاهایی می بایست شناسایی شود. این مدل ممکن است یک مقاله را چندین بار بررسی کند یا هر بار به دنبال انواع خاصی از خطاها باشد یا نتایج را مورد بررسی قرار دهد. هزینه تحلیل هر مقاله به نوع و حجم آن بستگی دارد.
نرخ مثبت کاذب، که به مواردی اشاره دارد که سیستم هوش مصنوعی معتقد است خطایی وجود ندارد، یکی از چالش های اصلی است. گولوسو اعلام می کند که در حال حاضر، سیستم پروژه Black Spatula در حدود ۱۰ درصد از مواقع دچار خطا است.