فرانسوا شوله با طراحی آزمون ARCAGI نشان داد که هوش مصنوعی کنونی تنها بر اساس الگوهای داده ای عمل کرده و فاقد هوش سیال انسان است؛ حتی مدل های پیشرفته ای مانند GPT4 در مواجهه با چالش های جدید به وضوح ناتوان هستند.
نگار علی فرانسوا شوله، پژوهشگر فرانسوی و یکی از منتقدین سرسخت تکنولوژی هوش مصنوعی، بر این باور است که مدل های فعلی همچون ChatGPT تنها به «تقلید» از داده های آموزش دیده قدرت می گیرند و از هوش حقیقی بی بهره اند. او برای تأیید این نظر خویش، آزمونی به نام ARCAGI طراحی نموده است که قابلیت حل مسائل از ریشه را می سنجد.
هوش سیال در برابر هوش مصنوعی تقلیدی
هوش سیال (Fluid Intelligence): قدرت حل مسائل جدید بدون اتکا به دانش پیشین
هوش مصنوعی کنونی: تنها با داده های آموزشی آشنا بوده و معمولاً در مواجهه با چالش های تازه ناکام می ماند.
نتایج حیرت انگیز: GPT4 در این آزمون نمره «صفر» گرفت!
مدل های نامداری همچون GPT4، Gemini 1.5 و Claude 3 در مرحله اول این آزمون نمرات بسیار ناچیزی (بین ۰ تا ۱۴ درصد) به دست آوردند، در حالی که انسان ها به طور متوسط نمراتی بین ۶۰ تا ۷۰ درصد دریافت می کنند. حتی GPT4o که به عنوان یک مدل پیشرفته در استدلال شناخته می شد، تنها موفق به کسب ۵ درصد امتیاز شد!
پیشرفت غیرمنتظره OpenAI: مدل o3 با نمره ۸۷٪
در دسامبر ۲۰۲۳، OpenAI مدل o3 را معرفی کرد که با کسب ۸۷ درصد در آزمون ARCAGI، برای نخستین بار به سطح انسان رسید. این موفقیت شوله را شگفت زده کرد، اما او هنوز تردید دارد:«این مدل ها به جای اینکه به واسطه هوش سیال واقعی به نتایج برسند، با صرف هزینه های بسیار بالا (صدها هزار دلار برای حل هر مسئله) عمل می کنند!»
ARCAGI2: آزمونی سخت تر که دوباره هوش مصنوعی را به چالش کشید
شوله به تازگی نسخه دشوارتری از این آزمون (ARCAGI2) را انتشار داد که موجب افت شدید عملکرد مدل ها شد:
o3 از ۸۷٪ به زیر ۲٪ کاهش پیدا کرد!
مدل های دیگر (همچون Gemini و Claude) نیز نمرات زیر ۱٪ دریافت کردند.
آیا هوش مصنوعی واقعاً ساخته فکر می تواند باشد؟
حامیان (مانند سم آلتمن): معتقدند o3 گامی به جلو در جهت هوش مصنوعی عمومی (AGI) است.
منتقدان (همچون شوله): بر این باورند که این مدل ها تنها از طریق brute force (محاسبات انبوه) پاسخ می دهند، نه با بهره گیری از استدلال انسانی.
آینده نامشخص AGI: سودآوری یا هوش واقعی؟
شرکت هایی نظیر OpenAI به جای تمرکز صرف بر آزمون های مجرد، به کاربردهای عملی هوش مصنوعی (مانند وب گردی خودکار) توجه دارند. حتی تعریف آن ها از AGI به طور عمده اقتصادی است: نرم افزاری که بتواند ۱۰۰ میلیارد دلار سود ایجاد نماید!
شوله بر این باور است که تا زمانی که مدل ها نتوانند مانند کودکان مسائل جدید را از صفر یاد بگیرند، ادعای دستیابی به AGI تنها یک نمایش تبلیغاتی است. به نظر می رسد راه پیش روی دستیابی به هوش واقعی مصنوعی هنوز بسیار طولانی است.
theatlantic