توهم تفکر: پژوهش اپل نشان می‌دهد هوش مصنوعی فقط «نقش بازی می‌کند»

«مشکل کنکور» هوش مصنوعی: آلودگی داده‌ها

پژوهشگران اپل، اولین چالش در سنجش هوش مصنوعی را به «لو رفتن سوالات کنکور» تشبیه می‌کنند. مدل‌های هوش مصنوعی برای آموزش، کل اینترنت را زیرورو کرده‌اند و این نگرانی وجود دارد که سوالات آزمون‌های ریاضی و برنامه‌نویسی، قبلاً به همراه پاسخ‌هایشان در داده‌های آموزشی آن‌ها وجود داشته باشد. در این حالت، هوش مصنوعی مسئله را حل نمی‌کند، بلکه صرفاً جواب حفظ‌شده را «به یاد می‌آورد».

هوش مصنوعی مسئله را حل نمی‌کند، بلکه جوابِ حفظ‌کرده را «به یاد می‌آورد».

این فرضیه در عمل نیز ثابت شد. مدل‌ها در آزمون ریاضی جدیدتر (AIME25) که سوالاتش کمتر در اینترنت موجود بود، عملکرد ضعیف‌تری نسبت به آزمون قدیمی‌تر (AIME24) از خود نشان دادند. این نتایج بر لزوم ایجاد یک زمین بازی جدید و عادلانه برای سنجش هوش واقعی تأکید می‌کند.

زمین بازی جدید: پازل‌های منطقی

برای غلبه بر مشکل آلودگی داده، پژوهشگران اپل به سراغ پازل‌ها و معماهای فکری رفتند. این بازی‌ها با قوانین ساده اما نیازمند منطق و برنامه‌ریزی، مزیت بزرگی دارند: قابلیت افزایش تدریجی سختی و اطمینان از عدم وجود پاسخ آن‌ها در داده‌های آموزشی مدل‌ها.

چهار بازی مورد استفاده در این پژوهش عبارت بودند از:

• برج هانوی: بازی فکری قدیمی جابه‌جایی دیسک‌ها بین سه میله.
• عبور از رودخانه: معمای انتقال افراد با قایق و رعایت شرایط خاص.
• دنیای بلوک‌ها: نوعی لگوبازی پیشرفته برای رسیدن به چیدمان هدف.
• پرش چکرز: بازی صفحه‌ای ساده برای جابه‌جایی مهره‌ها.

این پازل‌ها امکان می‌دهند تا با افزایش تدریجی پیچیدگی، عملکرد هوش مصنوعی در هر مرحله و نقطه ضعف آن به دقت بررسی شود.

یافته‌های پژوهش: سه پرده از عملکرد هوش مصنوعی

نتایج این آزمایش‌ها، عملکرد مدل‌های هوش مصنوعی را در سه سناریوی متفاوت نشان می‌دهد:

۱. مسائل ساده: بیش‌اندیشی

در پازل‌های ساده، مدل‌های معمولی سریع‌تر و دقیق‌تر از مدل‌های «متفکر» عمل کردند. این پدیده که «بیش‌اندیشی» (Overthinking) نامیده می‌شود، نشان داد که تفکر اضافی در مسائل ساده می‌تواند دست‌وپاگیر باشد و منجر به خطا شود.

۲. مسائل متوسط: درخشش مدل‌های متفکر

با افزایش پیچیدگی پازل‌ها، مدل‌های متفکر توانایی خود را نشان دادند. قابلیت نمایش مراحل فکر به آن‌ها کمک کرد تا مسائل با پیچیدگی متوسط را بهتر از مدل‌های معمولی حل کنند و سرمایه‌گذاری محاسباتی آن‌ها نتیجه داد.

۳. مسائل دشوار: فروپاشی کامل

تراژیک‌ترین بخش ماجرا زمانی رخ داد که پیچیدگی از یک حد مشخص فراتر رفت (مثلاً برج هانوی با بیش از ۸ دیسک). در این نقطه، تمام مدل‌ها، چه متفکر و چه معمولی، به طور کامل شکست خوردند و دقتشان به صفر رسید.

وقتی پیچیدگی از یک حدی فراتر رفت، دقت همه مدل‌ها به صفر رسید.

این نشان می‌دهد که قابلیت تفکر در هوش مصنوعی نامحدود نیست و تنها «دیوار» شکست را کمی عقب‌تر می‌برد، اما در نهایت، این مدل‌ها در مواجهه با مسائل بسیار پیچیده از کار می‌افتند.

نقطه تسلیم: کاهش تلاش با افزایش سختی

یکی از عجیب‌ترین یافته‌های این مطالعه، رفتار مدل‌ها در مواجهه با سختی است. برخلاف انسان‌ها که با مسائل دشوار بیشتر فکر می‌کنند، هوش مصنوعی برعکس عمل می‌کند. نمودارها نشان دادند که مدل‌ها با سخت‌تر شدن پازل، میزان «تفکر» خود را تا یک حد محدودی افزایش می‌دهند، اما به محض نزدیک شدن به مرز فروپاشی، به طور ناگهانی کمتر فکر کرده و از تلاش برای حل مسئله دست می‌کشند.

این رفتار نشان‌دهنده یک نقص اساسی در معماری سیستم‌های هوش مصنوعی کنونی است.

رفتارهای گیج‌کننده: محدودیت‌های پنهان

تحلیل عمیق‌تر ردپای تفکر مدل‌های هوش مصنوعی، محدودیت‌های بیشتری را آشکار کرد:

• ناتوانی در اجرای دستورالعمل: حتی با ارائه الگوریتم کامل حل برج هانوی به هوش مصنوعی، عملکرد مدل تغییری نکرد و باز هم در همان نقطه شکست خورد. این نشان می‌دهد که مشکل این مدل‌ها تنها در «نقشه‌کشی» نیست، بلکه در «اجرای قدم به قدم» یک نقشه دقیق نیز ضعف دارند.
• حافظه قوی، نه هوش واقعی: مدل در پازل برج هانوی (که مثال‌های مشابه آن در اینترنت فراوان است) عالی عمل کرد، اما در معمای عبور از رودخانه (که کمتر یافت می‌شود) به سرعت شکست خورد. این نشان می‌دهد که عملکرد خوب مدل بیشتر ناشی از «به خاطر سپردن» الگوهای تکراری است تا «استدلال» منطقی در موقعیت‌های جدید.

معنای این نتایج برای ما

پژوهش «توهم تفکر» یک هشدار جدی برای کاربران هوش مصنوعی است:

• گول ظاهر را نخورید: پاسخ‌های طولانی و پر از مراحل «فکر کردن» هوش مصنوعی ممکن است صرفاً یک نمایش متقاعدکننده باشد.
• مدل‌ها حافظه‌های قوی هستند، نه ذهن‌های خلاق: توانایی اصلی هوش مصنوعی در به یاد آوردن و ترکیب الگوهای دیده شده است، نه خلق راه‌حل‌های کاملاً جدید از طریق منطق خالص.
• راه درازی تا هوش واقعی: صرفاً بزرگ‌تر کردن مدل‌ها و خوراندن داده‌های بیشتر به آن‌ها، به هوش عمومی مصنوعی (AGI) منجر نمی‌شود. برای رسیدن به آن نقطه، به نوآوری‌های بنیادین در معماری و روش‌های یادگیری نیاز داریم.

این پژوهش، هوش مصنوعی را از یک «پدیده جادویی» به یک «فناوری قابل تحلیل» تبدیل می‌کند و به ما کمک می‌کند با دیدی واقع‌بینانه‌تر با آن روبه‌رو شویم. این مدل‌ها ابزارهای شگفت‌انگیزی هستند، اما شناخت محدودیت‌هایشان ضروری است تا بدانیم پشت آن نمایش پرزرق‌وبرق تفکر و استدلال، هنوز یک ذهن واقعی وجود ندارد.