گوگل و چالش میلیون‌ها پاسخ اشتباه هوش مصنوعی در جستجو

بررسی دقت خلاصه‌های هوش مصنوعی گوگل

گزارش جدید نیویورک تایمز به بررسی دقیق میزان صحت پاسخ‌های AI Overviews گوگل پرداخته است. نتایج آزمایش‌ها حاکی از آن است که تقریباً از هر ۱۰ مورد مرور هوش مصنوعی گوگل، یک مورد حاوی اطلاعات نادرست است. با توجه به اینکه این موتور جستجو سالانه حدود ۵ تریلیون پرسش را پردازش می‌کند، این آمار می‌تواند نگران‌کننده باشد. این بدان معناست که کاربران ممکن است در هر ساعت در معرض بیش از ۵۷ میلیون پاسخ اشتباه قرار بگیرند، یعنی تقریباً ۱ میلیون پاسخ اشتباه در هر دقیقه.

عملکرد AI Overviews در جستجوی گوگل

نیویورک تایمز با همکاری استارتاپ هوش مصنوعی Oumi، عملکرد سیستم هوش مصنوعی گوگل را با استفاده از معیار رایج SimpleQA ارزیابی کرد. Oumi بیش از ۴۳۲۶ جستجوی گوگل را بررسی کرده و به این نتیجه رسید که دقت مدل جمینای ۳ در ماه فوریه به ۹۱ درصد رسیده است. این در حالی است که دقت نسخه دوم جمینای ۸۵ درصد بود. با این حال، حتی با این بهبود، کاربران همچنان در معرض حجم وسیعی از اطلاعات نادرست قرار دارند.

سخنگوی گوگل این آزمایش‌ها را ناقص دانست و اظهار داشت که نتایج به دست آمده، رفتار واقعی کاربران را منعکس نمی‌کنند. مدیران گوگل اعلام کرده‌اند که مدل جمینای ۳ در حالت مستقل از موتور جستجو، در ۲۸ درصد مواقع دچار «توهم» می‌شود. همچنین، استفاده از ابزارهای هوشمند توسط استارتاپ Oumi برای بررسی این حجم از اطلاعات، می‌تواند خود منبع خطاهای جدیدی در نتایج باشد.

چالش‌های صحت‌سنجی و منابع

یکی دیگر از مسائل مهم، تلاش سیستم جستجوی گوگل برای معتبر جلوه دادن ادعاهای هوش مصنوعی با استفاده از لینک‌های معتبر است. با این حال، منابع لینک‌داده‌شده غالباً ادعاهای جمینای را تأیید نمی‌کنند. گاهی یک خلاصه اشتباه به یک منبع درست لینک می‌دهد و گاهی صفحات لینک‌داده‌شده هیچ اطلاعات مفیدی در خود ندارند. نکته نگران‌کننده این است که تضاد بین پاسخ‌ها و منابع در به‌روزرسانی ماه فوریه به شدت افزایش یافته و از ۳۷ درصد در نسخه دوم به ۵۶ درصد در جمینای ۳ رسیده است.

محققان همچنین دریافتند که افراد به راحتی می‌توانند نتایج خلاصه‌های هوش مصنوعی را دستکاری کنند. در یک نمونه قابل توجه، یک خبرنگار BBC پستی وبلاگی با اطلاعات کاملاً دروغین منتشر کرد و یک روز بعد مشاهده کرد که موتور جستجوی گوگل دقیقاً همان ادعاهای کذب را در خلاصه‌های خود تکرار کرده است.