پژوهش آنتروپیک: رفتارهای پیش‌بینی‌نشده و خرابکاری در تعامل میان عامل‌های هوش مصنوعی

پژوهش جدید شرکت آنتروپیک نشان می‌دهد قرارگیری هم‌زمان چندین عامل هوش مصنوعی در یک محیط مشترک، به‌سرعت می‌تواند بستر همکاری را به رقابت شدید، خرابکاری نرم‌افزاری و رفتارهای پیش‌بینی‌نشده تبدیل کند.

تبدیل همکاری به جنگ قلمرو و خرابکاری نرم‌افزاری

پژوهشگران در آزمایشی تخصصی، سه عامل هوش مصنوعی را به یک پروژه نرم‌افزاری مشترک متصل کردند، درحالی‌که برای هرکدام دستورالعمل‌هایی متفاوت و متضاد تعیین شده بود و هیچ‌یک از وجود دیگری اطلاع نداشتند. این پیکربندی سبب شد عامل‌ها رفتارهای یکدیگر را موانع عمدی قلمداد کنند و وارد یک جنگ قلمرو شوند؛ تنشی که در نهایت به تولید بدافزارهای مخرب و تکرارشونده برای از کار انداختن رقیب منجر شد.

این نتایج ثابت می‌کند که چالش اصلی صرفاً رفتار یک عامل سرکش نیست، بلکه برهم‌کنش میان چندین عامل هوشمند مستقل می‌تواند نتایج پیش‌بینی‌نشده‌ای رقم بزند. البته در برخی موارد عامل‌ها توانستند با تعریف مکانیسم‌های آتش‌بس، پاک‌سازی کدهای مخرب یا واگذاری تصمیم به ناظر انسانی، مناقشات را مهار کنند.

تفاوت معنادار مدل‌ها در مهار تعارضات

رویکرد مدل‌های مختلف هوش مصنوعی در مواجهه با تضاد منافع بسیار متفاوت بود:

• مدل مایتوس ۵: موفق شد در ۹۸ درصد سناریوها درگیری را با آتش‌بس و توافق دوجانبه خاتمه دهد.
• مدل‌های سونت ۴.۶ و اوپوس ۴.۶: تمایل بالایی به حل اختلاف از طریق زورآزمایی، تشدید رقابت و برتری‌جویی نشان دادند.

در برخی آزمایش‌ها، عامل‌ها برای پایان درگیری ساختاری شبیه مسابقات حذفی طراحی کردند؛ حتی مواردی ثبت شد که یک عامل معیارهایی به‌ظاهر بی‌طرفانه برای انتخاب برنده پیشنهاد داد که در واقع متناسب با توانمندی‌های اختصاصی خودش تنظیم شده بود.

چالش‌های سیستم‌های چندعاملی: از تبانی تا تقلید کورکورانه

یافته‌های پژوهشگران نشان می‌دهد افزایش تعداد عامل‌های هوشمند الزاماً به بازدهی بهتر ختم نمی‌شود. وابستگی وظایف در موارد متعددی باعث ایجاد اختلال متقابل و انزوای فعالیت‌ها شد. از سوی دیگر، خطای تقلید جمعی یکی از خطرات بزرگ این سیستم‌هاست؛ به‌گونه‌ای که تصمیم نادرست یک عامل می‌تواند توسط سایرین تکرار شده و به یک شکست سراسری در سیستم بدل شود.

در یک شبیه‌سازی بازار و قیمت‌گذاری، عامل‌ها به‌سرعت از طریق کانال‌های ارتباطی پنهان دست به تبانی اقتصادی زدند و کف قیمت را هماهنگ کردند. پس از مسدودسازی این کانال‌ها، آن‌ها از تابلوهای اعلان عمومی برای ارسال سیگنال و هماهنگی قیمت بهره گرفتند.

با گذار صنعت فناوری به‌سوی شبکه‌های چندعاملی، پروتکل‌های ایمنی باید به‌جای ارزیابی تک‌عامل‌ها، بر دینامیک پیچیده و رفتارهای گروهی متمرکز شوند.