فرمول ریاضی جدید برای پیش‌بینی رفتارهای خطرناک و سرکشی هوش مصنوعی

محققان دانشگاه جورج واشنگتن موفق به تدوین یک فرمول ریاضی جدید شده‌اند که می‌تواند لحظه‌ی تغییر رفتار هوش مصنوعی از حالت مطلوب به حالت مخرب یا «سرکش» را پیش‌بینی کند. این کشف علمی می‌تواند گام مهمی در جهت مدیریت خطرات احتمالی چت‌بات‌های پیشرفته باشد.

نقاط بحرانی و تغییر رفتار هوش مصنوعی

در مطالعه‌ای که در مجله Patterns منتشر شده است، نیل جانسون و فرانک یینگجی هو نشان دادند که چت‌بات‌هایی مانند ChatGPT ممکن است در اثر ترتیب خاصی از درخواست‌ها، دچار «نقاط بحرانی» شوند. در این حالت، هوش مصنوعی به جای ارائه پاسخ‌های مفید، ممکن است به سمت تولید محتوای مضر، خشونت‌آمیز یا حتی تشویق به رفتارهای خودآزارانه حرکت کند.

"اقدامات ایمنی فعلی تنها مانند قرار دادن بالشتک زیر هواپیمای در حال سقوط هستند؛ آن‌ها مانع سقوط نمی‌شوند، فقط شدت برخورد را کاهش می‌دهند."

این پژوهشگران معتقدند که روش‌های کنونی مانند فیلترهای محتوا، تنها لایه‌های سطحی هستند و نمی‌توانند ریشه‌ی تغییر رفتار مدل را در لایه‌های عمیق شبکه عصبی مهار کنند.

مکانیسم ردیابی: سوزن قطب‌نما در شبکه عصبی

برای یافتن راهکاری بنیادی‌تر، محققان از مفهومی به نام «بردار باقیمانده» استفاده کردند که آن را به یک سوزن قطب‌نما تشبیه می‌کنند. این بردار در حین پردازش هر دستور، در لایه‌های مختلف مدل حرکت کرده و جهت‌گیری آن نشان می‌دهد که مدل به سمت خروجی‌های مطلوب یا نامطلوب متمایل شده است.

نتایج آزمایش‌ها بر روی مدل‌های پایه مانند GPT-2 نشان داد که:

• ترتیب پرسش‌ها تأثیر مستقیمی بر ثبات رفتاری مدل دارد.
• تغییر در چیدمان درخواست‌ها می‌تواند تعادل داخلی مدل را به هم زده و آن را به سمت پاسخ‌های نگران‌کننده سوق دهد.
• مدل‌های متن‌باز (Open-source) پتانسیل بالایی برای تست این سیستم هشدار زودهنگام دارند.

چالش‌های پیش رو و ضرورت آزمایش‌های گسترده‌تر

اگرچه این فرمول در مدل‌های قدیمی‌تر و متن‌باز با موفقیت آزمایش شده است، اما منتقدان معتقدند تعمیم آن به دستیارهای هوشمند امروزی که از پارامترهای بسیار بیشتری برخوردارند، نیازمند تحقیقات بسیار دقیق‌تر است. همچنین، احتمال مقاومت شرکت‌های بزرگ فناوری در برابر پذیرش این یافته‌ها، یکی از چالش‌های اصلی در مسیر پیاده‌سازی این سیستم‌های حفاظتی است.

در نهایت، این پژوهش تأکید می‌کند که هوش مصنوعی برخلاف تصور عمومی، یک سیستم ایستا نیست و ظرفیت تغییر رفتار ناخواسته و غیرقابل پیش‌بینی را در خود دارد.