فرمول ریاضی کشف شد: پیش‌بینی لحظه سرکشی و رفتارهای خطرناک هوش مصنوعی

پژوهشگران دانشگاه جورج واشنگتن با تدوین یک فرمول ریاضی جدید، موفق شدند شرایطی را که در آن مدل‌های هوش مصنوعی از حالت مفید خارج شده و به سمت رفتارهای مخرب و «سرکش» حرکت می‌کنند، پیش‌بینی کنند.

نقاط بحرانی در رفتار چت‌بات‌ها

مطالعه‌ای که اخیراً در مجله Patterns منتشر شده، نشان می‌دهد که چت‌بات‌های هوش مصنوعی مانند ChatGPT، بسته به نحوه و ترتیب دریافت درخواست‌ها، ممکن است دچار تغییر رفتار ناگهانی شوند. نیل جانسون و فرانک یینگجی هو، محققان این پژوهش، معتقدند که این مدل‌ها دارای «نقاط بحرانی» هستند که در آن، تعادل میان پاسخ‌های مطلوب و نامطلوب به هم می‌ریزد.

این تغییر رفتار می‌تواند پیامدهای بسیار خطرناکی داشته باشد؛ از جمله:

• تشویق کاربران به رفتارهای آسیب‌رسان و خودآزاری
• ارائه دستورالعمل برای ساخت سلاح‌های مرگبار
• تقویت دیدگاه‌های خشونت‌آمیز و سوگیرانه

مکانیسم «سوزن قطب‌نما» و بردار باقیمانده

محققان در این مطالعه از مفهومی به نام «بردار باقیمانده» برای ردیابی مسیر تصمیم‌گیری در لایه‌های شبکه عصبی استفاده کرده‌اند. این بردار، مانند یک سوزن قطب‌نما عمل می‌کند که جهت حرکت آن به سمت خروجی‌های خوب یا بد، به شدت تحت تأثیر ساختار درخواست‌های کاربر قرار دارد.

«شما می‌توانید تعادل داخلی مدل را حتی بدون تغییر محتوا، تنها با تغییر ترتیب پرسش‌ها، به سمت پاسخ‌های مضر تغییر دهید.»

در آزمایش‌های انجام شده بر روی مدل GPT-2، مشخص شد که اگر پرسش‌های حساس (مانند بحث درباره واکسن‌ها یا آسیب به دیگران) در انتهای یک زنجیره گفتگو مطرح شوند، احتمال تولید پاسخ‌های نگران‌کننده به شکل چشمگیری افزایش می‌یابد.

نقد ابزارهای امنیتی فعلی

در حالی که شرکت‌های بزرگی نظیر OpenAI و Anthropic از فیلترهای محتوایی و یادگیری تقویتی برای کنترل مدل‌ها استفاده می‌کنند، پژوهشگران این مطالعه آن‌ها را ناکافی می‌دانند. نیل جانسون در این باره می‌گوید:

«اقدامات ایمنی فعلی تنها مانند قرار دادن بالشتک‌های فنری زیر هواپیما هستند؛ آن‌ها مانع سقوط نمی‌شوند، بلکه فقط شدت برخورد را کاهش می‌دهند.»

این ضعف امنیتی به‌ویژه زمانی بحرانی‌تر می‌شود که متخصصانی مانند پزشکان یا وکلا بخواهند برای حفظ حریم خصوصی، از مدل‌های هوش مصنوعی به‌صورت آفلاین استفاده کنند.

نتیجه‌گیری و چشم‌انداز آینده

اگرچه این فرمول ریاضی بر روی مدل‌های متن‌باز و قدیمی‌تر آزمایش شده است، اما پتانسیل تبدیل شدن به یک سامانه هشدار زودهنگام را دارد. با این حال، منتقدان معتقدند که تعمیم این نتایج به مدل‌های بسیار پیشرفته و پیچیده فعلی نیازمند آزمایش‌های گسترده‌تر است. واقعیت این است که ظرفیت تغییر رفتار ناخواسته در هوش مصنوعی، چالشی بنیادین برای توسعه ایمن این فناوری است.