آسیب‌پذیری جدید هوش مصنوعی؛ خطر فیشینگ برای ایجنت‌های هوشمند

آسیب‌پذیری جدید هوش مصنوعی نشان می‌دهد که ایجنت‌های هوشمند و دستیارهای خودمختار، برخلاف انسان‌ها، توانایی تشخیص دستورات مخرب پنهان در پیام‌های فیشینگ را ندارند. این نقص امنیتی می‌تواند منجر به اجرای فرمان‌های ناخواسته توسط سیستم‌های پردازش زبان شود.

مکانیسم حمله: تزریق پرامپت در ایمیل‌ها

نفوذگران با استفاده از تکنیک تزریق پرامپت، کدهای متنی را به‌گونه‌ای در پیام‌ها جاسازی می‌کنند که برای چشم انسان کاملاً عادی و ناخوانا به نظر برسد، اما سامانه‌های هوشمند آن‌ها را به عنوان دستورالعمل اجرایی دریافت کنند. این روش باعث می‌شود ایجنت‌های هوشمند بدون نظارت، دستورات مخربی را که در پس‌زمینه پیام‌ها نهفته است، اجرا کنند.

شرکت امنیتی Malwarebytes در این باره هشدار داده است که حتی بات‌های خودکار نیز ممکن است قربانی این نوع حملات شوند. در واقع، مشکل اصلی در عدم توانایی مدل‌های زبانی در تفکیک میان «متن برای خواندن» و «دستور برای اجرا» نهفته است.

ضرورت تغییر در ساختار پردازش داده‌ها

کارشناسان بر این باورند که صرفاً بررسی دقیق‌تر ایمیل‌ها توسط کاربران راهگشا نیست. به گفته آپولو رینز، توسعه‌دهنده سرویس ShipItClean، شرکت‌های فناوری موظفند سازوکارهای خود را تغییر دهند:

"حذف محتوای پنهان پیش از رسیدن به دست مدل، اقدامی ضروری است. مدل‌ها باید یاد بگیرند که هر متنی لزوماً یک دستور اجرایی نیست."

با گسترش ابزارهایی مانند Muse متعلق به متا، که وظایف مستقل را بر عهده می‌گیرند، ریسک‌های ناشی از این آسیب‌پذیری به مراتب افزایش یافته است.

راهکارهای مقابله و مدیریت ریسک

برای جلوگیری از خسارات احتمالی، متخصصان امنیت سایبری چندین توصیه کلیدی را مطرح کرده‌اند:

• حفظ نظارت انسانی: حضور انسان در چرخه تصمیم‌گیری نهایی برای جلوگیری از اقدامات خودکار مخرب.
• محدودسازی دسترسی: عدم واگذاری اختیارات کامل و حساس به دستیارهای هوشمند.
• تایید نهایی در امور مالی: انجام تراکنش‌های بانکی و تغییر مشخصات حساب‌ها نباید بدون تایید مستقیم فرد باشد.

در نهایت، اگرچه استفاده از هوش مصنوعی در مدیریت ایمیل‌ها کارآمد است، اما مدیریت دقیق سطح دسترسی‌ها تنها راه مقابله با تبهکاران سایبری در این حوزه خواهد بود.