هوش مصنوعی دروغ‌ها را به خاطر می‌سپارد و هفته‌ها بعد استفاده می‌کند

مسمومیت حافظه هوش مصنوعی می‌تواند مدل‌های پیشرفته را فریب دهد تا اطلاعات نادرست را برای ماه‌ها به خاطر بسپارند و از آن‌ها در تعاملات بعدی خود استفاده کنند.

محققان در بخش امنیتی خود، آسیب‌پذیری هوش مصنوعی جدیدی را کشف کرده‌اند که نگرانی‌های جدی در مورد اعتمادپذیری دستیاران هوش مصنوعی ایجاد می‌کند. این کشف نشان می‌دهد چگونه عامل‌های هوش مصنوعی می‌توانند با داده‌های غلط مسموم شوند و آن‌ها را به عنوان حقایق معتبر ذخیره کنند. یافته‌ها در مورد چگونگی سوءاستفاده از حافظه بلندمدت هوش مصنوعی، تبعات گسترده‌ای برای امنیت و کاربرد سیستم‌های هوش مصنوعی دارد.

حمله‌ای ساده با نتایجی مخرب

یک عامل هوش مصنوعی (ایجنت) می‌تواند با خواندن متون مخفی در صفحات وب، اطلاعات نادرست را به عنوان یک واقعیت دائمی در حافظه بلندمدت خود ذخیره کند. این اطلاعات جعلی هفته‌ها بعد، در کارهای نامربوط دیگر، توسط هوش مصنوعی بازیابی و مورد اعتماد قرار می‌گیرد. این روش که مسمومیت حافظه پایدار نام دارد، یک آسیب‌پذیری امنیتی جدی است.

حمله مذکور تحت عنوان MINJA (Memory INJection Attack) در مجامع آکادمیک معرفی شد. این حمله بدون نیاز به دسترسی‌های ویژه یا امتیازات بالا، فقط با ارسال درخواست‌های عادی از طریق رابط کاربری استاندارد انجام می‌شود. این تهدید برای محصولات پرکاربردی همچون دستیارهای هوش مصنوعی و پلتفرم‌های ابری همچنان قابل توجه است.

راهکار امنیتی: حافظه قابل بازرسی

برای مقابله با این پدیده، پیشنهاد می‌شود که به‌جای اینکه خاطرات استخراج شده را به عنوان حقایق مطلق در نظر بگیریم، آن‌ها را به عنوان اشیایی قابل بازرسی تلقی کنیم. این رویکرد شامل ذخیره هر حافظه به همراه فراداده‌هایی مانند منبع، نوع منبع، تایید کاربر و یک امتیاز ریسک است.

تشخیص تناقض نیز در این طرح مهم است؛ اگر یک حافظه جدید با اطلاعات موجود در تضاد باشد، سیستم تعارض را علامت‌گذاری کرده و آیتم جدید را برای تایید کاربر نگه می‌دارد، به جای آنکه آن را به‌طور خودکار بازنویسی کند.

اطلاعات حساس مانند دستورالعمل‌های پرداخت، جزئیات بانکی یا تنظیمات امنیتی نیز وزن بالاتری دریافت می‌کنند. با این حال، هیچ یک از این روش‌ها مشکل اساسی را حل نمی‌کند و عامل‌های هوش مصنوعی، حافظه بازیابی‌شده را به عنوان تجربه خود می‌دانند، نه صرفاً یک ورودی.