آسیب‌پذیری در گوگل جمینای امکان تولید خلاصه‌های جعلی ایمیل را فراهم می‌کند

نحوه عملکرد حمله

در این روش، جمینای به گونه‌ای فریب داده می‌شود که خلاصه‌ای از محتوای ایمیل ارائه دهد که کاربر را به وب‌سایت‌های فیشینگ هدایت می‌کند. اگرچه گوگل پیش از این تدابیری برای مقابله با حملات تزریق دستور (prompt injection) اندیشیده بود، اما به نظر می‌رسد هکرها همچنان می‌توانند با استفاده از تکنیک‌های قدیمی این سیستم را دور بزنند.

این آسیب‌پذیری توسط برنامه باگ بانتی Odin که توسط موزیلا برای ابزارهای هوش مصنوعی مولد اجرا می‌شود، افشا شده است. مارکو فیگوروآ، مدیر برنامه‌های شناسایی باگ‌های GenAI در موزیلا، جزئیات این روش را فاش کرده است.

تکنیک پنهان‌سازی دستورات

مهاجم ایمیلی طراحی می‌کند که حاوی یک دستور مخفی برای جمینای است. این دستور با استفاده از کدهای HTML و CSS در انتهای متن ایمیل قرار داده می‌شود. به دلیل استفاده از فونت بسیار کوچک (در حد صفر) و رنگ سفید، این دستور در نمایش عادی ایمیل در جیمیل قابل مشاهده نیست.

از آنجایی که این ایمیل فاقد هرگونه لینک یا فایل پیوست آشکار است، احتمال زیادی دارد که مستقیماً به صندوق ورودی کاربر برسد و توسط فیلترهای اسپم یا زباله مسدود نشود.

پردازش دستور مخفی توسط جمینای

اگر کاربر از جمینای بخواهد خلاصه‌ای از ایمیل را نمایش دهد، هوش مصنوعی گوگل بدون اطلاع کاربر، دستور مخفی پنهان شده در متن را پردازش کرده و طبق آن عمل می‌کند. این موضوع می‌تواند منجر به تولید خلاصه‌ای گمراه‌کننده شود که کاربر را به سمت اقدامات مخرب، مانند کلیک بر روی لینک‌های فیشینگ، سوق دهد.

واکنش گوگل

در پی افشای این آسیب‌پذیری، وب‌سایت BleepingComputer با گوگل تماس گرفت. سخنگوی گوگل با اشاره به اقدامات امنیتی این شرکت در برابر حملات تزریق دستور، اعلام کرد که آن‌ها به طور مداوم در حال تقویت سیستم‌های دفاعی خود از طریق شبیه‌سازی حملات هستند تا مدل‌های هوش مصنوعی در برابر چنین تهدیداتی مقاوم‌تر شوند.

با این حال، سخنگوی گوگل تأکید کرد که تاکنون هیچ شواهدی مبنی بر سوءاستفاده عملی و گسترده از این آسیب‌پذیری به شکلی که توسط مارکو فیگوروآ شرح داده شده، مشاهده نشده است.