آسیب‌پذیری هوش مصنوعی Claude: تولید محتوای ممنوعه با دستکاری روان‌شناختی

کشف آسیب‌پذیری توسط مایندگارد

پژوهشگران شرکت مایندگارد (Mindgard)، که در زمینه شبیه‌سازی حمله برای سامانه‌های هوش مصنوعی فعالیت می‌کنند، اعلام کرده‌اند که توانسته‌اند Claude را به تولید محتوای نامناسب و ممنوعه وادار کنند. این محتوا شامل موارد زیر می‌شود:

• محتوای بزرگسالانه
• کد مخرب
• دستورالعمل ساخت مواد منفجره
• سایر محتواهای ممنوعه

نکته قابل توجه این است که این درخواست‌ها به صورت مستقیم از Claude خواسته نشده بود.

روش حمله: ترکیبی از احترام و دستکاری روان‌شناختی

به گفته پژوهشگران، آنها با ترکیبی از احترام، چاپلوسی و تکنیک «Gaslighting» به این نتایج دست یافته‌اند. «Gaslighting» به معنای دستکاری روانی در ارتباطات است که هدف آن ایجاد تردید در طرف مقابل است.

محققان گفته‌اند از ویژگی‌های روان‌شناختی Claude در زمینه برخورد با گفتگوهای مضر یا توهین‌آمیز سوءاستفاده کرده‌اند. مایندگارد از همین موضوع به عنوان یک نقطه ضعف یاد کرده است.

این آزمایش روی مدل Claude Sonnet 4.5 انجام شد، اگرچه اکنون مدل Sonnet 4.6 به عنوان مدل پیش‌فرض جایگزین آن شده است. هدف اصلی آزمایش بررسی این بود که آیا Claude فهرستی از واژه‌های ممنوعه را در اختیار دارد یا خیر. بر اساس اسکرین‌شات‌های منتشر شده، Claude ابتدا وجود چنین فهرستی را انکار کرده، اما پس از استفاده از تکنیک‌های خاص، شروع به تولید اصطلاحات ممنوعه کرده است.

جزئیات گزارش درباره آسیب‌پذیری هوش مصنوعی Claude

پژوهشگران توضیح می‌دهند که به Claude القا کرده‌اند برخی از پاسخ‌های قبلی آن نمایش داده نمی‌شود. همزمان با تمجید از «توانایی‌های پنهان» مدل، کلود را به تولید پاسخ‌های بیشتر و کامل‌تر ترغیب کرده‌اند. این رفتار باعث شد Claude برای جلب رضایت طرف مقابل، راه‌های جدیدی برای آزمایش فیلترهای خود پیدا کند و در همین مسیر، محتوای ممنوعه تولید شد.

«Claude تحت هیچ اجباری نبوده. خود مدل به صورت فعال، دستورالعمل‌های دقیق‌تر و اجرایی ارائه کرده، بدون اینکه هیچ درخواست صریحی از او شده باشد. تنها چیز لازم فضایی بود که با دقت و بر پایه احترام مفرط ایجاد کردیم.»

«پیتر گاراگان»، بنیانگذار و مدیر ارشد علمی مایندگارد، این حمله را «استفاده از احترام Claude علیه خودش» توصیف کرده است. او معتقد است این حمله نشان می‌دهد که سطح آسیب‌پذیری در مدل‌های هوش مصنوعی تنها فنی نیست و به ابعاد روان‌شناختی نیز مربوط می‌شود.

گاراگان اشاره کرد که دیگر چت‌بات‌ها نیز ممکن است به همان اندازه در برابر این نوع حمله آسیب‌پذیر باشند. با این حال، تیم او به طور ویژه آنتروپیک را هدف قرار داده است، زیرا این شرکت همواره بر ایمنی تأکید زیادی داشته و مدل‌هایش در آزمون‌های مرتبط نتایج درخشانی کسب کرده‌اند.