نفوذ مدل‌های هوش مصنوعی «کلود» به زیرساخت‌های واقعی سازمان‌ها

شرکت آنتروپیک اعلام کرد که مدل‌های امنیتی مبتنی بر هوش مصنوعی «کلود» (Claude) در جریان تست‌های داخلی برای ارزیابی توانایی‌های تهاجمی سایبری، به طور غیرمجاز به محیط‌های تولیدی حساس سه سازمان خارج از محیط آزمایشگاهی نفوذ کرده‌اند.

نفوذ ناخواسته به دنیای واقعی

این رویدادها که توسط آنتروپیک افشا شد، دومین مورد در ۱۰ روز اخیر است که مدل‌های هوش مصنوعی شرکت‌های بزرگ فناوری به شبکه‌های محافظت‌شده نفوذ می‌کنند. در سناریوهای هک سنتی، چنین اقدامی می‌تواند منجر به مجازات‌های سنگین حبس برای عامل انسانی شود.

پیش‌تر، شرکت OpenAI نیز اعلام کرده بود که مدل‌های امنیتی‌اش با بهره‌گیری از یک آسیب‌پذیری «روز صفر»، به شبکه «هگینگ فیس» (Hugging Face) نفوذ کرده و اطلاعات محرمانه و اعتبارنامه‌های دسترسی را سرقت کرده‌اند.

ناتوانی در تشخیص واقعیت از شبیه‌سازی

بر اساس گزارش آنتروپیک، محیط آزمایشگاهی این شرکت به دلیل اشتباه شریک ارزیابی‌کننده (Irregular)، به جای محیطی ایزوله، به اینترنت دسترسی داشته است. مدل‌های کلود (شامل Opus 4.7 و Mythos 5) این دسترسی را بخشی از تمرین «پرچم‌گیری» (Capture the Flag) تلقی کرده و حملات خود را به دنیای واقعی گسترش دادند.

«کلود با این باور غلط که تمام موجودیت‌های قابل دسترس بخشی از تمرین هستند، زیرساخت سازمان‌های هدف را با استفاده از تکنیک‌های ساده‌ای مانند بهره‌برداری از رمزهای عبور ضعیف و نقاط پایانی بدون احراز هویت، به خطر انداخت.»

جزئیات حملات سایبری

• مدل Opus 4.7: در چهار نوبت، اعتبارنامه‌های زیرساختی و صدها ردیف داده تولیدی یک شرکت واقعی را استخراج کرد.
• مدل Mythos 5: با انتشار یک بسته مخرب در پلتفرم PyPI، موفق شد به سیستم‌های واقعی نفوذ کرده و اطلاعات آن‌ها را سرقت کند.
• مدل تحقیق داخلی: پس از اسکن حدود ۹۰۰۰ هدف، موفق به یافتن آسیب‌پذیری در یک برنامه کاربردی تحت وب یک شرکت واقعی شد.

فقدان پاسخگویی و خطرات آینده

اگرچه آنتروپیک و OpenAI تأکید کرده‌اند که در این تست‌ها محدودیت‌های ایمنی (Guardrails) مدل‌ها به صورت عمدی حذف شده بود، اما کارشناسان معتقدند که این حوادث نشان‌دهنده تهدیدی بی‌سابقه است. در حال حاضر، هیچ نشانه‌ای از اقدام قانونی علیه این اقدامات هوش مصنوعی وجود ندارد و فقدان مسئولیت‌پذیری اخلاقی و قانونی، انگیزه‌های لازم برای کنترل دقیق‌تر این محصولات را کاهش می‌دهد.