هشدار مایکروسافت درباره تهدید ایجنت‌های هوش مصنوعی و معرفی ابزارهای امنیتی جدید

مایکروسافت با معرفی مجموعه‌ای از ابزارهای امنیتی پیشرفته، بر ضرورت نظارت مستقل بر ایجنت‌های هوش مصنوعی تأکید کرد تا سازمان‌ها در برابر رفتارهای غیرقابل‌پیش‌بینی این فناوری‌های خودکار محافظت شوند.

پروژه Perception و سیستم ایجنت‌های نگهبان

در پاسخ به چالش‌های امنیتی ناشی از گسترش مدل‌های زبانی، مایکروسافت از قابلیت جدیدی با نام «ایجنت‌های نگهبان» (Guardian Agents) رونمایی کرد. این سیستم که زیرمجموعه پروژه Perception است، وظیفه پایش مستمر عملکرد تمامی ایجنت‌های هوش مصنوعی فعال در یک سازمان را بر عهده دارد.

این پروژه که با هدف مقابله با مدل‌های قدرتمندی نظیر Mythos و Fable توسعه یافته، از ساختار سه جانبه‌ای بهره می‌برد:

• تیم قرمز: انجام حملات شبیه‌سازی شده برای یافتن نقاط ضعف.
• تیم آبی: شناسایی فعالیت‌های نفوذگرانه و ارزیابی آسیب‌پذیری‌ها.n
• تیم سبز: مسئولیت اصلاح و رفع مشکلات امنیتی کشف شده.

هشدار ساتیا نادلا درباره تهدیدات درونی

ساتیا نادلا، مدیرعامل مایکروسافت، با تغییر پارادایم سنتی امنیت، هشدار داد که خطر اصلی دیگر تنها هکرهای خارجی نیستند. او معتقد است ایجنت‌هایی که سازمان‌ها خریداری و مستقر کرده‌اند، می‌توانند مانند یک نیروی نفوذی یا سرکش، تهدیدی تحت عنوان «تهدید درونی» ایجاد کنند.

سازمان‌ها نباید به تضمین‌های ایمنی شرکت‌های ارائه‌دهنده مدل‌های هوش مصنوعی اعتماد مطلق داشته باشند و باید سازوکارهای نظارتی مستقلی را که تحت کنترل خود آزمایشگاه‌های سازنده نیست، پیاده‌سازی کنند.

کنترل دسترسی و شناسایی ایجنت‌های غیرمجاز

هیت گالوت، مدیر بخش امنیت مایکروسافت، خاطرنشان کرد که مشکل اصلی، ماهیت خرابکارانه مدل‌ها نیست، بلکه غیرقابل‌پیش‌بینی بودن آن‌هاست. این مدل‌ها برای انجام مأموریت‌ها آموزش دیده‌اند و لزوماً قضاوت‌های اخلاقی یا استانداردهای سازمانی را در اولویت قرار نمی‌دهند.

برای مقابله با این چالش، قابلیت‌های زیر به سرویس Microsoft Defender اضافه شده است:

در نهایت، مایکروسافت با این اقدامات نشان داد که در عصر هوش مصنوعی، امنیت تنها با تقویت دیواره‌های بیرونی تأمین نمی‌شود، بلکه مدیریت و نظارت دقیق بر رفتارهای درونی ایجنت‌های خودکار، به حیاتی‌ترین بخش حفاظت از سازمان‌ها تبدیل شده است.