ساتیا نادلا: هوش مصنوعی باید دارای ترمز اضطراری و مکانیزم کنترل باشد

ساتیا نادلا، مدیرعامل مایکروسافت، در یادداشتی تحلیلی نسبت به خطرات احتمالی توسعه مدل‌های پیشرفته هوش مصنوعی هشدار داد و بر ضرورت ایجاد سازوکارهای کنترلی سخت‌گیرانه برای مهار این فناوری‌های در حال رشد تاکید کرد.

لزوم عبور از عصر «جعبه‌های سیاه» در هوش مصنوعی

نادلا معتقد است که نباید با سیستم‌های هوشمند به عنوان مجموعه‌ای از جعبه‌های سیاه تو در تو برخورد کرد که تنها خروجی آن‌ها پذیرفته یا رد می‌شود. از نظر او، صنعت باید به سمت ساخت زیرساخت‌هایی حرکت کند که ویژگی‌های زیر را داشته باشند:

• قابلیت مشاهده: امکان رصد دقیق فرآیندهای تصمیم‌گیری.
• قابلیت کنترل: توانایی مدیریت مستقیم رفتار مدل‌ها.
• قابلیت ممیزی: ارائه شواهد قابل‌فهم و مستند برای انسان‌ها.

پیشنهاد ترمز اضطراری و مدیریت ریسک نفوذ

یکی از محورهای اصلی بحث نادلا، ایجاد یک ترمز اضطراری برای سیستم‌های هوشمند است. او تاکید دارد که توسعه‌دهندگان نباید منتظر وقوع حادثه بمانند، بلکه باید با این دیدگاه شروع کنند که هر مدل هوش مصنوعی از همان لحظه اولیه، احتمالاً دچار نفوذ یا سوءاستفاده شده است.

«باید همیشه فردی مجاز وجود داشته باشد که بتواند در میانه انجام یک وظیفه، مدل را متوقف یا خاموش کند. فناوری‌های مهار باید به یک استاندارد جهانی تبدیل شوند.»

این رویکرد سخت‌گیرانه، فراتر از توصیه‌های معمول برای انجام حسابرسی‌های مستقل یا افشای امنیتی است و بیشتر بر روی مهار پیشگیرانه تمرکز دارد.

چالش‌های ابرهوش و شفافیت در توسعه

مدیرعامل مایکروسافت در یادداشت خود از اصطلاح «ابرهوش» (Super Intelligence) برای توصیف نسل‌های آینده این فناوری استفاده کرده است. این واژه نشان‌دهنده سطح بسیار بالایی از توانمندی است که نگرانی‌ها درباره شفافیت و نظارت را دوچندان می‌کند.

در حالی که رقابت میان غول‌های فناوری برای دستیابی به مدل‌های قدرتمندتر شدت گرفته، نیاز به ایجاد تعادل میان سرعت نوآوری و امنیت عمومی، به یکی از چالش‌های اصلی مدیریت جهانی تبدیل شده است.

نتیجه‌گیری: اظهارات نادلا نشان می‌دهد که مدیریت هوش مصنوعی دیگر تنها یک بحث فنی نیست، بلکه نیازمند ایجاد پروتکل‌های امنیتی و نظارتی مشابه با مدیریت فناوری‌های حساس دیگر است تا از خروج سیستم‌ها از کنترل انسانی جلوگیری شود.