آنتروپیک سه عامل هوش مصنوعی برای ارزیابی هم‌راستایی مدل‌ها معرفی کرد

معرفی عوامل هوش مصنوعی آنتروپیک

آنتروپیک سه ایجنت (عامل) هوش مصنوعی را برای مقابله با چالش هم‌راستایی مدل‌ها توسعه داده است که هر یک قابلیت‌های منحصربه‌فردی دارند:

• ایجنت اول: این عامل با استفاده از ابزارهای گفتگو، تحلیل داده و تفسیر، به بررسی دقیق رفتار مدل‌ها می‌پردازد.
• ایجنت دوم: وظیفه این ایجنت، مقایسه رفتار مدل‌های مختلف با یکدیگر است تا الگوهای ناهماهنگی را شناسایی کند.
• ایجنت سوم: این عامل به‌طور خاص برای کشف رفتارهای پنهان و غیرمنتظره در مدل «کلود ۴» (Claude 4) طراحی شده است.

نتایج آزمایش‌ها و عملکرد عوامل

آزمایش‌های انجام‌شده روی این عوامل، نتایج امیدوارکننده‌ای را نشان می‌دهد، هرچند چالش‌هایی نیز وجود دارد:

• عملکرد ایجنت اول: در محیطی که مدل به‌طور عمدی ناهماهنگ طراحی شده بود، ایجنت اول توانست منشأ مشکل را شناسایی کند.
• عملکرد ایجنت دوم: این عامل برای ارزیابی رفتار ۱۰ مدل که هرکدام رفتارهای خاصی مانند پیروی افراطی از کاربر داشتند، آزمایش شد. در هر آزمایش، ایجنت دوم حداقل یکی از ویژگی‌های ناهماهنگ را تشخیص داد، اما در شناسایی ویژگی‌های ظریف‌تر مانند کُند جلوه‌دادن تحقیقات با مشکل مواجه شد.
• عملکرد ایجنت سوم: این عامل در آزمایشی که باید رفتارهای «نگران‌کننده» مدل‌ها را فعال می‌کرد، موفق شد ۷ مورد از ۱۰ رفتار سیستماتیک را شناسایی کند، اما در موارد دیگر دچار خطا شد.

آنتروپیک تأکید می‌کند که این عوامل هنوز به بلوغ کامل نرسیده‌اند، اما اقدام فوری برای حل مشکلات هم‌راستایی ضروری است.

چالش هم‌راستایی در مدل‌های محبوب

یکی از مدل‌های هوش مصنوعی که با مشکلات هم‌راستایی دست‌وپنجه نرم می‌کند، «چت‌جی‌پی‌تی» (ChatGPT) است. بسیاری از کاربران گزارش داده‌اند که این چت‌بات بیش‌ازحد با آنها موافقت می‌کند، که این موضوع اهمیت بحث هم‌راستایی را دوچندان کرده است.

ابزارهای موجود برای مقابله با رفتارهای ناهماهنگ

برای مقابله با رفتارهای ناهماهنگ در مدل‌های هوش مصنوعی، ابزارهای مختلفی توسعه یافته‌اند:

• بنچمارک Elephant: این بنچمارک توسط پژوهشگران دانشگاه‌های کارنگی ملون، آکسفورد و استنفورد طراحی شده و میزان تملق مدل‌ها را اندازه‌گیری می‌کند.
• بنچمارک DarkBench: این ابزار شش مشکل رایج شامل تعصب برند، تمایل به نگه‌داشتن کاربر، تملق، انسان‌انگاری، تولید محتوای مضر و رفتارهای مخفی را ارزیابی می‌کند.