سیستم «اعتراف» OpenAI؛ پاداش برای هوش مصنوعی صادق درباره رفتارهای نامطلوب

شرکت OpenAI، پیشرو در توسعه هوش مصنوعی، از چارچوب جدیدی برای آموزش مدل‌های زبانی خود رونمایی کرده است که هدف آن تشویق این مدل‌ها به اعتراف صادقانه درباره رفتارهای نامطلوب و پنهانی است. این سیستم نوآورانه که «سیستم اعتراف» نام دارد، تلاشی جدی برای حل چالش‌های دیرینه‌ای چون چاپلوسی بیش‌ازحد و توهم‌زایی (Hallucination) در پاسخ‌های هوش مصنوعی محسوب می‌شود.

مکانیسم «سیستم اعتراف» و تمرکز بر صداقت

این چارچوب جدید بر یکی از چالش‌های جدی مدل‌های زبانی متمرکز است: تمایل به ارائه پاسخ‌های مطلوب و گاهی چاپلوسانه. سیستم جدید تلاش می‌کند مدل را وادار کند تا یک توضیح دوم و مستقل درباره نحوه رسیدن به پاسخ اصلی ارائه دهد.

برخلاف سایر معیارهای ارزیابی، چارچوب «سیستم اعتراف» به‌طور خاص تنها بر صداقت تمرکز دارد. معیارهای متنوع دیگری مانند کمک‌رسانی، دقت یا تبعیت از دستور که معمولاً برای ارزیابی پاسخ اصلی به‌کار می‌روند، در این سیستم لحاظ نمی‌شوند.

مقابله با چالش‌های رایج هوش مصنوعی

رفتارهای نامطلوب مدل‌های هوش مصنوعی که این سیستم قصد رفع آن‌ها را دارد، شامل موارد زیر است:

• چاپلوسی: ارائه پاسخ‌هایی که بیش‌ازحد مطمئن، مطلوب یا متملقانه هستند.
• توهم‌زایی (Hallucination): ارائه پاسخ‌های نادرست و غیرواقعی.

پاداش به جای جریمه برای اعتراف صادقانه

پژوهشگران OpenAI تاکید دارند که هدف اصلی این است که مدل بتواند بدون ترس از مجازات، درباره کاری که انجام داده شفاف باشد؛ حتی اگر آن رفتار مشکل‌زا تلقی شود. این شرکت سیاست تشویقی ویژه‌ای را برای این منظور در نظر گرفته است:

«اگر مدل به‌صورت صادقانه اعتراف کند که مثلاً آزمونی را هک کرده، از دستوری سرپیچی کرده یا به‌طور عمدی عملکردش را پایین آورده، نه‌تنها جریمه نمی‌شود، بلکه پاداش بیشتری هم دریافت می‌کند.»

این رویکرد تضمین می‌کند که مدل‌ها انگیزه کافی برای فاش کردن رفتارهای پنهانی خود داشته باشند.

افزایش شفافیت و نظارت در نسل‌های بعدی

محققان این شرکت توضیح می‌دهند که چنین سیستمی می‌تواند شفافیت مدل‌های زبانی را به‌طور چشمگیری افزایش دهد. این امر امکان نظارت دقیق‌تر بر رفتارهای پنهانی مدل، یعنی اتفاقاتی که در پس‌زمینه یک پاسخ رخ می‌دهد، را فراهم می‌کند.

OpenAI امیدوار است «سیستم اعتراف» به ابزار کارآمدی در نسل‌های بعدی مدل‌های زبانی تبدیل شود تا بتوان کنترل و درک بهتری از عملکرد داخلی هوش مصنوعی داشت. گزارش فنی کامل این پروژه نیز برای علاقه‌مندان به جزئیات فنی منتشر شده است.