روش جدید MIT برای رفع اعتماد به نفس کاذب هوش مصنوعی

هوش مصنوعی: چالش اعتماد به نفس بیش از حد

هوش مصنوعی، با وجود گنجینه عظیم دانش و توانایی‌های بی‌نظیر خود، با یک نقص اساسی روبرو است که می‌تواند مزایای آن را محدود کند: اعتماد به نفس بیش از حد در ارائه پاسخ‌ها. این ویژگی باعث می‌شود هر پاسخی که ارائه می‌دهد، چه بر اساس استنتاج منطقی و چه صرفاً حدس و گمان، با همان سطح از اطمینان بیان شود که می‌تواند در کاربردهای حساس، خطرات جدی به همراه داشته باشد.

ریشه مشکل: نقص در نحوه آموزش مدل‌ها

محققان برجسته آزمایشگاه علوم کامپیوتر و هوش مصنوعی در دانشگاه MIT، ریشه این اعتماد به نفس کاذب را در نقص خاصی در نحوه آموزش مدل‌های هوش مصنوعی شناسایی کرده‌اند. آنها دریافته‌اند که تکنیک‌های یادگیری تقویتی فعلی، پاسخ‌های صحیح را پاداش می‌دهند و پاسخ‌های نادرست را جریمه می‌کنند، بدون اینکه تفاوتی بین چگونگی رسیدن مدل به پاسخ قائل شوند. این بدان معناست که مدلی که از طریق استنتاج منطقی به پاسخ صحیح می‌رسد، همان پاداشی را دریافت می‌کند که مدلی که به صورت حدسی به آن دست می‌یابد. این رویکرد به مرور زمان، رفتاری را در مدل‌ها پرورش می‌دهد که آنها را مستعد ارائه پاسخ‌های مطمئن، حتی در صورت فقدان شواهد کافی، می‌کند.

معرفی روش RLCR: راه حلی برای بیان واقع‌بینانه اطمینان

برای رفع این مشکل، محققان MIT روشی نوین به نام RLCR (یادگیری تقویتی با استفاده از پاداش‌های کالیبراسیون) را توسعه داده‌اند. این روش که در مقاله‌ای در سرور پیش‌چاپ arXiv منتشر شده و قرار است در کنفرانس بین‌المللی ICLR ۲۰۲۶ در ریودوژانیرو ارائه شود، مدل‌های زبانی را آموزش می‌دهد تا پاسخ‌هایی را همراه با تخمینی از سطح اعتماد به نفس خود ارائه دهند. به عبارت دیگر، مدل نه تنها پاسخ را بیان می‌کند، بلکه میزان عدم قطعیت خود را نیز ابراز می‌دارد.

مهول دامانی، دانشجوی کارشناسی ارشد دانشگاه MIT و یکی از نویسندگان این مطالعه، توضیح می‌دهد: «روش‌های آموزش سنتی ساده و مؤثر هستند، اما مدل را به ابراز عدم قطعیت یا گفتن «نمی‌دانم» تشویق نمی‌کنند، بنابراین مدل ذاتاً یاد می‌گیرد که وقتی مطمئن نیست، حدس بزند.»

مکانیسم عمل RLCR: امتیاز بریر

روش RLCR با افزودن یک عنصر کلیدی به تابع پاداش، این مشکل را برطرف می‌کند: امتیاز بریر (Brier score). امتیاز بریر معیاری است که میزان تطابق اطمینان مدل با دقت واقعی آن را اندازه‌گیری می‌کند. در طول فرآیند آموزش با RLCR، مدل‌ها یاد می‌گیرند که هم پاسخ و هم عدم قطعیت آن را به طور همزمان ارزیابی کنند. این رویکرد نه تنها پاسخ‌های نادرست با اطمینان بیش از حد را جریمه می‌کند، بلکه پاسخ‌های صحیح با عدم قطعیت ناموجه را نیز مورد بازبینی قرار می‌دهد. این فرآیند به دستیابی به تعادل بهتر بین دقت و بیان واقع‌بینانه اطمینان در خروجی‌های هوش مصنوعی کمک شایانی می‌کند.

پیامدهای اعتماد به نفس کاذب در کاربردهای حساس

اعتماد به نفس بیش از حد هوش مصنوعی می‌تواند عواقب منفی گسترده‌ای داشته باشد، به ویژه در زمینه‌های حیاتی مانند پزشکی، حقوق یا امور مالی، جایی که تصمیمات انسانی به شدت به خروجی‌های هوش مصنوعی وابسته است. یک مدل که با اطمینان بالا اما به اشتباه پاسخ می‌دهد، می‌تواند به مراتب خطرناک‌تر از مدلی باشد که به وضوح اشتباه خود را بیان می‌کند، زیرا کاربر ممکن است متوجه نیاز به تأیید پاسخ نشود و بر اساس اطلاعات نادرست تصمیم‌گیری کند. روش RLCR با هدف کاهش این خطرات، گامی مهم در جهت توسعه هوش مصنوعی قابل اعتمادتر و مسئولیت‌پذیرتر برمی‌دارد.