یادگیری تقویتی: نقش پنهان و چالش‌ها در تکامل هوش مصنوعی

مبانی و تاریخچه یادگیری تقویتی

یادگیری تقویتی بر پایه تعامل با محیط و دریافت پاداش‌های متناسب عمل می‌کند و برخلاف روش‌های متداول، نیازی به داده‌های آموزشی برچسب‌دار ندارد. این رویکرد به ویژه در مسائل تصمیم‌گیری که پاسخ صحیح از پیش مشخص نیست، مکمل قدرتمندی محسوب می‌شود.

چارچوب علمی یادگیری تقویتی در اواخر دهه ۷۰ میلادی (۵۰ خورشیدی) توسط دانشمندانی چون «ریچارد ساتن» و «اندرو بارتو» پایه‌گذاری شد. ریشه‌های این ایده به اوایل قرن بیستم و آزمایش‌های روان‌شناسانی مانند «جعبه اسکینر» بازمی‌گردد که در آن حیوانات با فشار دادن اهرم، غذا دریافت می‌کردند.

با این حال، روان‌شناسان بعدها دریافتند که یادگیری تقویتی مدلی ابتدایی برای توصیف رفتار پیچیده انسان و حتی حیوانات است. پدیده‌ای مانند «درماندگی آموخته‌شده» نشان داد که موجودات زنده همیشه در شرایط ناامیدکننده برای به حداکثر رساندن پاداش تلاش نمی‌کنند.

انقلاب دیپ‌مایند و ظهور مدل‌های زبانی

مانع اصلی یادگیری تقویتی در هوش مصنوعی، نیاز به تعاملات فراوان با محیط بود. اما در نیمه دوم دهه گذشته میلادی، با پیشرفت سخت‌افزاری، ظهور یادگیری عمیق و الگوریتم‌های کارآمدتر، این مانع تا حد زیادی برطرف شد.

• پیروزی در بازی‌های استراتژیک: این پیشرفت‌ها به کمپانی دیپ‌مایند امکان داد تا با استفاده از مدل‌های هوشمند خود، قهرمانان شطرنج و بازی چینی Go را شکست دهد. این مدل‌ها با میلیون‌ها بازی خودآموز (self-play) به این توانایی شگفت‌انگیز دست یافته بودند.

در حالی که انتظار می‌رفت یادگیری تقویتی به ستاره هوش مصنوعی تبدیل شود، مدل‌های زبانی مبتنی بر پیش‌بینی متن، انقلابی دیگر را رقم زدند. امروزه چت‌جی‌پی‌تی و رقبایش به بخشی جدایی‌ناپذیر از زندگی روزمره تبدیل شده‌اند و حتی بحث «عاملیت هوشمند» برای بهبود توانایی‌های آن‌ها مطرح است.

جالب اینجاست که یادگیری تقویتی در تکامل مدل‌های زبانی نیز نقش اساسی ایفا کرده است. مدل‌های زبانی اولیه برای گفتگو با انسان‌ها مناسب نبودند، اما با آموزش آن‌ها از طریق یادگیری تقویتی و پاداش‌دهی به پاسخ‌هایشان، زمینه برای سازگاری بیشتر با خواسته‌های کاربران فراهم شد.

RLHF و چالش‌های پاداش‌دهی

در سال ۲۰۱۷، دیپ‌مایند با همکاری OpenAI، روش RLHF (یادگیری تقویتی با فیدبک انسانی) را توسعه داد. در این الگوریتم:

کاربران انسانی از بین دو پاسخ تولیدشده توسط مدل زبانی، گزینه سودمندتر و ایمن‌تر را انتخاب می‌کنند. این انتخاب‌ها برای آموزش یک مدل پاداش‌دهی استفاده می‌شود که به عنوان داور یا منتقد برای مدل اصلی عمل می‌کند.

اگرچه RLHF یادگیری تقویتی را برای مدل‌های اصلی مقیاس‌پذیر ساخت، اما دانشمندان به دنبال روش‌هایی بدون نیاز به کاربر انسانی بودند. نتیجه این تلاش‌ها، ابداع روش‌هایی مانند RLVR (یادگیری تقویتی با پاداش‌های قابل تأیید) بود که بر اساس پاسخ صحیح مسئله (مانند خروجی کد یا جواب مسئله ریاضی) به مدل زبانی پاداش می‌دهد.

با این حال، چالش‌های جدی در مسیر ساخت هوش مصنوعی انسان‌گونه یا فراتر از آن وجود دارد. بسیاری از مسائل انسانی، مانند مشاوره مدیریتی یا سرودن شعر، پاداش قابل سنجشی ندارند. در پاسخ به این مشکل، الگوریتم‌های زیرمجموعه RLAIF (یادگیری تقویتی با پاداش‌های هوش مصنوعی) در حال توسعه هستند که از هوش مصنوعی برای پاداش‌دهی به مدل زبانی استفاده می‌کنند.

آیا یادگیری تقویتی به هوش مصنوعی جامع (AGI) می‌رسد؟

حتی با ساخت یک مدل جامع پاداش‌دهی، مشکل قدیمی مقیاس‌پذیری دوباره مطرح می‌شود، به ویژه با توجه به اینکه مدل‌های فعلی مجهز به «استدلال» شده‌اند و برای رسیدن به خروجی نهایی، چندین بار خروجی تولید می‌کنند که مصرف منابع بیشتری را به دنبال دارد.

پرسش درباره رسیدن یادگیری تقویتی به هوش مصنوعی جامع (AGI) از چند جهت دشوار است:

• تعریف AGI: بسیاری معتقدند چیزی به نام «هوش مصنوعی جامع» وجود ندارد. اگر منظور هوش مصنوعی در سطح انسانی است، در برخی زمینه‌ها هوش مصنوعی از انسان پیشی گرفته است. اگر منظور تعادل در مهارت‌هاست، معیار این تعادل چیست؟
• فرآیند تکاملی پژوهش: فرآیند پژوهش و توسعه به صورت تکاملی و بدون یک مغز متفکر واحد پیش می‌رود. تصمیمات پژوهشگران و سرمایه‌گذاران نقش مهمی در مسیر پیشرفت فناوری‌ها دارند.

در نهایت، نباید فراموش کرد که پژوهش همواره توانایی غافلگیر کردن ما را دارد و ممکن است فناوری‌های جدیدی ظهور کنند یا ایده‌های قدیمی جانی تازه بگیرند و یادگیری تقویتی را تقویت یا حتی جایگزین سازند.