افشاگری درباره روش های محرمانه تست هوش مصنوعی متا

پرونده حقوقی پرسر‌و‌صدایی که شرکت متا را هدف گرفته، اسناد داخلی متعددی از این شرکت فاش کرده است. میان آنها، سندی وجود دارد که توجه برخی پژوهشگران هوش مصنوعی را جلب کرده و جزئیات تازه‌ای درباره نحوه آموزش مدل‌های هوش مصنوعی مانند Llama آشکار می‌کند.

براساس گزارش بیزینس اینسایدر، در این اسناد توضیح داده شده که پژوهشگران متا از فرایندی به نام «Ablation» (ابلیشن) استفاده می‌کنند تا مشخص کنند کدام داده‌ها در بهبود عملکرد مدل Llama مؤثر بوده‌اند. واژه ابلیشن که از حوزه پزشکی وام گرفته شده، به فرایند حذف یا تخریب عمدی یک بخش برای بررسی تأثیر آن بر عملکرد کل سیستم اشاره می‌کند.

در حوزه هوش مصنوعی، ابلیشن به معنای حذف یا جایگزینی بخشی از سیستم یا داده‌هاست تا نقش آن قسمت در عملکرد نهایی مشخص شود.

در یکی از این آزمایش‌ها، متا بخشی از داده‌های آموزشی خود را با کتاب‌هایی از پایگاه داده‌ LibGen جایگزین کرده که غیرقانونی منتشر شده‌اند سپس مدل Llama را مجدد آموزش داد تا اثر این جایگزینی را ارزیابی کند.

متا در آزمایش دیگری، کتاب‌های علمی، فناوری و داستانی را به داده‌های آموزشی اضافه کرده و در آزمایشی دیگر، فقط کتاب‌های داستانی وارد فرایند آموزش شدند. به‌ گفته اسناد داخلی منتشرشده در دادگاه، عملکرد مدل Llama در هر 2 آزمایش به‌طور چشمگیری در بنچمارک‌های صنعتی بهبود یافته است.

آزمایش‌های Ablation متا بر اولین مرحله آموزش تمرکز دارد که در آن داده‌های عظیم برای آشنایی مدل با مفاهیم دنیای واقعی به‌ کار می‌روند.

در نخستین آزمایش، افزودن کتاب‌های علمی، تکنولوژی و داستانی بنچمارک BooIQ را 4.5 درصد بهبود داده. همچنین افزودن کتاب‌های داستانی 6 درصد بهبود ایجاد کرده است.

«پیتر هندرسون»، استاد علوم رایانه دانشگاه پرینستون، نمودارهایی از اسناد داخلی متا را در ایکس منتشر کرده که نتایج این بهبودها را نشان می‌دهند.

BooIQ شامل مجموعه‌ای از نزدیک به 16 هزار سؤال بله/ خیر می‌شود که مدل باید به آنها پاسخ دهد. هرچه مدل پاسخ‌های درست بیشتری به سؤالات بدهد، عملکردش بهتر ارزیابی می‌شود. بهبود 5 درصدی یعنی مدل متا توانسته به حدود 800 سؤال بیشتر پاسخ درستی بدهد.

ابلیشن به‌ روشی رایج در متا و سایر شرکت‌های فعال در حوزه هوش مصنوعی تبدیل شده است؛ برای مثال، اینسایدر می‌گوید یکی از مهندسان متا در لینکدین اعلام کرده در فرایند توسعه Llama 4 و نسخه‌های پیشین، بیش از 100 آزمایش ابلیشن انجام داده است.

البته متا نتایج این آزمایش‌ها را منتشر نمی‌کند و سایر شرکت‌ها نیز در این زمینه سکوت می‌کنند.

«نیک وینسنت»، استادیار دانشکده علوم رایانه دانشگاه سایمون فریزر، می‌گوید یکی از دلایل احتمالی این پنهان‌کاری این است که اگر مشخص شود کدام داده‌ها دقیقاً عملکرد مدل را بهبود داده‌اند، صاحبان اصلی آن داده‌ها می‌توانند درخواست حق‌الزحمه کنند.