پیشرفت اپل در هوش مصنوعی: درک عمیق‌تر ویدئوهای طولانی با SlowFast-LLaVA-1.5

چالش‌های فنی درک ویدئو توسط هوش مصنوعی

مدل‌های زبانی بزرگ (LLM) برای درک ویدئو، آن را به فریم‌های مجزا تقسیم کرده و با استفاده از بینایی کامپیوتری، ویژگی‌های بصری هر فریم را استخراج می‌کنند. سپس تغییرات این ویژگی‌ها را در طول زمان ارزیابی کرده و در نهایت داده‌ها را با زبان همسو می‌سازند تا محتوای ویدئو را به صورت متنی توصیف یا تحلیل کنند.

یکی از روش‌های ناکارآمد، تحلیل تک‌تک فریم‌هاست که منجر به تولید حجم عظیمی از اطلاعات تکراری می‌شود، زیرا بسیاری از فریم‌ها تغییرات معناداری ندارند. این حجم بالای داده‌های تکراری می‌تواند باعث شود مدل زبانی از پنجره زمینه (context window) خود فراتر رود. پنجره زمینه، حداکثر اطلاعاتی است که مدل می‌تواند همزمان پردازش و نگهداری کند. با پر شدن این ظرفیت، مدل برای ادامه پردازش، اطلاعات قدیمی‌تر را کنار می‌گذارد.

نوآوری اپل: SlowFast-LLaVA-1.5

پژوهشگران اپل بر این باورند که مدل‌های زبانی بزرگ ویدئویی (Video LLMs) با وجود پیشرفت‌های چشمگیر، همچنان با محدودیت‌هایی روبرو هستند:

• وابستگی به پنجره‌های زمینه طولانی: مدل‌های موجود معمولاً به پنجره‌های زمینه طولانی و تعداد زیادی فریم وابسته هستند که ناکارآمد بوده و انتقال به مدل‌های کوچک‌تر را دشوار می‌سازد.
• فرآیندهای آموزشی پیچیده: بیشتر این مدل‌ها به فرآیندهای آموزشی چندمرحله‌ای و پیچیده نیاز دارند که اغلب از داده‌های خصوصی استفاده می‌کنند و بازتولید آن‌ها دشوار است.
• عملکرد محدود در درک تصاویر: بسیاری از آن‌ها تنها برای وظایف ویدئویی بهینه شده‌اند و درک تصاویر را به خوبی مدل‌های عمومی ندارند.

برای رفع این محدودیت‌ها، اپل بر مدل متن‌باز SlowFast-LLaVA تمرکز کرد که با ترکیب نشانه‌های مکانی و زمانی، نتایج امیدوارکننده‌ای به دست آورده بود. این مدل از دو جریان اصلی بهره می‌برد:

• جریان کند (Slow stream): فریم‌های کمتر اما با جزئیات بالاتر را پردازش می‌کند تا محتوای صحنه را درک کند.
• جریان سریع (Fast stream): فریم‌های بیشتری با جزئیات کمتر را بررسی می‌کند تا حرکت‌ها و تغییرات در طول زمان را دنبال کند.

اپل ابتدا این مدل را با تصاویر تنظیم دقیق (fine-tune) کرد تا توانایی استدلال بصری عمومی آن را تقویت کند. سپس آن را به طور همزمان با تصاویر و ویدئوها (از مجموعه‌داده‌های عمومی) آموزش داد تا ساختارهای زمانی را بدون کاهش توانایی درک تصاویر بیاموزد.

نتیجه این تلاش‌ها، مدل SlowFast-LLaVA-1.5 (SF-LLaVA-1.5) بود که در سه اندازه با 1B، 3B و 7B پارامتر ارائه شد. این مدل‌ها توانستند در بسیاری از وظایف ویدئویی، عملکردی بهتر از مدل‌های بسیار بزرگ‌تر داشته باشند و حتی در برخی موارد با اختلاف قابل‌توجهی از آن‌ها پیشی بگیرند.

در معیارهای ویدئوهای طولانی مانند LongVideoBench و MLVU، مدل اپل در همه اندازه‌ها، حتی در کوچک‌ترین نسخه 1B، رکوردهای جدیدی ثبت کرده است. علاوه بر این، SF-LLaVA-1.5 توانست یکی از سه محدودیت یادشده را پشت سر بگذارد و در وظایف تصویری نیز نتایج خوبی نشان دهد؛ از جمله در آزمون‌های دانش عمومی، استدلال ریاضی، OCR و سناریوهای متنی-تصویری.

محدودیت‌ها و چشم‌انداز آینده

با وجود این پیشرفت‌ها، پژوهشگران اپل برای مدل SF-LLaVA-1.5 حداکثر طول ورودی 128 فریم را در نظر گرفتند. این بدان معناست که صرف‌نظر از طول ویدئو، مدل همیشه حداکثر 128 فریم را پردازش می‌کند: 96 فریم برای جریان سریع و 32 فریم برای جریان کند.

پژوهشگران اپل اذعان دارند: «این رویکرد ممکن است برخی فریم‌های کلیدی را در ویدئوهای طولانی از دست بدهد و مدل را در مورد سرعت پخش ویدئو گمراه کند. عملکرد SF-LLaVA-1.5 می‌تواند با تنظیم تمام پارامترها از جمله رمزگذار بصری بهبود یابد. با این حال، این کار برای مدل‌های ویدئوی طولانی ساده نیست، زیرا حافظه GPU بالایی برای ذخیره مقادیر فعال‌سازی نیاز دارد. مطالعات آینده می‌توانند به ادغام تکنیک‌های صرفه‌جویی در حافظه مانند Stochastic BP بپردازند.»

با این حال، رویکرد اپل منجر به توسعه مدلی پیشرفته در سطح جهانی شده که تنها بر اساس مجموعه‌داده‌های عمومی آموزش دیده است. SF-LLaVA-1.5 اکنون به صورت متن‌باز در GitHub و Hugging Face در دسترس بوده و متن کامل این پژوهش نیز در arXiv منتشر شده است.