مدل هوش مصنوعی AudioX؛ تحولی در تولید صدا و موسیقی از متن و ویدیو

محققان حوزه هوش مصنوعی با معرفی مدل AudioX، گام بزرگی در جهت ایجاد یک سیستم چندوجهی برای تولید صدا و موسیقی برداشته‌اند. این فناوری جدید قادر است با تحلیل ورودی‌های متنوعی از جمله متن، ویدیو و فایل‌های صوتی، خروجی‌های شنیداری با کیفیت بالا تولید کند.

نوآوری در ادغام داده‌های چندوجهی

یکی از ویژگی‌های برجسته این پروژه، طراحی ماژول ادغام تطبیقی چندوجهی یا همان MAF است. این ماژول وظیفه دارد ورودی‌های ناهمگون را با دقت بالا ترکیب کرده و هماهنگی میان‌وجهی را در فرآیند تولید صدا به حداکثر برساند.

برای دستیابی به این سطح از دقت، پژوهشگران از یک پایگاه داده عظیم استفاده کرده‌اند:

• نام دیتاست: IF-caps
• تعداد نمونه‌ها: بیش از ۷ میلیون مورد
• هدف: آموزش دقیق مدل برای درک روابط میان متن، تصویر و صدا

نسخه‌های موجود و قابلیت‌های AudioX

این پروژه در حال حاضر در پلتفرم هاگینگ فیس در سه سطح مختلف برای استفاده پژوهشگران در دسترس قرار گرفته است:

ارزیابی‌های اولیه نشان می‌دهد که AudioX در انجام وظایفی نظیر تبدیل متن به صدا، تولید موسیقی از روی متن و همچنین اجرای دستورات پیچیده، عملکرد بسیار قدرتمندی از خود نشان می‌دهد.

الزامات فنی و دسترسی به مدل

برای استفاده از این مدل به صورت آفلاین، کاربران باید شرایط فنی زیر را دارا باشند:

• محیط برنامه‌نویسی پایتون نسخه ۳.۸ یا بالاتر
• نصب ابزار FFmpeg برای مدیریت فایل‌های صوتی
• استفاده از کارت گرافیک (GPU) سازگار با محاسبات هوش مصنوعی

در حال حاضر کدهای منبع، وزن‌های مدل و همچنین یک نسخه دموی تعاملی برای آزمایش قابلیت‌ها در اختیار همگان قرار گرفته است.

در نهایت، مدل AudioX با توانایی فراتر رفتن از مرزهای سنتی تولید محتوا، پتانسیل بالایی برای تحول در صنایع موسیقی و تولید محتوای دیجیتال دارد.