گوگل سرعت مدل‌های هوش مصنوعی Gemma 4 را تا ۳ برابر افزایش داد

پیش‌بینی چندتوکنی: راهکاری برای غلبه بر محدودیت‌های سخت‌افزاری

یکی از بزرگ‌ترین چالش‌ها در اجرای مدل‌های هوش مصنوعی به صورت محلی، محدودیت پهنای باند حافظه در سیستم‌های خانگی است. برخلاف سرورها که از حافظه‌های HBM بهره می‌برند، رایانه‌های شخصی اغلب با مشکل انتقال داده‌ها از حافظه گرافیکی به واحدهای محاسباتی مواجه هستند. مدل‌های زبانی سنتی به روش خودبازگشتی عمل می‌کنند و برای هر توکن، صرف‌نظر از پیچیدگی آن، توان پردازشی یکسانی را مصرف می‌کنند.

تکنولوژی MTP با بهره‌گیری از یک مفسر سبک‌وزن، مانند نسخه E2B با ۷۴ میلیون پارامتر، از زمان‌های تلف‌شده پردازنده استفاده کرده و توکن‌های آینده را پیش‌بینی می‌کند. این مفسرها با استفاده از حافظه مشترک KV Cache با مدل اصلی، از محاسبات تکراری جلوگیری کرده و کارایی را به شکل قابل توجهی افزایش می‌دهند.

در این فرایند، توکن‌های پیش‌بینی‌شده توسط مفسر به‌صورت موازی با مدل اصلی تأیید می‌شوند. اگر پیش‌بینی‌ها درست باشد، کل توالی در یک عملیات واحد پذیرفته می‌شود که این امر منجر به افزایش چشمگیر کارایی می‌گردد.

الهام از جمینای و بهینه‌سازی برای کاربران

فناوری اصلی مدل‌های Gemma 4 مستقیماً از هوش مصنوعی پیشرفته جمینای الهام گرفته شده است. با این حال، تفاوت کلیدی در این است که جمینای برای اجرا در خوشه‌های بزرگ دیتاسنتر و تراشه‌های اختصاصی TPU گوگل بهینه‌سازی شده، درحالی‌که Gemma برای اجرا روی دستگاه‌های کاربران تنظیم شده است.

در حالی که جمینای از پهنای باند فوق‌سریع و حافظه‌های اختصاصی بهره می‌برد، مدل‌های Gemma به گونه‌ای طراحی شده‌اند که حتی بزرگ‌ترین نسخه‌های آن‌ها با دقت کامل روی یک شتاب‌دهنده هوش مصنوعی تکی اجرا شوند. همچنین با استفاده از فرایند کوانتایزکردن، امکان اجرای این مدل‌های قدرتمند روی پردازشگرهای گرافیکی معمولی و خانگی فراهم شده است، تا کاربران بتوانند بدون نیاز به ارسال داده‌های خصوصی خود به فضاهای ابری، از قدرت هوش مصنوعی روی سخت‌افزار شخصی‌شان استفاده کنند.

نتایج خیره‌کننده و دسترسی گسترده‌تر

بر اساس داده‌های گوگل، این روش هیچ‌گونه افت کیفیتی در خروجی نهایی ایجاد نمی‌کند، زیرا تمامی نتایج توسط هسته اصلی مدل راستی‌آزمایی می‌شوند. این بهینه‌سازی در آزمایش‌های عملی نتایج چشمگیری داشته است:

• گوشی‌های پیکسل: سرعت اجرا برای مدل‌های E2B و E4B به ترتیب ۲.۸ و ۳.۱ برابر افزایش یافته است.
• تراشه‌های M4 اپل: مدل ۳۱ میلیاردی Gemma 4 بهبود سرعتی معادل ۲.۵ برابر را تجربه کرده است.

علاوه بر افزایش سرعت، استفاده از MTP منجر به بهبود طول عمر باتری در دستگاه‌های موبایل و سهولت اجرای مدل‌های سنگین‌تری مانند 26B MoE و 31B Dense روی سخت‌افزارهای مختلف شده است. گوگل همچنین با تغییر مجوز این مدل‌ها به Apache 2.0، دست توسعه‌دهندگان را برای استفاده گسترده‌تر و آزادانه‌تر باز گذاشته است. کاربران می‌توانند این مدل‌های ارتقایافته را در پلتفرم‌هایی مانند SGLang و Ollama تست کنند.