LLMها و حسگرها؛ روش جدید اپل برای تشخیص دقیق فعالیت کاربر

ادغام چندحسی سنسورها با قدرت LLMها

مقاله جدید اپل با عنوان «استفاده از LLMها برای ادغام چند حسی سنسورها در تشخیص فعالیت»، جزئیاتی را در مورد چگونگی بهره‌گیری این شرکت از تحلیل LLM در کنار داده‌های سنتی حسگرها برای درک دقیق‌تر فعالیت کاربر ارائه می‌دهد. محققان بر این باورند که این متدولوژی پتانسیل بالایی برای افزایش دقت تحلیل فعالیت‌ها دارد، به‌ویژه در سناریوهایی که داده‌های کافی از سنسورها در دسترس نیست.

استنتاج فعالیت با حداقل داده

نتایج این تحقیق نشان داد که مدل‌های زبانی بزرگ توانایی قابل‌توجهی در استنباط نوع فعالیت کاربر از طریق سیگنال‌های صوتی و حرکتی دارند، حتی اگر این مدل‌ها به‌طور خاص برای این هدف آموزش ندیده باشند. نکته جالب توجه این است که با ارائه تنها یک مثال (one-shot learning)، دقت این مدل‌ها به طور محسوسی افزایش می‌یابد.

تفاوت کلیدی: تحلیل داده‌های متنی، نه خام

یک تفاوت مهم در این مطالعه، شیوه ارائه داده‌ها به LLM است. در این فرآیند، مدل زبانی بزرگ، فایل صوتی واقعی را دریافت نمی‌کند؛ بلکه توضیحات کوتاه متنی تولیدشده توسط مدل‌های صوتی کوچک‌تر و همچنین خروجی یک مدل حرکتی مبتنی بر IMU به آن داده می‌شود. دستگاه سنجش لختی (IMU) حرکت را از طریق داده‌های شتاب‌سنج و ژیروسکوپ دنبال می‌کند.

روش تحقیق و مجموعه داده Ego4D

محققان برای انجام این آزمایش‌ها، از مجموعه داده عظیم Ego4D استفاده کردند. این مجموعه شامل هزاران ساعت رسانه ضبط‌شده با دیدگاه اول‌شخص است که طیف گسترده‌ای از محیط‌ها و موقعیت‌های واقعی، از کارهای خانه گرفته تا فعالیت‌های فضای باز، را پوشش می‌دهد.

روند تحلیل داده‌ها به این صورت بود که ابتدا داده‌های صوتی و حرکتی از طریق مدل‌های کوچک‌تری عبور داده شدند تا زیرنویس متنی و پیش‌بینی کلاس‌های فعالیت تولید شود. سپس، این خروجی‌ها به مدل‌های مختلف LLM مانند جمینای ۲.۵ پرو (Gemini 2.5 Pro) و Qwen-32B داده شدند تا توانایی آن‌ها در شناسایی فعالیت‌ها مورد ارزیابی قرار گیرد.

مقایسه عملکرد مدل‌ها

اپل عملکرد مدل‌های زبانی بزرگ را در دو سناریوی متفاوت مقایسه کرد:

• سناریوی اول: لیستی از ۱۲ فعالیت ممکن برای انتخاب در اختیار مدل قرار گرفت.
• سناریوی دوم: هیچ گزینه‌ای به مدل داده نشد و مدل باید به‌صورت آزادانه فعالیت را شناسایی می‌کرد.

محققان در جمع‌بندی نهایی اشاره کردند که نتایج این مطالعه، اطلاعات ارزشمندی در مورد نحوه ترکیب چندین مدل برای تحلیل داده‌های فعالیت و سلامت ارائه می‌دهد. این رویکرد به‌ویژه در مواردی که داده‌های خام حسگرها به‌تنهایی نمی‌توانند تصویر واضحی از فعالیت کاربر ارائه دهند، بسیار کارآمد خواهد بود.