ناتوانی عجیب ChatGPT در شمارش حروف کلمات؛ ریشه مشکل فنی کجاست؟

در کمال تعجب، پیشرفته‌ترین مدل زبانی جهان، یعنی ChatGPT، هنوز در انجام برخی کارهای پیش‌پاافتاده و بدیهی دچار مشکل است. این ناتوانی در شمارش دقیق حروف کلمات، به‌ویژه در نسخه‌های جدید هوش مصنوعی OpenAI، کاربران را شگفت‌زده کرده و سوالاتی جدی درباره درک ماشینی از متن مطرح کرده است.

در حالی که این مدل‌های هوش مصنوعی مولد می‌توانند پیچیده‌ترین کدها را بنویسند یا تصاویر خلاقانه خلق کنند، در پاسخ به یک سوال ساده لنگ می‌زنند. کاربران به‌تازگی متوجه شده‌اند که این چت‌بات نمی‌تواند تعداد دقیق حروف در کلماتی مانند «Strawberry» را تشخیص دهد.

وقتی از چت‌بات پرسیده می‌شود که چند حرف «r» در کلمه انگلیسی توت‌فرنگی وجود دارد، با اعتمادبه‌نفس پاسخ غلط می‌دهد و عدد دو را اعلام می‌کند، در حالی که پاسخ صحیح متفاوت است.

ریشه فنی مشکل: توکن‌سازی به جای شمارش حروف

دلیل اصلی این ناتوانی فنی به نحوه پردازش متن توسط مدل‌های زبانی بزرگ (LLMs) بازمی‌گردد. این مدل‌ها کلمات را نه به‌صورت حروف جداگانه، بلکه به‌صورت توکن یا قطعات کلامی پردازش می‌کنند. این تفاوت اساسی در درک متن، منجر به خطای شمارش می‌شود.

مفهوم توکن و «تست توت‌فرنگی»

برای مثال، کلمه «Strawberry» برای هوش مصنوعی به چند توکن تقسیم می‌شود و مدل قادر نیست تک‌تک حروف را درون این بسته‌های توکنی بشمارد. این مسئله که اکنون به «تست توت‌فرنگی» معروف شده، به‌خوبی نشان می‌دهد که درک ماشین از متن با درک انسان تفاوت بنیادین دارد و ماشین‌ها لزوماً متن را مانند ما حرف به حرف نمی‌خوانند.

ریشه این مشکل به نحوه پردازش متن توسط مدل‌های زبانی بزرگ برمی‌گردد؛ این مدل‌ها کلمات را نه به‌صورت حروف جداگانه، بلکه به‌صورت توکن یا قطعات کلامی می‌بینند.

عملکرد رقبا در آزمون شمارش حروف

نکته جالب توجه این است که در بررسی‌های انجام‌شده، رقبای قدرتمند سرویس OpenAI نظیر Claude و Gemini توانسته‌اند عملکرد بهتری از خود نشان دهند. به نظر می‌رسد سایر شرکت‌ها با اعمال تغییراتی در روش‌های توکن‌سازی یا استفاده از مکانیزم‌های بازبینی و اصلاح، بر این باگ رایج غلبه کرده‌اند.

نتیجه‌گیری: اهمیت بازبینی خروجی هوش مصنوعی

ناتوانی ChatGPT در انجام چنین کار ساده‌ای، یادآوری مهمی است که حتی هوشمندترین ابزارهای هوش مصنوعی نیز گاهی در بدیهیات دچار خطا می‌شوند و کاربران نباید به خروجی‌ها و پاسخ‌های آن‌ها اعتماد صددرصد داشته باشند. این خطاها بر اهمیت بازبینی انسانی در استفاده از مدل‌های زبانی تأکید می‌کنند.