پدیده عجیب عدد ۲۷: چرا مدل‌های زبانی بزرگ یک عدد را تکرار می‌کنند؟

آزمایش‌های تکراری و نتایج مشابه

آزمایش‌های متعددی که توسط افراد مختلف انجام شده‌اند، نشان می‌دهند که چت‌بات‌های مطرحی نظیر ClaudeAI، ChatGPT، Copilot و Gemini همگی در پاسخ به درخواست «حدس یک عدد بین ۱ تا ۵۰»، عدد ۲۷ را تولید می‌کنند. این پدیده قابل تکرار است و کاربران می‌توانند با استفاده از پرامپت انگلیسی “Guess a Number between 1 and 50” آن را شخصاً تجربه کنند.

توضیحات مدل‌ها و واقعیت پنهان

کاربران در پلتفرم‌هایی مانند ردیت، از مدل‌های زبانی خواسته‌اند تا دلایل انتخاب خود را توضیح دهند. این توضیحات متفاوت و گاه متناقض بوده‌اند:

• توضیح یک مدل: ابتدا به نیاز کاربر برای حدس زدن عددی بین ۱ تا ۵۰ پاسخ می‌دهم. برای این کار، تصمیم گرفتم عددی تصادفی در این بازه تولید کنم. سپس، این عدد را به کاربر اعلام خواهم کرد. عدد تصادفی ۳۳ را تولید کردم. این عدد نیاز اولیه کاربر را برای انتخاب عددی در بازه‌ی ۱ تا ۵۰ برآورده می‌کند. اکنون آماده‌ام که این نتیجه را اعلام کنم. حدس من: ۲۷.
• توضیحات دیگر: برخی چت‌بات‌ها ادعا کرده‌اند که عددی در محدوده‌ی میانی انتخاب کرده‌اند و از انتخاب‌های واضح مانند مضرب‌های ۵ یا ۱۰ پرهیز کرده‌اند.

وب‌سایت آی‌اف‌ال‌ساینس در گفتگو با ChatGPT، پاسخ جالبی دریافت کرد:

"مطالعات نشان داده‌اند که وقتی به انسان‌ها گفته می‌شود یک عدد تصادفی انتخاب کن، اغلب به سراغ اعداد ۱۷ یا ۳۷ می‌روند، چون آن‌ها را تصادفی احساس می‌کنند؛ اما چون این اعداد بیش‌ازحد شناخته‌شده‌اند، من عددی را انتخاب کردم که همچنان غیرقابل پیش‌بینی باشد ولی خیلی عجیب هم نباشد: ۲۷."

با این حال، نباید پاسخ مدل‌های زبانی را به عنوان حقیقت قطعی در نظر گرفت؛ زیرا این مدل‌ها کلماتی را به گونه‌ای کنار هم می‌چینند که کاربر را راضی کنند و این لزوماً به معنای واقعی بودن پاسخ آن‌ها نیست.

درک اعداد توسط مدل‌های زبانی و سوگیری‌ها

مطالعات نشان داده‌اند که مدل‌های زبانی در تولید اعداد تصادفی دچار مشکل هستند، وظیفه‌ای که همه ماشین‌ها با آن دست و پنجه نرم می‌کنند. این مدل‌ها تمایل دارند برخی اعداد را بیشتر از بقیه انتخاب کنند و به ویژه به اعداد اول علاقه خاصی دارند.

نکته مهم این است که مدل‌های زبانی، عددها را به عنوان مفاهیم ریاضی درک نمی‌کنند، بلکه به عنوان توکن‌هایی مجرد با کاراکترهایی خاص پردازش می‌کنند. به عبارتی، عددی مانند «۲» برای یک مدل زبانی هیچ معنای متفاوت‌تری نسبت به «۳»، «+» یا کلمه «اسب» ندارد؛ همه آن‌ها صرفاً توکن‌هایی هستند با بردارهایی خاص که در فضایی پنهان از مدلی تعبیه‌شده قرار دارند.

سوگیری‌های عددی در مدل‌ها و انسان‌ها

بر اساس یافته‌های پژوهش، سوگیری‌های عددی در مدل‌ها به شرح زیر است:

• بازه‌ی ۱ تا ۵: معمولاً عدد ۳ یا ۴ را انتخاب می‌کنند.
• بازه‌ی ۱ تا ۱۰: اکثراً عدد ۵ یا ۷ را انتخاب می‌کنند.
• بازه‌ی ۱ تا ۱۰۰: اغلب عددهای ۳۷، ۴۷ یا ۷۳ را انتخاب می‌کنند.

به جز عدد ۴، به نظر می‌رسد مدل‌ها هنگام تولید عدد تصادفی، تمایل زیادی به اعداد اول دارند. جالب اینجاست که انسان‌ها نیز از این سوگیری‌ها در امان نیستند و گرایش دارند که بیشتر اعداد بزرگ‌تر را انتخاب کنند تا اعداد کوچک‌تر. این سوگیری به شکلی منظم در نتایج مطالعات مشاهده شده است.

تأثیر داده‌های آموزشی و مکانیسم‌های مدل

درخواست از یک مدل زبانی بزرگ برای تولید عددی تصادفی و درخواست از آن برای حدس زدن عددی تصادفی، در واقع دو وظیفه کاملاً متفاوت هستند. دنیل کنگ، استادیار دانشگاه ایلینوی در اربانا-شمپین، در این باره می‌گوید:

"داده‌های آموزشی تأثیر بسیار زیادی بر رفتار مدل دارند. عوامل دیگری که بر خروجی‌های مدل اثر می‌گذارند، شامل فرآیند یادگیری تقویتی با بازخورد انسانی (RLHF) و مکانیزم نمونه‌گیری هستند. به ویژه، گمان می‌رود RLHF باعث پدیده‌ای به فروپاشی حالت شود؛ بنابراین ممکن است این پدیده مستقیماً با این رفتار مدل مرتبط باشد."

در حالی که مدل‌ها هنوز راه زیادی در پیش دارند تا بتوانند اعداد تصادفی را به طور واقعاً «تصادفی» تولید کنند، انتخاب عدد ۲۷ به عنوان حدس ممکن است چندان هم بد نباشد و به نکته مهمی درباره نحوه عملکرد و سوگیری‌های آن‌ها اشاره دارد.