چرا نباید به پاسخ‌های چت‌بات‌های هوش مصنوعی اعتماد کامل کرد؟

آزمایشی ساده برای سنجش هوش مصنوعی

برای ارزیابی دقیق ابزارهای هوش مصنوعی مولد، بهترین روش به چالش کشیدن آن‌ها با موضوعی است که خودتان به خوبی می‌شناسید. یک پژوهشگر با علاقه به فیلم‌هایی که روسای جمهور آمریکا در دوران ریاست خود تماشا کرده‌اند و با سابقه تحقیق از سال ۲۰۱۲ در این زمینه، تصمیم گرفت از همین موضوع برای سنجش چت‌بات‌ها استفاده کند.

این آزمایش شامل پرسیدن سوالاتی بود که برخی از آن‌ها با یک جستجوی ساده در گوگل قابل پاسخگویی بودند و برخی دیگر نیازمند تحقیق عمیق در آرشیوها و کتاب‌ها. نتایج این سنجش برای کسانی که به دقت پاسخ‌های هوش مصنوعی اهمیت می‌دهند، بسیار قابل تأمل است.

وقتی غول‌های هوش مصنوعی کم می‌آورند

در اولین مرحله، از مدل GPT-5 شرکت OpenAI سوالاتی درباره فیلم‌های تماشا شده توسط روسای جمهور مختلف در تاریخ‌های مشخصی پرسیده شد. این تاریخ‌ها شامل دوران ریاست جمهوری وودرو ویلسون، دوایت آیزنهاور، ریچارد نیکسون، رونالد ریگان، جورج بوش پدر، بیل کلینتون و جورج بوش پسر بود. در کمال تعجب، ChatGPT در هر مورد پاسخ داد که هیچ سندی مبنی بر تماشای فیلم توسط این روسای جمهور در تاریخ‌های ذکر شده پیدا نکرده است.

اگرچه ChatGPT دروغ نگفت، اما ناتوانی آن در پاسخگویی به سوالات نسبتاً ساده، نشان‌دهنده نیاز مبرم به ناظر انسانی برای کارهای دقیق است.

آزمایش با سایر چت‌بات‌های بزرگ نظیر گوگل جمنای، مایکروسافت کوپایلت، پرپلکسیتی و Grok نیز نتایج مشابهی داشت و ثابت کرد که این ابزارها هنوز فاصله زیادی تا کمال دارند. در حالی که مدیران عامل ممکن است به نتایج «خوب اما نه عالی» رضایت دهند، اما برای دستیابی به دقت صددرصدی، حضور انسان در بسیاری از موارد ضروری است.

پاسخ‌های اشتباه با جزئیات فراوان: پدیده «توهم» هوش مصنوعی

نتایج حاصل از مایکروسافت کوپایلت حتی عجیب‌تر بود. در پاسخ به سوالی درباره فیلم تماشا شده توسط پرزیدنت آیزنهاور در تاریخ ۱۱ آگوست ۱۹۵۴، کوپایلت در حالت پاسخ سریع، با قاطعیت فیلم «The Unconquered» را معرفی کرد که یک مستند درباره زندگی هلن کلر است. این پاسخ کاملاً اشتباه بود.

در ادامه، با فعال کردن حالت «تحقیق عمیق» (Deep Research)، کوپایلت پس از چند دقیقه، یک گزارش ۳۵۰۰ کلمه‌ای تولید کرد که باز هم حاوی اطلاعات نادرست بود. این ربات توضیح داد که در تابستان ۱۹۵۴ چندین فیلم برجسته اکران شده بودند و در نهایت نتیجه‌گیری کرد که آیزنهاور به احتمال زیاد فیلم «Suddenly» را تماشا کرده است؛ حدسی عجیب، زیرا این فیلم ماه‌ها بعد اکران شد.

کوپایلت صرفاً به دلیل طرح سوال، فرض را بر این گذاشته بود که حتماً فیلمی در آن روز نمایش داده شده است، در حالی که پاسخ صحیح این بود که هیچ فیلمی نمایش داده نشده یا سندی برای آن وجود ندارد. پاسخ درست، فیلم «River of No Return» با بازی مرلین مونرو بود که پژوهشگر به لطف دسترسی به دفترچه گزارش‌های نمایش فیلم در کاخ سفید از آن مطلع بود.

چالش‌های عملی در تعامل با هوش مصنوعی

نکته جالب توجه این بود که Grok، چت‌بات شرکت xAI، پس از چند تلاش توانست پاسخ صحیح را پیدا کند. اما منبع آن چه بود؟ حساب کاربری توییتر خود پژوهشگر که در سال ۲۰۱۹ این اطلاعات را در آن منتشر کرده بود. این موضوع نشان می‌دهد که هوش مصنوعی چگونه از منابع غیررسمی و تأییدنشده برای پاسخگویی استفاده می‌کند.

اگر من در آن توییت به دروغ ادعا می‌کردم آیزنهاور یک فیلم تبلیغاتی نازی را تماشا کرده، Grok احتمالاً همان را به عنوان واقعیت گزارش می‌کرد. این یکی از بزرگ‌ترین چالش‌های تعامل با هوش مصنوعی است؛ عدم توانایی در راستی‌آزمایی منابع.

در آزمون دیگری درباره فیلمی که ریچارد نیکسون در ۱۲ فوریه ۱۹۷۱ تماشا کرد، اکثر ربات‌ها اشتباه کردند. کوپایلت ادعا کرد او فیلم «Patton» را دیده و حتی به سندی از آرشیو ملی لینک داد که در آن هیچ اشاره‌ای به فیلم نشده بود. پرپلکسیتی نیز فیلم دیگری را نام برد و تاریخ را یک سال اشتباه تشخیص داد. این اشتباهات زنجیره‌ای در مورد سوالات مربوط به سایر روسای جمهور نیز تکرار شد.

چرا باید خودتان هوش مصنوعی را آزمایش کنید؟

اگرچه آزمایش‌های انجام شده علمی و جامع نبودند، اما هدفشان نیز همین بود. شرکت‌های هوش مصنوعی همواره بنچمارک‌هایی منتشر می‌کنند که پیشرفت مدل‌هایشان را نشان می‌دهد، اما تنها آزمون واقعی، استفاده از این ابزارها برای کاربردهای شخصی شماست. تنها راه برای سنجش دقیق عملکرد یک ربات این است که آن را با اطلاعاتی که خودتان به خوبی می‌دانید امتحان کنید.

ابزارهای هوش مصنوعی مولد به عنوان راه‌حل‌هایی همه‌کاره فروخته می‌شوند که می‌توانند به هر سوالی پاسخ دهند، اما واقعیت چیز دیگری است. این ابزارها گاهی اوقات پاسخ‌های درستی می‌دهند و برای میلیون‌ها نفر مفید هستند. با این حال، بهتر است هر از گاهی ربات خود را با سوالاتی که پاسخشان را می‌دانید به چالش بکشید.

این کار به شما یادآوری می‌کند که این ابزارها همه‌چیزدان نیستند. وقتی بیش از حد به آن‌ها اعتماد کنیم، نه تنها هوش جمعی ما کاهش می‌یابد بلکه مرز بین واقعیت و خیال نیز از بین می‌رود.