چت‌جی‌پی‌تی در نگارش اخبار علمی شکست خورد: برتری انسان بر هوش مصنوعی

«انجمن پیشبرد علوم آمریکا» (AAAS)، ناشر مجله معتبر «ساینس»، با انتشار حکمی که ممکن است بسیاری از علاقه‌مندان به هوش مصنوعی را شگفت‌زده کند، اعلام کرد که «چت‌جی‌پی‌تی» (ChatGPT) قادر به انجام وظیفه ظریف تبدیل تحقیقات پیچیده علمی به اخبار قابل درک نیست. این سازمان یک سال کامل را به آزمایش توانایی هوش مصنوعی در رقابت با نویسندگان انسانی اختصاص داد و نتایج به دست آمده چندان رضایت‌بخش نبود.

جزئیات آزمایش جامع انجمن پیشبرد علوم آمریکا

پژوهشگران انجمن پیشبرد علوم آمریکا از دسامبر ۲۰۲۳ تا دسامبر ۲۰۲۴، مجموعاً ۶۴ مقاله علمی چالش‌برانگیز را در اختیار چت‌جی‌پی‌تی قرار دادند. این مقالات به عمد از میان دشوارترین‌ها انتخاب شده بودند؛ مقالاتی سرشار از اصطلاحات فنی، یافته‌های بحث‌برانگیز، اکتشافات پیشگامانه و قالب‌های نامتعارف.

• مدل‌های مورد استفاده: هوش مصنوعی با سه دستورالعمل متفاوت و با استفاده از جدیدترین مدل‌های عمومی چت‌جی‌پی‌تی، شامل GPT-4 و GPT-4o، مورد آزمایش قرار گرفت.
• ارزیابی انسانی: هر خلاصه تولید شده توسط هوش مصنوعی، توسط متخصصان انسانی که به طور منظم برای مجلات «ساینس» و «یورک‌الرت» محتوا تولید می‌کنند، ارزیابی شد.

نتایج ناامیدکننده و آمارهای تکان‌دهنده

آمارهای به دست آمده از این آزمایش، تصویری نگران‌کننده از عملکرد چت‌جی‌پی‌تی ارائه می‌دهد:

از میان ۶۴ خلاصه، تنها یک مورد موفق به کسب امتیاز کامل از متخصصان ارزیابی شد، در حالی که ۳۰ خلاصه کمترین امتیاز ممکن را دریافت کردند.

نقاط ضعف کلیدی چت‌جی‌پی‌تی در نگارش علمی

بازخوردهای کیفی، الگوهای مشخصی را در شکست‌های چت‌جی‌پی‌تی آشکار ساخت:

• اشتباه گرفتن همبستگی با علیت: هوش مصنوعی به طور مداوم همبستگی را با علیت اشتباه می‌گرفت که یک خطای اساسی و تضعیف‌کننده دقت علمی است.
• حذف محتوای حیاتی: چت‌جی‌پی‌تی اغلب محتوای حیاتی را که برای درک صحیح تحقیقات ضروری است، حذف می‌کرد.
• اغراق بیش از حد: استفاده مکرر از واژه‌هایی مانند «پیشگامانه» و «جدید»، اهمیت یافته‌های معمولی را بیش از حد بزرگ جلوه می‌داد.

«ابیگیل آیزنشتات»، از نویسندگان انجمن پیشبرد علوم آمریکا، اظهار داشت: «این فناوری‌ها ممکن است پتانسیل تبدیل شدن به سیستم‌های کارآمد را برای نویسندگان حوزه علمی داشته باشند، اما در حال حاضر برای زمان اوج آماده نیستند.»

چرا هوش مصنوعی در خبرنگاری علمی شکست می‌خورد؟

چت‌جی‌پی‌تی در رونویسی اولیه مقالات شایستگی نشان داد، اما خبرنگاری علمی نیازمند ترجمه است، نه صرفاً رونویسی. نگارش مطالب علمی واقعی مستلزم بررسی عمیق روش‌ها، پذیرش محدودیت‌ها و مرتبط کردن یافته‌ها با پیامدهای گسترده‌تر است. هوش مصنوعی به ویژه زمانی که مقالات نتایج متناقض ارائه می‌دادند یا نیاز به ترکیب دو پژوهش مرتبط بود، کاملاً دچار مشکل می‌شد.

پژوهشگران دریافتند که حتی استفاده از چت‌جی‌پی‌تی به عنوان نقطه آغاز، کار بیشتری را نسبت به نوشتن از ابتدا ایجاد می‌کند، زیرا بررسی گسترده حقایق مورد نیاز، هرگونه صرفه‌جویی در زمان را از بین می‌برد.

همسویی با مسائل قابلیت اطمینان هوش مصنوعی

این یافته‌ها با مسائل گسترده‌تر مربوط به قابلیت اطمینان هوش مصنوعی هم‌سو هستند. پژوهش‌های پیشین نشان داده‌اند که موتورهای جست‌وجوی هوش مصنوعی در ۶۰ درصد موارد به منابع نادرست استناد می‌کنند. در ارتباطات علمی که دقت از اهمیت بالایی برخوردار است، چنین میزان خطایی غیرقابل قبول است.

پژوهشگران انجمن پیشبرد علوم آمریکا اذعان کردند که بررسی آنها نتوانست سوگیری انسانی خبرنگاران را در نظر بگیرد، اما نتایج آنقدر منفی بودند که سوگیری به تنهایی نمی‌توانست عملکرد ضعیف هوش مصنوعی را توضیح دهد.

نتیجه‌گیری: جایگاه انسان در خبرنگاری علمی

چت‌جی‌پی‌تی موفق شد از ساختار و لحن خلاصه‌های حرفه‌ای علمی تقلید کند، اما ساختار بدون محتوا، استانداردهای حرفه‌ای را برآورده نمی‌کند. پژوهشگران نتیجه گرفتند که چت‌جی‌پی‌تی، سبک و استانداردهای خلاصه‌های موجود در بسته مطبوعاتی مجله ساینس را برآورده نمی‌کند.

آنها راه را برای آزمایش‌های آینده باز گذاشتند تا در صورت ارائه به‌روزرسانی‌های عمده هوش مصنوعی، بررسی‌های جدیدی انجام شود. با توجه به اینکه GPT-5 در ماه اوت به صورت عمومی در دسترس قرار گرفت، این موضوع از اهمیت بالایی برخوردار است.

در حال حاضر، هنر پیچیده تبدیل اکتشافات علمی به فهم عمومی همچنان در دستان انسان است. قضاوت دقیق، آگاهی از شرایط و دقتی که خبرنگاری علمی باکیفیت را تعریف می‌کنند، دشوارتر از آن چیزی هستند که پیش‌بینی می‌شد.