چت‌جی‌پی‌تی در نگارش اخبار علمی شکست خورد: برتری نویسندگان انسانی همچنان پابرجاست

چالش هوش مصنوعی در نگارش علمی

«انجمن پیشبرد علوم آمریکا» (AAAS)، ناشر مجله معتبر «ساینس»، پس از یک سال آزمایش گسترده، حکمی صادر کرده که ممکن است بسیاری از علاقه‌مندان به هوش مصنوعی را شگفت‌زده کند. این سازمان به صراحت اعلام کرده است که «چت‌جی‌پی‌تی» (ChatGPT) قادر به انجام کار ظریف و پیچیده تبدیل تحقیقات علمی دشوار به اخبار قابل فهم برای عموم نیست.

این آزمایش که از دسامبر ۲۰۲۳ تا دسامبر ۲۰۲۴ به طول انجامید، با هدف بررسی توانایی هوش مصنوعی در رقابت با نویسندگان انسانی در حوزه نگارش علمی صورت گرفت. نتایج به دست آمده، چندان رضایت‌بخش نبود.

روش‌شناسی آزمایش

پژوهشگران انجمن پیشبرد علوم آمریکا در طول این دوره، ۶۴ مقاله علمی چالش‌برانگیز را به چت‌جی‌پی‌تی ارائه دادند. این مقالات عمداً از میان دشوارترین‌ها انتخاب شده بودند؛ مقالاتی سرشار از اصطلاحات فنی، یافته‌های بحث‌برانگیز، اکتشافات پیشگامانه و قالب‌های نامتعارف.

هوش مصنوعی سه دستورالعمل با جزئیات متفاوت دریافت کرد و از جدیدترین مدل‌های چت‌جی‌پی‌تی در دسترس عموم، شامل هر دو نسخه GPT-4 و GPT-4o، استفاده شد. هر خلاصه تولید شده توسط هوش مصنوعی، توسط متخصصان انسانی که به طور منظم برای مجلات «ساینس» و «یورک‌الرت» محتوا تولید می‌کنند، ارزیابی شد.

نتایج ناامیدکننده و نقاط ضعف کلیدی

آمار به دست آمده از این آزمایش، تصویری نگران‌کننده را نشان می‌دهد:

• وقتی از متخصصان ارزیابی پرسیده شد که آیا خلاصه‌های چت‌جی‌پی‌تی را می‌توان به طور یکپارچه با محتوای نوشته‌شده توسط انسان ترکیب کرد، میانگین امتیاز آنها تنها ۲.۲۶ از ۵ بود.
• عامل «جذاب بودن» حتی امتیاز پایین‌تری معادل ۲.۱۴ را کسب کرد.
• از ۶۴ خلاصه، تنها یک مورد امتیاز کامل را از متخصصان دریافت کرد و ۳۰ خلاصه، کمترین امتیاز ممکن را به دست آوردند.

الگوهای شکست چت‌جی‌پی‌تی

بازخورد کیفی، الگوهای خاصی را در ناکامی‌های چت‌جی‌پی‌تی آشکار کرد:

• اشتباه گرفتن همبستگی با علیت: هوش مصنوعی به طور مداوم همبستگی را با علیت اشتباه می‌گرفت که یک خطای اساسی و تضعیف‌کننده دقت علمی است.
• حذف محتوای حیاتی: چت‌جی‌پی‌تی اغلب محتوای حیاتی را که متخصصان برای درک صحیح تحقیقات به آن نیاز دارند، حذف می‌کرد.
• اغراق بیش از حد: شاید مشکل‌سازترین مورد، تمایل چت‌جی‌پی‌تی به اغراق بود. واژه‌هایی مانند «پیشگامانه» و «جدید» بیش از اندازه تکرار می‌شدند و اهمیت یافته‌های معمولی را بیش از حد بزرگ جلوه می‌دادند.

«ابیگیل آیزنشتات»، از نویسندگان انجمن پیشبرد علوم آمریکا، اظهار داشت: «این فناوری‌ها ممکن است پتانسیل تبدیل شدن به سیستم‌های کارآمد را برای نویسندگان حوزه علمی داشته باشند، اما در حال حاضر برای زمان اوج آماده نیستند.»

ترجمه در مقابل رونویسی: تفاوت اساسی

چت‌جی‌پی‌تی در رونویسی اولیه مقالات شایستگی‌هایی از خود نشان داد، اما خبرنگاری علمی نیازمند ترجمه است، نه صرفاً رونویسی. نگارش مطالب علمی واقعی مستلزم بررسی عمیق روش‌ها، پذیرش محدودیت‌ها و مرتبط کردن یافته‌ها با پیامدهای گسترده‌تر است.

هوش مصنوعی به ویژه زمانی دچار مشکل می‌شد که مقالات چندین نتیجه متناقض را ارائه می‌دادند یا زمانی که از آن خواسته می‌شد دو پژوهش مرتبط را با هم ترکیب کند.

پژوهشگران دریافتند که حتی استفاده از چت‌جی‌پی‌تی به عنوان نقطه آغاز، کار بیشتری را نسبت به نوشتن از ابتدا ایجاد می‌کند، زیرا بررسی گسترده حقایق مورد نیاز، هرگونه صرفه‌جویی در زمان را از بین می‌برد.

همسویی با مسائل قابلیت اطمینان هوش مصنوعی

این یافته‌ها با مسائل گسترده‌تر مربوط به قابلیت اطمینان هوش مصنوعی هم‌سو هستند. پژوهش‌های پیشین نشان داده بودند که موتورهای جست‌وجوی هوش مصنوعی در ۶۰ درصد موارد به منابع نادرست استناد می‌کنند. در ارتباطات علمی که دقت از اهمیت بالایی برخوردار است، چنین میزان خطایی غیرقابل قبول تلقی می‌شود.

پژوهشگران انجمن پیشبرد علوم آمریکا خاطرنشان کردند که بررسی آنها نتوانست سوگیری انسانی خبرنگاران را در نظر بگیرد. با وجود این، نتایج آنقدر منفی بودند که سوگیری به تنهایی نمی‌توانست عملکرد ضعیف هوش مصنوعی را توضیح دهد.

چت‌جی‌پی‌تی موفق شد از ساختار و لحن خلاصه‌های حرفه‌ای علمی تقلید کند، اما ساختار بدون محتوا، استانداردهای حرفه‌ای را برآورده نمی‌کند.

آینده نگارش علمی و هوش مصنوعی

پژوهشگران نتیجه گرفتند که چت‌جی‌پی‌تی، سبک و استانداردهای خلاصه‌های موجود در بسته مطبوعاتی مجله ساینس را برآورده نمی‌کند. با این حال، آنها راه را برای آزمایش‌های آینده باز گذاشتند تا در صورت ارائه به‌روزرسانی‌های عمده هوش مصنوعی، بررسی‌های جدیدی انجام شود. با توجه به اینکه GPT-5 در ماه اوت به صورت عمومی در دسترس قرار گرفت، این موضوع از اهمیت بالایی برخوردار است.

در حال حاضر، هنر پیچیده تبدیل اکتشافات علمی به فهم عمومی همچنان در دستان انسان است. قضاوت دقیق، آگاهی از شرایط و دقتی که خبرنگاری علمی باکیفیت را تعریف می‌کنند، دشوارتر از آن چیزی هستند که پیش‌بینی می‌شد و هوش مصنوعی هنوز نتوانسته به این سطح از پیچیدگی دست یابد.