چالش‌های بنیادین هوش مصنوعی در خواندن و تفسیر فایل‌های PDF

چالش‌های هوش مصنوعی در درک PDF

برخلاف فرمت‌هایی مانند HTML یا Word که متن را به صورت منطقی و ساختاریافته سازماندهی می‌کنند، PDF کاراکترها، مختصات فضایی و دستورالعمل‌های بصری را کدگذاری می‌کند تا ظاهر صفحه را بازتولید کند. این رویکرد، استخراج متن معنادار را به خصوص در اسنادی که شامل چندین ستون، جدول، تصویر، نمودار، پانوشت، سربرگ یا بخش‌های سانسورشده هستند، به شدت پیچیده می‌کند.

حتی با استفاده از فناوری تشخیص نویسه نوری (OCR)، ماشین‌ها ممکن است چیدمان و زمینه را به اشتباه تفسیر کرده و خروجی‌هایی شامل متن به‌هم‌ریخته یا حتی محتوای ساخته‌شده و غیرواقعی تولید کنند.

پرونده جفری اپستین؛ مثالی بارز از دشواری‌ها

ابعاد این چالش زمانی به وضوح آشکار شد که لوک ایگل و تیمش تلاش کردند اسناد مربوط به دارایی‌های جفری اپستین را بررسی کنند. وزارت دادگستری ایالات متحده میلیون‌ها صفحه سند را در قالب PDF منتشر کرد که بسیاری از آن‌ها اسکن‌های بی‌کیفیت یا دارای بخش‌های سانسورشده بودند. سامانه‌های سنتی OCR عملاً بسیاری از این فایل‌ها را غیرقابل جست‌وجو می‌کردند و هیچ رابط کاربری مناسبی برای سازمان‌دهی اطلاعاتی مانند پروازها، تقویم‌ها، ایمیل‌ها یا خریدها وجود نداشت.

ایگل ایده طراحی سیستمی مشابه Gmail برای این اسناد را مطرح کرد، اما نخستین گام، دستیابی به روشی قابل اتکا برای تجزیه و تحلیل PDF بود. مدیرعامل شرکت Surge، ادوین چن، نیز اذعان دارد که پیشرفته‌ترین مدل‌های هوش مصنوعی گاهی در خلاصه‌سازی PDF دچار خطا می‌شوند، پانوشت‌ها را با متن اصلی اشتباه می‌گیرند یا حتی محتوایی را که وجود ندارد، ابداع می‌کنند.

راه‌حل‌های نوین و تخصصی

شرکت Reducto، بنیان‌گذاری شده توسط آدیت آبراهام، در استخراج داده‌های ساختاریافته از PDF تخصص دارد. این شرکت از هوش مصنوعی برای تجزیه رشته‌های ایمیل، گزارش تماس‌ها، فهرست پروازها و سایر اسناد استفاده کرده و پروژه‌هایی مانند Jmail، Jflights، Jamazon و Jikipedia را توسعه داده است. این ابزارهای جست‌وجوپذیری، فایل‌های PDF مرتبط با اپستین را به مجموعه‌داده‌های تعاملی تبدیل کردند.

رویکرد Reducto شامل تقسیم هر صفحه به بخش‌هایی مانند جدول‌ها، سربرگ‌ها، پانوشت‌ها، نمودارها و سایر عناصر است و سپس برای هر بخش، مدل تخصصی جداگانه‌ای به کار گرفته می‌شود. در مرحله نهایی، یک پردازش دیگر برای اصلاح خطاها انجام می‌شود تا خروجی ساختاریافته‌ای با دقت بسیار بالا حتی از فایل‌های پیچیده یا تخریب‌شده تولید شود.

ریشه‌های تاریخی و فنی چالش PDF

زمینه تاریخی و فنی PDF نیز در شکل‌گیری این چالش نقش دارد. این قالب در اوایل دهه 1990 توسط ادوبی توسعه یافت تا ظاهر بصری اسناد به صورت یکنواخت حفظ شود. PDF به سرعت در کسب‌وکار، حقوق، دولت و صنعت نشر به قالبی حیاتی تبدیل شد. برخلاف صفحات وب که بسته به مرورگر و CSS ممکن است تغییر کنند، PDF ثابت و همچنین برخلاف فایل‌های Word، تغییرناپذیر و استانداردشده محسوب می‌شود.

همین پایداری ارزش آن را تضمین کرده، اما متن را نه به صورت معنایی بلکه به شکل بصری رمزگذاری می‌کند. حتی نشانه‌های ظریف چیدمان مانند فاصله پاراگراف‌ها، تورفتگی‌ها و ساختار جدول‌ها که برای انسان معنا دارند، برای ماشین‌ها دشوار قابل تفسیر هستند.

آموزش مدل‌های هوش مصنوعی و آینده PDF

آموزش مدل‌های هوش مصنوعی برای کار با PDF به دلیل پیچیدگی این قالب با تأخیر همراه بوده است. برخلاف مجموعه‌داده‌های مملو از HTML مانند Common Crawl، فایل‌های PDF به ندرت در پیش‌آموزش مدل‌ها استفاده می‌شدند. پژوهشگران Allen Institute for AI مدل RolmOCR را توسعه داده‌اند که بر پایه بیش از 100,000 فایل PDF آموزش دیده و قادر به شناسایی سربرگ‌ها، جدول‌ها و سایر عناصر ساختاری است.

شرکت Hugging Face حدود 1.3 میلیارد فایل PDF را در Common Crawl شناسایی کرده و با استفاده از خطوط پردازشی تخصصی مانند RolmOCR (که نسخه‌ای اصلاح‌شده از سامانه Reducto است)، تریلیون‌ها توکن باکیفیت برای آموزش مدل‌ها استخراج کرده است. با این حال، حتی پیشرفته‌ترین مدل‌ها نیز گاهی متن خیالی تولید می‌کنند، قالب‌بندی را نادرست تفسیر یا محتوایی در غیاب داده واقعی ایجاد می‌کنند.

با وجود این دشواری‌ها، PDF همچنان قالبی فراگیر است. پایداری، استانداردسازی و کاربرد آن در تولید محتوای باکیفیت سبب می‌شود که هوش مصنوعی ناگزیر به تسلط بر آن باشد. داف جانسون، مدیرعامل PDF Association، می‌گوید که شرکت‌ها، وکلا، دولت‌ها و ناشران به PDF متکی هستند، زیرا هیچ فناوری دیگری سطح مشابهی از قابلیت اطمینان ارائه نمی‌دهد. میزان جست‌وجوی فایل‌های PDF به طور پیوسته افزایش یافته که نشان‌دهنده تداوم اهمیت این قالب است. با بهبود ابزارهای هوش مصنوعی، سامانه‌ها به تدریج توانایی درک و بهره‌برداری از PDF را گسترش خواهند داد و حجم عظیمی از داده‌های ساختاریافته و غیرساختاریافته را آزاد خواهند کرد.