جستجوی ChatGPT؛ واقعیت تلخ عدم دقت و ارائه اطلاعات ناقص

تحقیقات اخیر نشان می‌دهد که ابزار جستجوی ChatGPT، یک مدل زبانی بزرگ ساخته‌ی OpenAI، علی‌رغم اعتماد به نفس بالایی که در پاسخ‌گویی دارد، اغلب نتایج نادرست یا ناقص ارائه می‌کند.

به گزارش سرویس اخبار فناوری رسانه تکنولوژی تکنا، پژوهشگران مرکز روزنامه‌نگاری دیجیتال دانشگاه کلمبیا، با انجام آزمایش‌های گسترده، متوجه شده‌اند که ChatGPT در تشخیص صحیح منابع نقل‌قول‌ها، حتی از مقالات منتشر شده در ناشرانی که با OpenAI همکاری دارند، با مشکل جدی مواجه است.

در این پژوهش، محققان از ChatGPT خواستند تا منبع ۲۰۰ نقل‌قول از ۲۰ نشریه مختلف را شناسایی کند. نکته قابل توجه این است که ۴۰ مورد از این نقل‌قول‌ها از ناشرانی بودند که به طور مشخص به خزنده وب OpenAI اجازه دسترسی به محتوای خود را نداده بودند. با این وجود، مدل زبانی با اطمینان بسیار، اطلاعات نادرست ارائه داد و به ندرت تردید خود را در مورد صحت پاسخ‌ها نشان داد.

نتایج این تحقیق نشان می‌دهد که ChatGPT در ۱۵۳ مورد از مجموع ۲۰۰ مورد، پاسخ‌های ناقص یا کاملاً نادرست ارائه داده است. در حالی که در تنها ۷ مورد از این موارد، مدل زبانی به عدم قطعیت خود در یافتن منبع دقیق اشاره کرده است. یکی از نمونه‌های بارز این عدم دقت، ارجاع نادرست ChatGPT به یک نامه به سردبیر اورلاندو سنتینل به عنوان یک داستان منتشر شده در مجله تایم است. در مثال دیگری، این مدل زبانی، منبع یک نقل‌قول از مقاله‌ای در نیویورک تایمز را به یک وب‌سایت دیگر ارجاع داد که به طور کامل این مقاله را کپی کرده بود.

OpenAI در پاسخ به این یافته‌های نگران‌کننده، ضمن پذیرش چالش‌های موجود، بر تلاش‌های خود برای بهبود دقت نتایج جستجوی ChatGPT تاکید کرده است. با این حال، محققان بر این باورند که این مشکل جدی، نیازمند توجه بیشتر و اقدامات جدی‌تر برای رفع آن است.

نتایج این تحقیق نشان می‌دهد که مدل‌های زبانی بزرگ مانند ChatGPT، علی‌رغم پیشرفت‌های چشمگیر، هنوز هم با چالش‌های جدی در زمینه دقت و قابلیت اطمینان مواجه هستند. این مسئله اهمیت بررسی دقیق و ارزیابی مستقل این مدل‌ها را قبل از استفاده گسترده از آن‌ها در کاربردهای مختلف، به ویژه در حوزه‌های حساس مانند روزنامه‌نگاری و اطلاع‌رسانی، بیش از پیش آشکار می‌سازد. برای مشاهده تازه ترین خبرها به صفحه اخبار فناوری رسانه تکنا مراجعه کنید.