وقتی فکر کردن زیاد نتیجه معکوس می‌دهد؛ هشدار آنتروپیک به صنعت هوش مصنوعی
درحالی‌که بسیاری تصور می‌کردند استدلال بیشتر در مدل‌های هوش مصنوعی به معنای نتایج دقیق‌تر است، پژوهش تازه‌ای از شرکت آنتروپیک نشان می‌دهد که چنین نیست. طبق این مطالعه، صرف زمان بیشتر برای فکر کردن نه‌تنها به بهبود عملکرد منجر نمی‌شود، بلکه در بسیاری از وظایف، دقت مدل‌ها را به‌شدت کاهش می‌دهد.
مدل‌های هوش مصنوعی که زمان بیشتری را صرف فکر کردن روی مسائل می‌کنند، همیشه عملکرد بهتری ندارند و در برخی موارد، عملکردشان به‌طور قابل‌توجهی کاهش می‌یابد.
این موضوع براساس پژوهش جدیدی از آنتروپیک مطرح شده که یکی از فرضیات اصلی در تلاش‌های اخیر صنعت هوش مصنوعی برای مقیاس‌پذیری را به چالش می‌کشد.
این مطالعه به سرپرستی «آریو پرادیپتا جما»، پژوهشگر ایمنی هوش مصنوعی در آنتروپیک و سایر پژوهشگران این شرکت انجام شده است. در این مطالعه، «مقیاس‌پذیری معکوس در محاسبات زمان آزمون» شناسایی شده است. در این حالت، افزایش طول فرایند استدلال در مدل‌های زبانی بزرگ در واقع باعث کاهش عملکرد آن‌ها در انواع مختلفی از وظایف می‌شود.
پیامدهای این یافته‌ها برای صنعت هوش مصنوعی
این یافته‌ها می‌تواند پیامدهای قابل‌توجهی برای شرکت‌هایی داشته باشد که از سیستم‌های هوش مصنوعی متکی به قابلیت‌های استدلال گسترده استفاده می‌کنند.
همچنین بخوانید: اجرای مدل چت جی‌پی‌تی روی ماشین‌حساب کلاسیک TI-۸۴؛ نوآوری در دل نوستالژی
محققان آنتروپیک مدل‌ها را در چهار دسته وظایف آزمایش کردند: مسائل شمارشی ساده با عوامل حواس‌پرتی، وظایف رگرسیونی با ویژگی‌های گمراه‌کننده، معماهای استنتاج پیچیده و سناریوهایی که شامل دغدغه‌های ایمنی هوش مصنوعی می‌شود.
این مطالعه الگوهای شکست متفاوتی را در سیستم‌های هوش مصنوعی نشان می‌دهد. برای مثال، مدل‌های Claude هرچه بیشتر استدلال می‌کنند، بیشتر توسط اطلاعات نامربوط منحرف می‌شوند، درحالی‌که مدل‌های سری o از OpenAI در برابر عوامل حواس‌پرتی مقاومت می‌کنند؛ اما بیش از حد به چارچوب‌بندی مسئله وابسته می‌شوند.
در وظایف رگرسیونی، استدلال طولانی‌تر باعث می‌شود مدل‌ها از پیش‌فرض‌های منطقی به سمت همبستگی‌های کاذب منحرف شوند، البته ارائه مثال‌ها تا حد زیادی این رفتار را اصلاح می‌کند.
شاید نگران‌کننده‌ترین نکته برای کاربران سازمانی این باشد که تمام مدل‌ها در وظایف استنتاجی پیچیده با استدلال طولانی‌تر، دچار افت عملکرد شدند که نشان‌دهنده دشواری مدل‌ها در حفظ تمرکز هنگام انجام وظایف استنتاجی پیچیده است.
منبع: دیجیاتو
