حققان در یک مطالعه به این نتیجه رسیده‌اند که حداقل نیمی از پاسخ‌های ChatGPT در زمینه کدنویسی اشتباه است.
به گزارش گروه علم و پیشرفت خبرگزاری فارس به نقل از فیوچریزم، پژوهشگران کشف کرده‌اند که ۵۲ درصد از پاسخ‌هایی که ChatGPT به سؤالات کدنویسی کاربران ارائه می‌دهد، نادرست است.
در این بررسی مشخص شده است که کاربرانی که به دنبال پاسخ‌های صحیح برای کدنویسی هستند، حداقل نیمی از پاسخ‌های دریافتی را نادرست تلقی می‌کنند که به‌طور کلی قابل قبول نیست.
محققان با بررسی بیش از ۵۰۰ سؤال شغلی و پاسخ‌های ChatGPT دریافته‌اند که حداقل ۵۲ درصد از جواب‌های ChatGPT نادرست بوده و ۷۷ درصد از این پاسخ‌ها نسبت به پاسخی که یک انسان می‌دهد، طولانی‌تر است. همچنین ۷۰ درصد از این پاسخ‌ها با پاسخی که یک انسان ارائه می‌دهد، در تناقض است. این موضوع در پاسخ‌های قبلی ChatGPT نیز مشاهده شده است که نشانه‌هایی از توهم و ارائه پاسخ‌های غلط داشت.
پژوهشگران در این مطالعه دریافته‌اند که برخی از کدنویسان بدون متوجه‌شدن اشتباهات ChatGPT از این پاسخ‌ها استفاده می‌کنند، زیرا پاسخ‌ها به طور مؤدبانه و شبیه به ادبیات کتاب‌های آموزشی ارائه می‌شوند. آنها معتقدند که کاربران باید نسبت به پاسخ‌های اشتباه ChatGPT هوشیار باشند و به برخی از این پاسخ‌ها اعتنا نکنند.
