در این آسیب‌پذیری، زمانی که از هوش مصنوعی ChatGPT خواسته می‌شود تا یک عبارت را تا ابد تکرار کند، این هوش مصنوعی اطلاعات محرمانه‌ای را فاش می‌کند.
مدل‌های زبانی بزرگ مانند ChatGPT روی حجم وسیعی از داده‌های متنی کتاب‌ها، وب‌سایت‌ها و سایر منابع آموزش داده می‌شوند که معمولاً این داده‌ها محرمانه هستند. اکنون در یک مطالعه جدید نشان داده شده که با فریب‌دادن و سوءاستفاده از یک آسیب‌پذیری در مدل‌های هوش مصنوعی، ممکن است آن‌ها داده‌های آموزشی خود را به‌طور ناخواسته فاش کنند.
محققانی از گوگل (DeepMind) و دانشگاه واشنگتن در تحقیق جدید خود با هدف اندازه‌گیری میزان داده‌های حفظ‌شده و پیامدهای آن برای حریم خصوصی و طراحی مدل، تلاش کردند تا متوجه شوند که این مدل‌ها، ازجمله ChatGPT، چه مقدار و چه نوع داده‌هایی را می‌توانند حفظ کنند. محققان در طول تحقیق خود مجموعه‌ای از آسیب‌پذیری‌ها را در ChatGPT کشف کردند که از آن‌ها به‌عنوان «حمله واگرایی» یاد شده است.
آسیب‌پذیری ChatGPT و افشای داده‌های حساس
به بیان ساده، زمانی که محققان از ChatGPT خواسته‌اند تا کلمه‌ای مانند «poem» (به‌معنای شعر) یا «book» (به‌معنای کتاب) را برای همیشه تکرار کند، ابزار هوش مصنوعی کار خود را با تکرار چندین‌باره آن کلمه شروع می‌کند.
اما درنهایت، همان‌طور که در تصویر بالا قابل مشاهده است، ChatGPT متن دیگری که اغلب شامل رشته‌های طولانی از متون آموزشی خود مانند کد، تکه نوشته‌ها و حتی اطلاعات شخصی افراد (مانند نام، آدرس ایمیل و شماره تلفن) می‌شود، فاش می‌کند.
OpenAI هنوز نسبت به این گزارش واکنش نشان نداده است و به‌نظر می‌رسد که محققان این مطالعه برای انجام تحقیق خود از روش‌های خاصی استفاده کرده‌اند؛ زیرا زمانی که ما از ChatGPT درخواست کردیم تا کلمه poem را برای همیشه تکرار کند، هیچ داده آموزشی یا محرمانه‌ای فاش نشد. درواقع ChatGPT هنگام ثبت این درخواست، از کاربران می‌خواهد تا درخواست خود را به‌صورت واضح‌تری ارائه کنند که بااین‌وجود، می‌توان گفت که شاید OpenAI حداقل برخی از این مشکلات را برطرف کرده است.
منبع : دیجیاتو
