خطر یکپارچه سازی چت‌بات‌های هوش مصنوعی برای کسب‌وکارها

مقامات انگلیس درباره یکپارچه سازی چت بات های هوش مصنوعی در کسب وکارها به سازمان های مختلف هشدار داده و اعلام کردند تحقیقات نشان می دهد این ابزارها را می توان برای انجام کارهای خطرناک فریب داد.

به گزارش ایتنا از مهر، مرکز ملی امنیت سایبری انگلیس(NCSC) در یک پست وبلاگی اعلام کرد کارشناسان هنوز نتوانسته اند به طور کامل مشکلات امنیتی احتمالی مربوط به الگوریتم هایی را شناسایی کنند که قادر به ایجاد واکنش های مشابه انسان هستند و به مدل های زبانی بزرگ (LLM) مشهورند.

استفاده از ابزارهای مبتنی بر هوش مصنوعی نه تنها به رشد کاربرد چت بات ها منجر شده بلکه برخی معتقدند علاوه بر آنکه جایگزین جستجوی اینترنتی می شود بخش سرویس های مشتریان و تماس ها برای فروش را نیز از آن خود می کند.

طبق گزارش این مرکز چنین ابزارهایی ممکن است ریسک هایی در بر داشته باشند به خصوص اگر مدل های زبانی بزرگ به سایر عناصر فرآیندهای تجاری سازمان متصل شده باشند. کارشناسان و محققان مکررا روش هایی را یافته اند که با ارسال دستورهای ممنوع به چت بات ها یا گمراه کردن آنها و دور زدن اقدامات محافظتی، این ابزارها را از کار می اندازند.

به عنوان مثال اگر هکری سوالات مشخصی را در چت بات یک بانک وارد کند، می تواند این سیستم را فریب دهد و تراکنش های غیر مجاز انجام دهد.

NCSC در یکی از پست های وبلاگی خود با اشاره به ارائه آزمایشی نرم افزارمی نویسد: سازمان هایی که با استفاده از LLM ها سرویسی ایجاد می کنند باید مانند زمانیکه یک محصول یا کدی را در وضعیت بتا ارائه می کنند، مراقب باشند.

ممکن است سازمان ها اجازه ندهند محصول آزمایشی از سوی مشتری تراکنشی انجام دهد و به طور کلی آن را معتبر ندانند. همین اقدامات احتیاطی باید در مدل های زبانی بزرگ نیز اتخاذ شود.

مقامات سراسر جهان مشغول دست و پنجه نرم کردن با مدل های زبانی بزرگ مانند چت جی پی تی شرکت اوپن ای آی هستند. کسب وکارهای مختلف این ابزارها را به طور وسیع در سرویس های خود از جمله بخش های فروش و خدمات مشتریان به کار می گیرند.