Ngoài việc sử dụng AI để khai thác lỗ hổng và tạo ra các chương trình tấn công, tin tặc giờ đây còn tận dụng kẽ hở khi nhân sự sử dụng công cụ AI tạo sinh (Gen AI) để phục vụ mục đích khai thác thông tin.
Một trong các hình thức tấn công mới là tiêm nhiễm câu lệnh (prompt injection). Trong các cuộc tấn công này, kẻ tấn công sử dụng các lệnh được thiết kế cẩn thận để khiến hệ thống AI bỏ qua các hướng dẫn ban đầu hoặc thực hiện các hành động không mong muốn.
Ngoài ra, kẻ tấn công khi có quyền truy cập cũng có thể âm thầm đưa vào những dữ liệu xấu, như một cách “đào tạo” hệ thống AI của doanh nghiệp nhằm phục vụ ý đồ của mình. Khi bị kẻ gian “tiêm nhiễm” điều xấu, chatbot có thể trở thành công cụ để thực hiện nhiều hành vi sai trái, ví dụ cung cấp thông tin nhằm dẫn dụ khách hàng theo kịch bản của kẻ gian, hay thu thập dữ liệu cá nhân…
