“Các Mô hình Ngôn ngữ và Thực thể Lớn (LLMs) được huấn luyện dựa trên các ngữ liệu văn bản khổng lồ. Nguồn gốc của những văn bản này và chất lượng của chúng thông thường không được kiểm chứng đầy đủ do lượng dữ liệu lớn. Do đó, dữ liệu cá nhân hoặc bản quyền, cũng như các văn bản có nội dung đáng nghi, sai lệch hoặc phân biệt đối xử (ví dụ: thông tin sai lệch, tuyên truyền hoặc thông điệp căm ghét), có thể được bao gồm trong tập dữ liệu huấn luyện. Khi tạo ra các đầu ra, những nội dung này có thể xuất hiện trong các đầu ra đó hoặc được biến đổi một chút (Weidinger, et al., 2022). Sự mất cân bằng trong dữ liệu huấn luyện cũng có thể dẫn đến sự thiên vị trong mô hình” (trang 9).
“Nếu các điểm dữ liệu cá nhân được hiện diện một cách không cân đối trong dữ liệu huấn luyện, có nguy cơ mô hình không thể học được phân phối dữ liệu mong muốn một cách đầy đủ và, tùy thuộc vào mức độ, có xu hướng tạo ra các đầu ra lặp đi lặp lại, một chiều hoặc không nhất quán (được biết đến là sụp đổ mô hình). Dự kiến rằng vấn đề này sẽ ngày càng xảy ra trong tương lai, khi dữ liệu được tạo ra bởi LLM trở nên phổ biến hơn trên internet và được sử dụng để huấn luyện các mô hình LLM mới (Shumailov, et al., 2023). Điều này có thể dẫn đến hiệu ứng tự tăng cường, đặc biệt là trong những trường hợp văn bản có tiềm năng bị lạm dụng được tạo ra, hoặc khi một thiên vị trong dữ liệu văn bản trở nên cố định. Điều này xảy ra, ví dụ, khi càng ngày càng nhiều văn bản có liên quan được sản xuất và sử dụng lại để huấn luyện các mô hình mới, và trong suốt quá trình này, chúng tạo ra một loạt các văn bản (Bender, et al., 2021).” (trang 10)
“Chất lượng ngôn ngữ cao của các đầu ra của mô hình, kết hợp với việc truy cập thân thiện với người dùng thông qua các API và tính linh hoạt khổng lồ của các phản ứng từ các LLM phổ biến hiện nay, làm cho việc sử dụng mô hình một cách dễ dàng hơn đối với các tội phạm để tạo ra các thông tin sai lệch có mục tiêu (De Angelis, et al., 2023), các văn bản tuyên truyền, thông điệp căm ghét, đánh giá sản phẩm, hoặc các bài đăng cho mạng xã hội.”
Theo báo cáo, nên chú ý đặc biệt đến các khía cạnh sau:
➵ Nâng cao nhận thức của người dùng;
➵ Thử nghiệm;
➵ Xử lý dữ liệu nhạy cảm;
➵ Thành lập sự minh bạch;
➵ Kiểm tra đầu vào và đầu ra;
➵ Chú ý đến việc chèn (gián tiếp) lệnh;
➵ Lựa chọn và quản lý dữ liệu huấn luyện;
➵ Phát triển chuyên môn thực tiễn.
Generative_AI_Models