Tác giả: Haziqa Sajid
ngày 5 tháng 3 năm 2024
Các Mô hình Ngôn ngữ Lớn (LLMs) đang tạo ra cuộc cách mạng cách về cách chúng ta xử lý và tạo ra ngôn ngữ, nhưng chúng không hoàn hảo. Giống như con người có thể nhìn thấy hình dạng nào đó ở trong đám mây hoặc một khuôn mặt trên mặt trăng, LLMs cũng có thể có những ‘ảo giác’ như vậy và tạo ra thông tin không chính xác. Hiện tượng này, được biết đến là ảo giác của LLM, đặt ra một vấn đề ngày càng nổi lên khi việc sử dụng LLMs mở rộng.
Những sai sót có thể làm rối loạn người dùng và trong một số trường hợp có thể dẫn đến rắc rối pháp lý cho các công ty hoặc các tổ chức sử dụng mô hình ngôn ngữ. Ví dụ, vào năm 2023, một cựu binh của Không quân là Jeffery Battle (còn được biết đến với tên The Aerospace Professor) đã đệ đơn kiện Microsoft khi ông phát hiện ra rằng công cụ tìm kiếm Bing của Microsoft, được cung cấp bởi ChatGPT, đôi khi đưa ra thông tin không chính xác về tên của ông. Công cụ tìm kiếm này lẫn lộn ông với một kẻ có tiền án tên Jeffery Leon Battle.
Để giải quyết vấn đề ảo giác, việc tạo ra Tìm kiếm Tăng cường (RAG) đã nổi lên như một giải pháp hứa hẹn. Nó tích hợp kiến thức từ các cơ sở dữ liệu bên ngoài để tăng cường độ chính xác và độ tin cậy của các LLMs. Ở bài viết dưới đây chúng ta sẽ cùng nhau xem xét kỹ hơn về cách mà RAG được MyGPT sử dụng để loại bỏ ảo giác làm cho các LLMs trở nên chính xác và đáng tin cậy hơn.
Hiểu về Ảo giác của LLM: Nguyên nhân và Ví dụ
Các mô hình ngôn ngữ nổi tiếng như ChatGPT, ChatGLM và Claude… được huấn luyện trên các tập dữ liệu văn bản phong phú nhưng chúng không được áp dụng các thiết chế trong việc tạo ra các kết quả chính xác về mặt sự thật, chính vì vậy hiện tượng được gọi là ‘ảo giác’ có thể sinh ra bất cứ lúc nào. Việc ảo giác này xảy ra vì các LLMs đều được huấn luyện để cố gắng tạo ra các kết quả có ý nghĩa về mặt nào đó dựa trên các Quy tắc ngôn ngữ cơ bản, bất kể tính chính xác của chúng.
Một nghiên cứu của Tidio đã phát hiện ra rằng trong khi 72% người dùng tin rằng các LLMs là đáng tin cậy, 75% đã nhận được thông tin không chính xác từ trí tuệ nhân tạo ít nhất một lần. Ngay cả các mô hình LLMs hứa hẹn nhất như GPT-3.5 và GPT-4 cũng đôi khi có thể tạo ra nội dung không chính xác hoặc không có ý nghĩa.
Dưới đây là một cái nhìn tổng quan về các loại ảo giác của LLM phổ biến:
Các Loại Ảo Giác Trí Tuệ Nhân Tạo Phổ Biến:
- Lạc Nguồn Gốc: Điều này xảy ra khi một mô hình kết hợp thông tin từ nhiều nguồn khác nhau, dẫn đến mâu thuẫn hoặc thậm chí là các nguồn được sản sinh một cách sai lệch.
- Tính Thực tiễn: Các LLMs có thể tạo ra nội dung với cơ sở thực tế không chính xác, đặc biệt là khi chúng được huấn luyện với những dữ liệu không chính xác được thu thập từ internet (bài viết bịa đặt, bài viết marketing hoặc các câu chuyện không có thực…).
- Thông Tin Vô Lý: Các LLMs dự đoán từ tiếp theo dựa trên xác suất. Điều này có thể dẫn đến văn bản có ngữ pháp đúng nhưng không có nghĩa, làm người dùng nhầm lẫn về sự tin cậy của nội dung.
Năm ngoái, hai luật sư đối mặt với khả năng bị trừng phạt vì đề cập đến sáu vụ án không tồn tại trong tài liệu pháp lý của họ, bị lừa bởi thông tin được tạo ra từ ChatGPT. Ví dụ này nhấn mạnh tầm quan trọng của việc tiếp cận nội dung được tạo ra bởi LLMs dưới góc nhìn phản diện cần đặc biệt quan tâm đến việc xác minh để đảm bảo tính đáng tin cậy.
Trong khi khả năng sáng tạo của mô hình ngôn ngữ có lợi cho các ứng dụng như kể chuyện, tạo nội dung marketing thì nó lại là thách thức đối với các nhiệm vụ yêu cầu tuân thủ nghiêm ngặt các sự thật, như thực hiện nghiên cứu học thuật, viết báo cáo phân tích y tế và tài chính, và cung cấp lời khuyên pháp lý.
Khám phá Giải pháp cho Ảo Giác của LLM: Cách RAG Hoạt động
Vào năm 2020, các nhà nghiên cứu LLM giới thiệu một kỹ thuật gọi là Tạo ra Tìm kiếm Tăng cường (RAG) để giảm bớt ảo giác của LLM bằng cách tích hợp một nguồn dữ liệu bên ngoài. Khác với các LLM truyền thống chỉ phụ thuộc vào kiến thức được huấn luyện trước của chúng, các mô hình LLM dựa trên RAG tạo ra các phản ứng có tính chính xác về mặt sự thật bằng cách ưu tiên lấy thông tin liên quan từ một cơ sở dữ liệu bên ngoài trước khi trả lời câu hỏi hoặc tạo ra văn bản.
Phân Tích Quá Trình RAG:
Bước 1: Tìm kiếm
Hệ thống tìm kiếm trong một cơ sở kiến thức cụ thể để tìm thông tin liên quan đến câu hỏi của người dùng. Ví dụ, nếu ai đó hỏi về đội vô địch World Cup bóng đá gần đây nhất, hệ thống sẽ tìm kiếm thông tin bóng đá phù hợp nhất. Hoặc thông tin về Kế hoạch tuyển sinh đại học của một đề án tuyển sinh vừa được phê duyệt.
Dĩ nhiên việc tìm kiếm thông tin này cũng được áp dụng nhiều kỹ thuật xử lý ngôn ngữ tự nhiên để có thể xác định được thông tin phù hợp từ yêu cầu tìm kiếm trên cơ sở dữ liệu cộng thêm này.
Bước 2: Tăng cường
Sau đó, truy vấn ban đầu bạn sẽ cần kiểm tra thông tin tìm được và cải thiện hoặc kiểm tra thông tin được tìm thấy bằng các logic xác định trong ứng dụng của mình. Sử dụng ví dụ về bóng đá, câu hỏi “Ai là đội vô địch World Cup bóng đá?” được cập nhật với các chi tiết cụ thể như “Argentina là đội vô địch World Cup bóng đá.”
Bước 3: Tạo sinh
Với truy vấn được bổ sung, LLM sẽ tạo ra một phản ứng chi tiết và chính xác. Trong trường hợp của chúng ta, nó sẽ tạo ra một phản ứng dựa trên thông tin được bổ sung về Argentina vô địch World Cup.
Phương pháp này giúp giảm thiểu sự không chính xác và đảm bảo các phản ứng của LLM là đáng tin cậy hơn và dựa trên dữ liệu chính xác.
Ưu và Nhược điểm của RAG trong Việc Giảm Ảo Giác
RAG đã thể hiện sự hứa hẹn trong việc giảm bớt ảo giác bằng cách sửa chữa quy trình tạo ra. Cơ chế này cho phép các mô hình RAG cung cấp thông tin chính xác, cập nhật và liên quan đến ngữ cảnh hơn.
Chắc chắn, việc thảo luận về Tạo ra Tìm kiếm Tăng cường (RAG) một cách tổng quát sẽ mở ra một cái nhìn rộng hơn về ưu và nhược điểm của nó qua các triển khai khác nhau.
Ưu điểm của RAG:
- Tìm kiếm thông tin tốt hơn: RAG nhanh chóng tìm kiếm thông tin chính xác từ các nguồn dữ liệu lớn riêng của tổ chức.
- Tăng cường nội dung: Nó cho phép tạo chúng ta có thể cải thiện để tạo ra nội dung rõ ràng hơn, phù hợp với những gì người dùng cần.
- Sử dụng linh hoạt: Người dùng có thể điều chỉnh RAG để phù hợp với các yêu cầu cụ thể của họ, như sử dụng các nguồn dữ liệu độc quyền của họ, tăng hiệu quả.
Thách thức của RAG:
- Cần dữ liệu cụ thể: Hiểu rõ ngữ cảnh của truy vấn để cung cấp thông tin liên quan và chính xác có thể là khó khăn mà các tổ chức muốn xây dựng ứng dụng trên RAG gặp phải.
- Khả năng mở rộng: Mở rộng mô hình để xử lý các tập dữ liệu và truy vấn lớn trong song song với việc duy trì hiệu suất sẽ gặp nhiều khó khăn.
- Cập nhật liên tục: Tự động cập nhật cơ sở dữ liệu kiến thức với thông tin mới nhất tốn nhiều tài nguyên cũng như nguồn lực để xử lý xung đột về ngữ nghĩa của dữ liệu cũ và dữ liệu mới.
Khám phá Các Phương Pháp Thay Thế cho RAG
Ngoài RAG, dưới đây là một số phương pháp hứa hẹn khác giúp các nhà nghiên cứu LLM giảm ảo giác:
- G-EVAL: Xác minh chéo tính chính xác của nội dung được tạo ra với một tập dữ liệu đáng tin cậy, tăng cường tính đáng tin cậy.
- SelfCheckGPT: Tự động kiểm tra và sửa chữa các lỗi của chính nó để giữ cho các đầu ra chính xác và nhất quán.
- Kỹ thuật chuỗi lời nhắc: Giúp người dùng thiết kế các lời nhắc đầu vào chính xác để hướng dẫn các mô hình đến các phản ứng chính xác và liên quan.
- Tinh chỉnh: Điều chỉnh mô hình cho các tập dữ liệu cụ thể nhiệm vụ để cải thiện hiệu suất trong miền cụ thể.
- LoRA (Điều Chỉnh Thấp Hạng): Phương pháp này sửa đổi một phần nhỏ các tham số của mô hình để thích ứng với nhiệm vụ cụ thể, tăng cường hiệu quả.
MyGPT giúp bạn vượt qua ảo giác
Bằng cách áp dụng các kỹ thuật RAG phối hợp với nhiều kỹ thuật bổ sung song song với tiền xử lý dữ liệu, hiểu về dữ liệu mà chúng tôi triển khai, vấn đề ảo giác sẽ được loại bỏ hoàn toàn trong các ứng dụng thực tế tại nhiều tổ chức lớn trong nước như Dauthau, Rạng Đông, Funix… sẽ là minh chứng cụ thể cho việc này.
Việc loại bỏ ảo giác không chỉ giúp các đơn vị tự tin đưa được Chatbot AI và công tác dịch vụ, tư vấn và chỉ dẫn khách hàng mà còn áp dụng đến nhiều hoạt động bên trong doanh nghiệp điển hình như ChatbotAI trợ lý sản xuất của Nhà máy sản xuất bình phích thuỷ tinh Rạng Đông hoặc các Chatbot trợ lý quy trình của nhiều đơn vị khác.
Sự khám phá về RAG và các phương pháp thay thế của nó nhấn mạnh sự tiếp cận đa dạng và đa chiều trong việc cải thiện độ chính xác và đáng tin cậy của LLM. Khi chúng ta tiến bộ, sự đổi mới liên tục trong các công nghệ như RAG là điều cần thiết để giải quyết các thách thức vốn có của ảo giác của LLM.
