Các mô hình ngôn ngữ có mục đích chung có thể được tinh chỉnh để đạt được một số nhiệm vụ phổ biến như phân tích tình cảm và nhận dạng thực thể được đặt tên. Những nhiệm vụ này thường không yêu cầu kiến ​​thức nền tảng bổ sung.

Đối với các nhiệm vụ phức tạp và đòi hỏi nhiều kiến ​​thức hơn, có thể xây dựng một hệ thống dựa trên mô hình ngôn ngữ để truy cập các nguồn kiến ​​thức bên ngoài để hoàn thành nhiệm vụ. Điều này mang lại tính nhất quán thực tế hơn, cải thiện độ tin cậy của các phản hồi được tạo ra và giúp giảm thiểu vấn đề “ảo giác”.

Các nhà nghiên cứu Meta AI đã giới thiệu một phương pháp gọi là Tăng cường tạo sinh truy xuất (RAG) để giải quyết những nhiệm vụ đòi hỏi nhiều kiến ​​thức như vậy. RAG kết hợp thành phần truy xuất thông tin với mô hình tạo văn bản. RAG có thể được tinh chỉnh và kiến ​​thức nội bộ của nó có thể được sửa đổi một cách hiệu quả mà không cần đào tạo lại toàn bộ mô hình.

RAG lấy đầu vào và truy xuất một tập hợp các tài liệu hỗ trợ/có liên quan được cung cấp từ một nguồn (ví dụ: Wikipedia, KB nội bộ hoặc các quy trình, thông tin về sản phẩm của một tổ chức…). Các tài liệu được nối dưới dạng ngữ cảnh với lời nhắc đầu vào ban đầu và được đưa đến mô hình ngôn ngữ để tạo ra đầu ra cuối cùng. Điều này làm cho RAG có khả năng thích ứng với các tình huống mà sự thật có thể phát triển theo thời gian. Điều này rất hữu ích vì kiến ​​thức tham số của LLM là tĩnh. RAG cho phép các mô hình ngôn ngữ bỏ qua việc đào tạo lại, cho phép truy cập vào thông tin mới nhất để tạo ra kết quả đầu ra đáng tin cậy thông qua việc tạo dựa trên truy xuất.

Lewis và cộng sự (2021) đã đề xuất một công thức tinh chỉnh chung cho RAG. Mô hình seq2seq được đào tạo trước được sử dụng làm bộ nhớ tham số và chỉ mục vectơ của Wikipedia được sử dụng làm bộ nhớ không tham số (được truy cập bằng bộ truy xuất neuron được đào tạo trước). Dưới đây là tổng quan về cách thức hoạt động của phương pháp này:

Nguồn hình ảnh: Lewis và cộng sự. (2021)

RAG hoạt động mạnh mẽ trên một số điểm chuẩn như Câu hỏi tự nhiên, Câu hỏi Web và CuratedTrec. RAG tạo ra các câu trả lời thực tế, cụ thể và đa dạng hơn khi được kiểm tra trên các câu hỏi MS-MARCO và Jeopardy. RAG cũng cải thiện kết quả xác minh thực tế trong các đánh giá FEVER.

Điều này cho thấy tiềm năng của RAG như một lựa chọn khả thi để nâng cao kết quả đầu ra của các mô hình ngôn ngữ trong các nhiệm vụ đòi hỏi nhiều kiến ​​thức.

Gần đây hơn, các phương pháp tiếp cận dựa trên công cụ truy xuất này đã trở nên phổ biến hơn và được kết hợp với các LLM phổ biến như ChatGPT để cải thiện khả năng và tính nhất quán thực tế.

Trường hợp sử dụng RAG: Tạo tiêu đề

Link hướng dẫn ở đây, chúng tôi đã chuẩn bị một hướng dẫn sổ tay giới thiệu cách sử dụng LLM nguồn mở để xây dựng hệ thống RAG nhằm tạo tiêu đề bài viết về máy học ngắn gọn và súc tích: Bắt đầu với RAG