Tác giả: Aayush Mittal
Ngày 19 tháng 1 năm 2024
Các mô hình ngôn ngữ lớn (LLMs) như GPT-4, PaLM và Llama đã mở ra những tiến bộ đáng kể trong khả năng tạo ra ngôn ngữ tự nhiên. Tuy nhiên, một thách thức kiên trì hạn chế tính đáng tin cậy và triển khai an toàn của chúng là xu hướng tạo ra hiện tượng ảo tưởng – tạo ra nội dung có vẻ hợp lý nhưng lại không chính xác về sự thật hoặc không dựa trên bối cảnh đầu vào.
Khi LLMs ngày càng trở nên mạnh mẽ và phổ biến trong các ứng dụng thực tế, việc giải quyết hiện tượng ảo tưởng trở nên cấp bách. Bài viết này cung cấp một cái nhìn toàn diện về các kỹ thuật mới nhất mà các nhà nghiên cứu đã giới thiệu để phát hiện, định lượng và giảm nhẹ hiện tượng ảo tưởng trong LLMs.
Hiểu Biết về Hiện Tượng Ảo Tưởng trong LLMs
Hiện tượng ảo tưởng đề cập đến sự không chính xác về sự thật hoặc việc tạo ra những thông tin giả mạo do LLMs mà không có cơ sở trong thực tế hoặc ngữ cảnh được cung cấp. Một số ví dụ bao gồm:
- Sáng tạo chi tiết tiểu sử hoặc sự kiện không có trong nguồn thông tin khi tạo văn bản về một người.
- Cung cấp lời khuyên y tế không chính xác bằng cách bịa đặt về tác dụng phụ của thuốc hoặc quy trình điều trị.
- Pha chế dữ liệu, nghiên cứu hoặc nguồn thông tin không tồn tại để hỗ trợ một khẳng định.
Hiện tượng này phát sinh vì LLMs được đào tạo trên lượng lớn dữ liệu văn bản trực tuyến. Mặc dù điều này giúp chúng có được khả năng mô hình ngôn ngữ mạnh mẽ, nhưng cũng có nghĩa là chúng học cách ngoại suy thông tin, thực hiện những bước nhảy logic và điền vào những khoảng trống một cách có vẻ thuyết phục nhưng có thể làm lạc hậu hoặc sai lầm.
Một số yếu tố chính có trách nhiệm đối với hiện tượng ảo tưởng bao gồm:
- Tổng hợp mẫu – LLMs nhận diện và mở rộng các mẫu trong dữ liệu huấn luyện mà có thể không tổng quát tốt.
- Kiến thức lỗi thời – Quá trình tiền đào tạo tĩnh ngăn chặn việc tích hợp thông tin mới.
- Mơ hồ – Câu hỏi mơ hồ tạo cơ hội cho những giả định không chính xác.
- Độ chệch – Mô hình duy trì và khuếch đại các góc nhìn chệch.
- Thiếu cơ sở vững – Thiếu sự hiểu biết và lý do khiến mô hình tạo ra nội dung mà chúng không hiểu đầy đủ.
Việc giải quyết hiện tượng ảo tưởng là quan trọng để triển khai một cách đáng tin cậy trong các lĩnh vực nhạy cảm như y học, pháp luật, tài chính và giáo dục, nơi tạo ra thông tin sai lệch có thể gây hại.
Phân loại Kỹ thuật Giảm nhẹ Hiện tượng Ảo Tưởng
Các nhà nghiên cứu đã giới thiệu nhiều kỹ thuật đa dạng để chống lại hiện tượng ảo tưởng trong các LLMs, có thể được phân loại thành:
1. Kỹ thuật Kích thích
Điều này liên quan đến việc cẩn thận xây dựng các đề xuất để cung cấp ngữ cảnh và hướng dẫn LLM theo hướng các phản ứng có cơ sở và chính xác.
- Bổ sung truy xuất – Truy xuất bằng chứng bên ngoài để cơ sở hóa nội dung.
- Vòng lặp phản hồi – Cung cấp phản hồi một cách lặp lại để làm tinh chỉnh phản ứng.
- Điều chỉnh đề xuất – Điều chỉnh đề xuất trong quá trình tinh chỉnh tốt nhằm đạt được hành vi mong muốn.
2. Phát triển Mô hình
Tạo ra các mô hình ít dễ mắc hiện tượng ảo tưởng thông qua các thay đổi kiến trúc.
- Chiến lược giải mã – Tạo văn bản theo cách làm tăng tính chân thực.
- Cơ sở kiến thức – Kết hợp các cơ sở kiến thức bên ngoài.
- Hàm mất mát mới – Tối ưu hóa tính chân thực trong quá trình đào tạo.
- Tinh chỉnh tốt hơn dưới sự giám sát – Sử dụng dữ liệu được nhận xét bởi con người để cải thiện tính chân thực.
Tiếp theo, chúng tôi khảo sát các kỹ thuật nổi bật dưới mỗi phương pháp.
Các Kỹ Thuật Giảm Nhẹ Hiện Tượng Ảo Tưởng Đáng Chú Ý
Tạo ra Văn bản Kết hợp Truy xuất
Tạo ra văn bản kết hợp truy xuất cải tiến LLMs bằng cách truy xuất và điều kiện hóa việc tạo ra văn bản trên các tài liệu chứng cứ bên ngoài, thay vì chỉ phụ thuộc vào kiến thức ngụ ý của mô hình. Điều này giúp cơ sở hóa nội dung trong thông tin cập nhật và có thể xác minh, giảm thiểu hiện tượng ảo tưởng.
Các kỹ thuật nổi bật bao gồm:
- RAG – Sử dụng một mô-đun truy xuất cung cấp đoạn văn phù hợp cho một mô hình seq2seq để tạo ra văn bản. Cả hai thành phần đều được đào tạo từ đầu đến cuối.
- RARR – Sử dụng các LLMs để nghiên cứu các tuyên bố không được ghi nguồn trong văn bản được tạo ra và sửa chúng để phù hợp với chứng cứ được truy xuất.
- Truy xuất Kiến thức – Xác nhận các tạo ra không chắc chắn bằng cách sử dụng kiến thức đã được truy xuất trước khi tạo ra văn bản.
- LLM-Augmenter – Tìm kiếm tri thức một cách lặp lại để xây dựng chuỗi chứng cứ cho các đề xuất của LLM.
Phản hồi và Lý luận
Tận dụng việc sử dụng phản hồi tự nhiên lặp lại hoặc lý luận tự do cho phép LLMs làm tinh chỉnh và cải thiện các kết quả ban đầu của chúng, giảm thiểu hiện tượng ảo tưởng.
CoVe sử dụng một kỹ thuật chuỗi xác minh. LLMs trước tiên tạo ra một câu trả lời cho câu hỏi của người dùng. Sau đó, nó tạo ra các câu hỏi xác minh tiềm năng để kiểm tra sự đúng đắn của câu trả lời của mình, dựa trên độ tự tin về các tuyên bố khác nhau được đưa ra. Ví dụ, đối với một câu trả lời mô tả một liệu pháp y tế mới, CoVe có thể tạo ra câu hỏi như “Hiệu suất của liệu pháp là bao nhiêu?”, “Nó đã nhận được sự chấp thuận từ cơ quan quản lý chưa?”, “Các tác dụng phụ có thể là gì?”. Quan trọng là, LLM sau đó cố gắng trả lời những câu hỏi xác minh này một cách độc lập mà không bị ảnh hưởng bởi câu trả lời ban đầu. Nếu câu trả lời cho các câu hỏi xác minh mâu thuẫn hoặc không thể hỗ trợ các tuyên bố trong câu trả lời gốc, hệ thống xác định đó là những khả năng là hiện tượng ảo tưởng và làm tinh chỉnh câu trả lời trước khi trình bày cho người dùng.
DRESS tập trung vào điều chỉnh LLMs để phù hợp tốt hơn với sở thích của con người thông qua phản hồi tự nhiên bằng ngôn ngữ tự nhiên. Phương pháp này cho phép người dùng không chuyên nghiệp đưa ra đánh giá tự do về các thế hệ của mô hình, như “Các tác dụng phụ được đề cập dường như được phóng đại” hoặc các hướng dẫn rõ ràng như “Vui lòng thảo luận thêm về hiệu quả chi phí”. DRESS sử dụng học tăng cường để huấn luyện các mô hình tạo ra các câu trả lời dựa trên phản hồi đó mà phù hợp tốt hơn với sở thích của con người. Điều này cải thiện khả năng tương tác trong khi giảm bớt các tuyên bố không thực tế hoặc không được hỗ trợ.
MixAlign đối mặt với tình huống mà người dùng đặt câu hỏi không trực tiếp tương ứng với các đoạn văn được truy xuất bởi hệ thống. Để tránh hiện tượng ảo tưởng với ngữ cảnh không đầy đủ, MixAlign rõ ràng làm sáng tỏ với người dùng khi không biết cách liên kết câu hỏi của họ với thông tin được truy xuất. Cơ chế này liên quan đến con người trong quá trình lặp lại, giúp thu được phản hồi để cơ sở và ngữ cảnh đúng đắn, ngăn chặn các câu trả lời không có cơ sở.
Kỹ thuật Tự Phản ánh huấn luyện LLMs đánh giá, cung cấp phản hồi và lặp lại làm tinh chỉnh câu trả lời của chúng bằng cách sử dụng phương pháp đa nhiệm. Ví dụ, khi có một câu trả lời được tạo ra cho một truy vấn y tế, mô hình học cách đánh giá điểm số về độ chính xác thực tế của nó, xác định bất kỳ tuyên bố mâu thuẫn hoặc không được hỗ trợ nào, và chỉnh sửa chúng bằng cách truy xuất tri thức liên quan. Bằng cách giảng dạy LLMs chuỗi phản hồi này để kiểm tra, đánh giá và lặp lại cải thiện liên tục sản phẩm của chúng, phương pháp giảm hiện tượng ảo tưởng mà không mù quáng.
Điều Chỉnh Đề Xuất
Điều chỉnh đề xuất cho phép điều chỉnh các đề xuất hướng dẫn được cung cấp cho LLMs trong quá trình tinh chỉnh tốt nhằm đạt được hành vi mong muốn.
Phương pháp SynTra sử dụng một nhiệm vụ tóm tắt tổng hợp để giảm thiểu hiện tượng ảo tưởng trước khi chuyển giao mô hình sang các bộ dữ liệu tóm tắt thực tế. Nhiệm vụ tổng hợp tạo ra các đoạn văn đầu vào và yêu cầu mô hình tóm tắt chúng thông qua chỉ trích duy nhất, mà không có sự trừu tượng. Điều này huấn luyện mô hình dựa hoàn toàn vào nội dung nguồn thay vì tưởng tượng ra thông tin mới trong quá trình tóm tắt. Phương pháp SynTra được chứng minh là giảm vấn đề về hiện tượng ảo tưởng khi mô hình được tinh chỉnh trên các nhiệm vụ mục tiêu.
UPRISE huấn luyện một hệ thống truy xuất đề xuất toàn cầu cung cấp đề xuất mềm tối ưu cho việc học dạng few-shot trên các nhiệm vụ thượng dòng chưa từng thấy. Bằng cách truy xuất các đề xuất hiệu quả được điều chỉnh trên một loạt các nhiệm vụ đa dạng, mô hình học cách tổng quát hóa và thích ứng với các nhiệm vụ mới nơi nó thiếu ví dụ đào tạo. Điều này nâng cao hiệu suất mà không yêu cầu điều chỉnh cụ thể cho từng nhiệm vụ.
Các Kiến Trúc Mô Hình Mới
FLEEK là một hệ thống tập trung vào việc hỗ trợ các nhà kiểm chứng và xác minh thông tin. Nó tự động xác định các tuyên bố có khả năng được kiểm chứng về sự thật trong một văn bản cụ thể. FLEEK chuyển đổi những tuyên bố đáng kiểm tra này thành các truy vấn, truy xuất thông tin liên quan từ các cơ sở kiến thức và cung cấp thông tin ngữ cảnh này cho những người xác minh để kiểm chứng độ chính xác của tài liệu và nhu cầu sửa đổi một cách hiệu quả.
Phương pháp giải mã CAD giảm hiện tượng ảo tưởng trong việc tạo ngôn ngữ thông qua giải mã có ý thức về ngữ cảnh. Cụ thể, CAD tăng cường sự khác biệt giữa phân phối đầu ra của một LLM khi được điều kiện trên một ngữ cảnh so với việc tạo ra một cách không điều kiện. Điều này ngăn chặn việc đối lập với bằng chứng ngữ cảnh, định hình mô hình theo hướng tạo ra các thế hệ có cơ sở.
DoLA giảm nhẹ hiện tượng ảo tưởng về sự thật bằng cách so sánh logits từ các lớp khác nhau của mạng transformer. Vì kiến thức thực tế thường tập trung ở các tầng giữa nhất định, việc tăng cường tín hiệu từ những tầng thực tế đó thông qua việc so sánh logits của DoLA giảm thiểu việc tạo ra thông tin thực tế không đúng.
Khung THAM giới thiệu một thuật ngữ chính quy trong quá trình đào tạo để giảm thiểu thông tin chung giữa đầu vào và đầu ra tưởng tượng. Điều này giúp tăng cường sự phụ thuộc của mô hình vào ngữ cảnh đầu vào đã được cung cấp thay vì trí tưởng tượng không ràng buộc, giảm thiểu hiện tượng ảo tưởng mù quáng.
Cơ Sở Kiến Thức
Việc đặt nền cho các thế hệ của LLM trong kiến thức có cấu trúc ngăn chặn việc tưởng tượng và chế tạo không kiểm soát.
Mô hình RHO xác định các thực thể trong ngữ cảnh hội thoại và liên kết chúng với một đồ thị kiến thức (KG). Các sự thật và mối quan hệ liên quan về những thực thể đó được truy xuất từ KG và được kết hợp vào biểu diễn ngữ cảnh được cung cấp cho LLM. Việc này giảm hiện tượng ảo tưởng trong đối thoại bằng cách giữ cho các câu trả lời liên quan đến các sự thật cơ bản về các thực thể/sự kiện đã được đề cập.
HAR tạo ra bộ dữ liệu đào tạo phản thực tế chứa những hiện tượng ảo tưởng được tạo ra bởi mô hình để giáo dục cách nền tảng. Cho một đoạn văn về sự thật, các mô hình được yêu cầu thêm vào các hiện tượng ảo hoặc biến đổi để tạo ra một phiên bản phản thực tế khác. Việc tinh chỉnh trên dữ liệu này buộc các mô hình nền tảng nội dung tốt hơn vào nguồn thông tin thực tế gốc, giảm thiểu sự tự do sáng tạo.
Tinh chỉnh tốt hơn dưới sự giám sát
- Coach – Khung làm việc tương tác trả lời câu hỏi của người dùng nhưng cũng yêu cầu sự sửa đổi để cải thiện.
- R-Tuning – Tinh chỉnh nhận thức về từ chối từ chối các câu hỏi không được hỗ trợ được xác định thông qua các khoảng cách kiến thức trong dữ liệu đào tạo.
- TWEAK – Phương pháp giải mã xếp hạng các thế hệ dựa trên mức độ mà giả thuyết hỗ trợ các sự thật đầu vào.
Thách Thức và Hạn Chế
Mặc dù có tiến triển đáng kể, nhưng vẫn còn những thách thức quan trọng trong việc giảm nhẹ hiện tượng ảo tưởng:
- Các kỹ thuật thường đối đầu giữa chất lượng, mạch lạc và sáng tạo với tính chính xác. Khó khăn trong việc đánh giá nghiêm túc ngoài các lĩnh vực hạn chế. Các phương pháp không thể bắt kịp mọi sắc thái.
- Nhiều phương pháp tốn kém về mặt tính toán, đòi hỏi truy xuất hoặc lý luận tự nhiên một cách đầy đủ.
- Nặng chủ yếu vào chất lượng dữ liệu đào tạo và nguồn kiến thức bên ngoài.
- Khó khăn trong việc đảm bảo tính tổng quát qua các lĩnh vực và phương thức.
- Gốc căn bản của hiện tượng ảo tưởng như quá mức mở rộng vẫn chưa được giải quyết.
Để giải quyết những thách thức này, có lẽ cần một phương pháp đa lớp kết hợp các cải tiến dữ liệu đào tạo, cải tiến kiến trúc mô hình, các hàm mất mát tăng tính chân thực và các kỹ thuật thời gian suy luận.
Con đường phía trước
Việc giảm nhẹ hiện tượng ảo tưởng cho các LLMs vẫn là một vấn đề nghiên cứu mở với sự tiến triển tích cực. Một số hướng phát triển tiềm năng bao gồm:
- Kỹ thuật kết hợp: Kết hợp các phương pháp bổ sung nhau như truy xuất, nền tảng kiến thức và phản hồi.
- Mô hình hóa nhân quả: Tăng cường sự hiểu biết và lý luận.
- Tích hợp kiến thức trực tuyến: Duy trì thông tin thế giới được cập nhật.
- Xác minh chính thức: Cung cấp các đảm bảo toán học về hành vi của mô hình.
- Khả năng giải thích: Xây dựng tính minh bạch vào các kỹ thuật giảm nhẹ.
Khi các LLMs tiếp tục lan rộng qua các lĩnh vực có tính chất quan trọng, việc phát triển các giải pháp mạnh mẽ để giảm nhẹ hiện tượng ảo tưởng sẽ quan trọng để đảm bảo triển khai an toàn, đạo đức và đáng tin cậy của chúng. Các kỹ thuật được đánh giá trong bài viết này mang lại cái nhìn tổng quan về các kỹ thuật được đề xuất cho đến nay, trong đó vẫn còn nhiều thách thức nghiên cứu mở. Nhìn chung, có xu hướng tích cực trong việc nâng cao tính chính xác của mô hình, nhưng tiến triển tiếp tục đòi hỏi giải quyết các hạn chế và khám phá các hướng mới như nhân quả, xác minh và phương pháp kết hợp. Với sự nỗ lực chăm chỉ từ các nhà nghiên cứu trên nhiều lĩnh vực, giấc mơ về các LLM mạnh mẽ nhưng đáng tin cậy có thể được biến thành hiện thực.
