Có rất nhiều kỳ vọng rằng chỉ cần đưa một file .pdf vào các hệ thống sẵn có, chúng ta có thể triển khai một Chatbot GenAI để thay mặt tổ chức thực hiện nhiệm vụ giao tiếp với bên ngoài theo mong muốn.
Để trả lời rõ ràng câu hỏi này, hôm nay MyGPT sẽ thực hiện một số thử nghiệm với dữ liệu công khai cùng các phân tích về nguyên nhân, giúp các bạn hiểu rõ hơn về thực tế.
- Yêu cầu nhiệm vụ: Triển khai 1 Chatbot trả lời sinh viên về quy định, quy chế, thông tin của Trường Đại học mở TP. Hồ Chí Minh
- Dữ liệu sử dụng: Sổ tay sinh viên 2023, kích thước 145 trang text.
- Nguồn tài liệu: https://ou.edu.vn/wp-content/uploads/2023/10/SO-TAY-SINH-VIEN-2023.pdf
- Yêu cầu: Trả lời đúng và chính xác dựa trên thông tin được cung cấp
Thực nghiệm 1 với LlamaIndex, mô hình ngôn ngữ Llama 3 7B
Công nghệ xử lý: Agent tự động trích xuất đặc trưng từ dữ liệu khi Embeding; Agent tự động đánh giá tính phù hợp của dữ liệu Retrival với câu hỏi; Chưa tối ưu prompt. Llama 3 chạy local.
Câu hỏi 1: nhà trường có các ngành đào tạo nào
Đánh giá: Câu trả lời đúng thông tin theo tài liệu cung cấp tuy nhiên câu trả lời bị lặp lại, vấn đề này có thể thay đổi prompt để nắn lại kết quả đầu ra. Chấp nhận được.
Câu hỏi 2: liệt kê cho tôi các ngành
Đánh giá: Câu trả lời thiếu, sai, lẫn tiếng anh. Vấn đề lẫn tiếng Anh có thể xử lý được vì prompt đầu vào chưa được tối ưu tuy nhiên đã có hiểu lẫn giữa Ngành và Câu lạc bộ. Không đạt.
Câu hỏi 3: 29 ngành đào tạo đại trà là các ngành nào
Đánh giá: Lẫn, Chat liệt kê được 29 ngành tuy nhiên đã có dữ liệu lặp lại ví dụ ngành Kinh doanh quốc tế (bôi vàng) được lặp lại 5 lần. Đây là hiện tượng lú của mô hình Llama 3 7B. Không đạt.
Thực nghiệm 1 với tính năng upfile của ChatGPT 4
Kỹ thuật sử dụng: Hệ thống upfile của ChatGPT đều sử dụng phương pháp truy xuất tăng cường (RAG) để xử lý dữ liệu đưa lên hệ thống tuy nhiên có khả năng xử lý tốt hơn rất nhiều cùng các công nghệ tiên tiến được áp dụng đối với ChatGPT.
Prompt: Hãy trả lời thông tin dựa trên tài liệu được cung cấp. Không suy luận hoặc sử dụng thông tin bên ngoài cho câu trả lời. Prompt này có mục đích ngăn chặn ChatGPT sử dụng thông tin bên ngoài cho việc tạo sinh câu trả lời.
Câu hỏi 1: nhà trường có các ngành đào tạo nào
Đánh giá: Câu trả lời tốt, đúng thông tin được cung cấp, khá hơn với LlamaIndex cùng Llama 3 khi chưa tối ưu.
Câu hỏi 2: liệt kê cho tôi các ngành (mục đích của người hỏi muốn được liệt kê toàn hộ các ngành đào tạo của nhà trường)
Đánh giá: Câu trả lời có 17 ngành và một số ngành khác thuộc hệ cũng như lĩnh vực khác. Xem ra vẫn chưa đầy đủ như mong muốn vì vậy chúng tôi tiếp tục hỏi bằng một câu hỏi rõ ý định hơn.
Câu hỏi làm rõ: liệt kê cho tôi tất cả các ngành mà nhà trường đào tạo
Đánh giá: Câu trả lời có 29 ngành đào tạo bậc đại học; 12 ngành bậc thạc sĩ và 5 ngành tiến sĩ. Câu trả lời có mâu thuẫn với câu số 1 về các vấn đề sau:
- Có tổng cộng 42 ngành bậc đại học
- Có 12 ngành đào tạo thạc sĩ và 5 ngành đào tạo tiến sĩ nhưng không có danh sách chi tiết trong dữ liệu
Vấn đề đặt ra rằng những thông tin trên được lấy ở đâu ra. Chúng tôi đã tiến hành kiểm chứng thêm trực tiếp trên Google và website của nhà trường thì thấy sự khác biệt giữa ngành Lý luận, Ngành Kỹ thuật xây dựng là không được đề cập
Vậy câu trả lời này được lấy từ đâu?
Câu hỏi 3: 29 ngành đào tạo đại trà là các ngành nào
Đánh giá: Câu trả lời liệt kê 29 ngành đào tạo đại trà tuy nhiên trong dữ liệu hoàn toàn không có thông tin nào về việc một ngành thuộc nhóm đại trà hay không đại trà. Có thể xuất phát từ suy diễn tổng cộng 42 ngành trừ đi 13 ngành chất lượng cao từ đó suy luận thành ngành đại trà chăng? Nếu suy luận này đúng (nghe có vẻ có logic) thì trong danh sách đào tạo đại trà có ngành Quản trị Kinh doanh; Kế toán cũng có cả trong ngành Chất lượng cao thì được hiểu thế nào?
Đánh giá chung
Trên đây là các thực nghiệm mà chúng tôi triển khai với dữ liệu công khai đã được công bố rộng rãi của Đại học mở TP. Hồ Chí Minh. Các bạn thấy điều gì từ đó? Liệu các bạn có thể tự tin rằng nếu chúng ta đưa file này và yêu cầu chuyển thành 1 Chatbot Generative AI thay mặt chúng ta để hàng ngày tư vấn cho Sinh viên được không? Liệu sinh viên của chúng ta có thể hài lòng khi hỏi đáp với Chatbot như vậy được không?
Nếu câu trả lời là CÓ, bạn có thể kết thúc đọc bài viết này.
Nếu câu trả lời là KHÔNG thì mời bạn tiếp tục đọc tiếp.
Nguyên nhân từ đâu mà Chatbot có thể hiểu sai hoặc bịa ra những câu trả lời như vậy? Hãy bình tĩnh, giả sử là bạn chính là người tư vấn chịu trách nhiệm trả lời cha mẹ học sinh đúng những câu hỏi như ở trên và mở tài liệu ra, chỉ dựa vào tài liệu, link chúng tôi nhắc lại ở đây https://ou.edu.vn/wp-content/uploads/2023/10/SO-TAY-SINH-VIEN-2023.pdf và bạn đọc nó thì liệu bạn có dám chắc mình trả lời chính xác được không?
Nếu là chúng tôi nhận trách nhiệm thì chúng tôi sẽ vòng lại Ban cung cấp thông tin chứ dại gì mà trả lời từ tài liệu như vậy đúng không các bạn. Ở đây nhấn mạnh vào tính chính xác, đúng sai rõ ràng chứ không bỏ qua hay lấp liếm.
Thực nghiệm này cho ta thấy điều gì? Hiển nhiên là tài liệu chưa được rõ ràng và người đọc của chúng ta có thể hiểu sai rất nhiều điều mà nhà trường muốn chuyển tải chứ chưa nó đến việc nó được đưa vào máy để suy luận.
Giải pháp cho vấn đề này
Dưới góc độ nhìn nhận của chúng tôi, nếu chúng ta chỉ có 1 tài liệu như vậy và không muốn làm gì tiếp nữa thì chúng ta có thể sử dụng phương pháp như chúng tôi thực nghiệm để:
- Nghiên cứu tài liệu
- Tìm điểm mâu thuẫn
- Lấy chất liệu cho AI viết bài marketing
- Dựng kịch bản quảng cáo…
Còn trong trường hợp các bạn coi đó là thông tin đầu vào để hướng dẫn sinh viên của mình một cách nhanh chóng, dễ hiểu và đặc biệt là phải trả lời chính xác dựa trên dữ liệu được cung cấp thì đừng ngại để liên hệ với MyGPT. Chúng tôi luôn sẵn sàng song hành cùng các trường để:
- Phân tích và hiệu chỉnh thông tin trên tài liệu, làm cho nó dễ hiểu, dễ đọc hơn với sinh viên
- Trích xuất thông tin, hoàn thiện nội dung truyền tải của tài liệu
- Chuyển dữ liệu thành dạng mà AI có thể hiểu đúng nghĩa nhất
- Ngăn chặn toàn bộ hiểu lầm, suy diễn mất kiểm soát bên ngoài dữ liệu
- Và cuối cùng kết hợp dữ liệu đó với một khung phần mềm để tạo thành một Chatbot GenAI thực sự có khả năng đại diện cho nhiệm vụ tư vấn học sinh, sinh viên trong quá trình học tập của mình.
