Tác giả: Anthony Alford
26 THÁNG 12, 2023
OpenAI gần đây đã công bố một hướng dẫn về Kỹ thuật GPT Prompt. Hướng dẫn này liệt kê sáu chiến lược để đạt được các phản hồi tốt hơn từ các mô hình GPT của họ, với sự tập trung đặc biệt vào các ví dụ cho phiên bản mới nhất của họ, GPT-4.
Sáu chiến lược cấp cao trong hướng dẫn bao gồm: viết hướng dẫn rõ ràng, cung cấp văn bản tham chiếu, chia nhỏ công việc phức tạp thành các công việc phụ đơn giản hơn, để mô hình có thời gian “suy nghĩ”, sử dụng công cụ bên ngoài, và kiểm thử các thay đổi một cách có hệ thống. Mỗi chiến lược được phân tích thành một tập hợp các chiến thuật cụ thể và hành động với các ví dụ. Nhiều chiến thuật dựa trên kết quả nghiên cứu về LLM, như kích thích chuỗi suy nghĩ hoặc tóm tắt đệ quy.
Bài báo nghiên cứu của OpenAI về GPT-3, được công bố vào năm 2020, đã cho thấy cách mô hình có thể thực hiện nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên (NLP) bằng cách sử dụng học một vài ví dụ; đơn giản là thông qua việc khích lệ mô hình bằng mô tả hoặc ví dụ về nhiệm vụ cần thực hiện. Năm 2022, OpenAI đã xuất bản một bài viết về “cách để cải thiện độ tin cậy” của các phản hồi từ GPT-3, trong đó bao gồm một số kỹ thuật, như việc đưa ra hướng dẫn rõ ràng và chia nhỏ công việc phức tạp, vẫn được bao gồm trong hướng dẫn mới. Hướng dẫn cũ hơn còn chứa một danh mục tài liệu tham khảo về các bài báo nghiên cứu hỗ trợ các kỹ thuật của họ.
Nhiều chiến thuật trong hướng dẫn sử dụng thư viện các thông điệp hệ thống của Chat API của OpenAI. Theo tài liệu của OpenAI, tham số này “giúp đặt hành vi của trợ lý.” Một chiến thuật gợi ý sử dụng nó để đặt một nhân vật cho mô hình để hình thành các phản hồi của nó. Một chiến thuật khác đề xuất sử dụng nó để truyền đưa mô hình một tóm tắt của một cuộc trò chuyện dài, hoặc để đưa ra một loạt các hướng dẫn sẽ được lặp lại cho nhiều đầu vào người dùng.
Chiến lược sử dụng công cụ bên ngoài cung cấp mẹo về cách giao diện mô hình GPT với các hệ thống khác, với các liên kết đến các bài viết trong Cookbook của OpenAI. Một trong những chiến thuật gợi ý thay vì yêu cầu mô hình thực hiện các phép toán toán học một cách trực tiếp, nên thay vào đó tạo mã Python để thực hiện phép tính; sau đó, mã sẽ được trích xuất từ phản hồi của mô hình và được thực thi. Tuy nhiên, hướng dẫn có một thông báo phủ nhận rằng mã mà mô hình tạo ra không đảm bảo an toàn và chỉ nên được thực thi trong một hộp cát.
Một chiến lược khác trong hướng dẫn, kiểm thử các thay đổi một cách có hệ thống, đối mặt với vấn đề của việc quyết định liệu một lời gợi khác có thực sự dẫn đến kết quả tốt hơn hay xấu hơn không. Chiến lược này gợi ý sử dụng OpenAI Evals framework, mà InfoQ đã đề cập đến cùng với việc phát hành GPT-4. Chiến lược cũng đề xuất sử dụng mô hình để kiểm tra công việc của nó “dựa trên câu trả lời chuẩn vàng,” thông qua thông điệp hệ thống.
Trong một cuộc thảo luận trên Hacker News về hướng dẫn này, một người dùng nói:
“Gần đây tôi đã do dự rất nhiều trước việc dành nhiều thời gian để học cách hoàn thiện các lời gợi. Dường như mỗi phiên bản mới, chưa kể đến các mô hình LLM khác nhau, phản ứng khác nhau. Với sự tiến triển nhanh chóng mà chúng ta đang thấy, trong hai hoặc năm, chúng ta có thể thậm chí không cần phải sử dụng lời gợi phức tạp như vậy khi các hệ thống trở nên thông minh hơn.”
Một số nhà cung cấp LLM khác cũng đã công bố mẹo về Kỹ thuật GPT. Microsoft Azure, cung cấp truy cập vào các mô hình GPT dưới dạng dịch vụ, có một danh sách các kỹ thuật tương tự như của OpenAI; hướng dẫn của họ cũng cung cấp mẹo về cài đặt các tham số của mô hình như nhiệt độ và top_p, điều khiển sự ngẫu nhiên của quá trình tạo ra đầu ra của mô hình. Tài liệu API Gemini của Google chứa nhiều chiến lược thiết kế lời gợi cũng như gợi ý cho các giá trị top_p và nhiệt độ.”
