Các mô hình ngôn ngữ liên tục được cải tiến và một kỹ thuật phổ biến bao gồm khả năng kết hợp kiến thức hoặc thông tin để giúp mô hình đưa ra dự đoán chính xác hơn.
Sử dụng ý tưởng tương tự, liệu mô hình cũng có thể được sử dụng để tạo ra kiến thức trước khi đưa ra dự đoán không? Đó là những gì được cố gắng trong bài báo của Liu et al. 2022 – tạo ra kiến thức để sử dụng như một phần của lời nhắc. Đặc biệt, điều này hữu ích như thế nào đối với các nhiệm vụ như lý luận thông thường?
Hãy thử một lời nhắc đơn giản:
Lời nhắc:
Part of golf is trying to get a higher point total than others. Yes or No?Đầu ra:
Yes.Loại sai lầm này bộc lộ những hạn chế của LLM trong việc thực hiện các nhiệm vụ đòi hỏi nhiều kiến thức hơn về thế giới. Làm thế nào để chúng ta cải thiện điều này với việc tạo ra kiến thức?
Đầu tiên, chúng tôi tạo ra một vài “kiến thức”:
Lời nhắc:
Input: Greece is larger than mexico.
Knowledge: Greece is approximately 131,957 sq km, while Mexico is approximately 1,964,375 sq km, making Mexico 1,389% larger than Greece.
Input: Glasses always fog up.
Knowledge: Condensation occurs on eyeglass lenses when water vapor from your sweat, breath, and ambient humidity lands on a cold surface, cools, and then changes into tiny drops of liquid, forming a film that you see as fog. Your lenses will be relatively cool compared to your breath, especially when the outside air is cold.
Input: A fish is capable of thinking.
Knowledge: Fish are more intelligent than they appear. In many areas, such as memory, their cognitive powers match or exceed those of ’higher’ vertebrates including non-human primates. Fish’s long-term memories help them keep track of complex social relationships.
Input: A common effect of smoking lots of cigarettes in one’s lifetime is a higher than normal chance of getting lung cancer.
Knowledge: Those who consistently averaged less than one cigarette per day over their lifetime had nine times the risk of dying from lung cancer than never smokers. Among people who smoked between one and 10 cigarettes per day, the risk of dying from lung cancer was nearly 12 times higher than that of never smokers.
Input: A rock is the same size as a pebble.
Knowledge: A pebble is a clast of rock with a particle size of 4 to 64 millimetres based on the Udden-Wentworth scale of sedimentology. Pebbles are generally considered larger than granules (2 to 4 millimetres diameter) and smaller than cobbles (64 to 256 millimetres diameter).
Input: Part of golf is trying to get a higher point total than others.
Knowledge:Kiến thức 1:
The objective of golf is to play a set of holes in the least number of strokes. A round of golf typically consists of 18 holes. Each hole is played once in the round on a standard golf course. Each stroke is counted as one point, and the total number of strokes is used to determine the winner of the game.Kiến thức 2:
Golf is a precision club-and-ball sport in which competing players (or golfers) use many types of clubs to hit balls into a series of holes on a course using the fewest number of strokes. The goal is to complete the course with the lowest score, which is calculated by adding up the total number of strokes taken on each hole. The player with the lowest score wins the game.Chúng ta đang sử dụng lời nhắc được cung cấp trong bài báo của Liu et al. 2022
Bước tiếp theo là tích hợp kiến thức và đưa ra dự đoán. Tôi đã định dạng lại câu hỏi thành định dạng QA để hướng dẫn định dạng câu trả lời.
Lời nhắc:
Question: Part of golf is trying to get a higher point total than others. Yes or No?
Knowledge: The objective of golf is to play a set of holes in the least number of strokes. A round of golf typically consists of 18 holes. Each hole is played once in the round on a standard golf course. Each stroke is counted as one point, and the total number of strokes is used to determine the winner of the game.
Explain and Answer: Trả lời 1 (độ tin cậy rất cao):
No, the objective of golf is not to get a higher point total than others. Rather, the objective is to play a set of holes in the least number of strokes. The total number of strokes is used to determine the winner of the game, not the total number of points.Question: Part of golf is trying to get a higher point total than others. Yes or No?
Knowledge: Golf is a precision club-and-ball sport in which competing players (or golfers) use many types of clubs to hit balls into a series of holes on a course using the fewest number of strokes. The goal is to complete the course with the lowest score, which is calculated by adding up the total number of strokes taken on each hole. The player with the lowest score wins the game.
Explain and Answer:Trả lời 2 (độ tin cậy thấp hơn rất nhiều):
Yes, part of golf is trying to get a higher point total than others. Each player tries to complete the course with the lowest score, which is calculated by adding up the total number of strokes taken on each hole. The player with the lowest score wins the game.Một số điều thực sự thú vị đã xảy ra với ví dụ này. Ở câu trả lời đầu tiên, mo hình rất tự tin nhưng ở câu trả lời thứ hai thì không quá tự tin. Tôi đã đơn giản hóa quy trình nhằm mục đích trình diễn đến các bạn nhưng có một số chi tiết khác cần xem xét khi đi đến câu trả lời cuối cùng. Kiểm tra các bài báo đã được dẫn link ở trên để biết thêm chi tiết.
