Tác giả: Tiến sĩ Tehseen Zia
Cập nhật vào ngày 29 tháng 4 năm 2024
Trong lĩnh vực trí tuệ nhân tạo đang phát triển nhanh chóng, trong khi xu hướng thường nghiêng về các mô hình lớn và phức tạp hơn, Microsoft đang áp dụng một phương pháp khác với Phi-3 Mini của mình. Mô hình ngôn ngữ nhỏ gọn này (SLM), hiện đã ở thế hệ thứ ba, đóng gói các khả năng mạnh mẽ của các mô hình lớn vào một khung cơ bản phù hợp với các ràng buộc tài nguyên nghiêm ngặt của điện thoại thông minh. Với 3,8 tỷ tham số, Phi-3 Mini sánh ngang hiệu suất của các mô hình ngôn ngữ lớn (LLM) trên nhiều nhiệm vụ bao gồm xử lý ngôn ngữ, suy luận, lập trình và toán học, và được tinh chỉnh cho hoạt động hiệu quả trên thiết bị di động thông qua việc lượng tử hóa.
Thách thức của các Mô hình Ngôn ngữ Lớn
Việc phát triển các SLM Phi của Microsoft là phản ứng trước các thách thức đáng kể của các LLM, đòi hỏi nhiều năng lượng tính toán hơn so với thông thường có sẵn trên các thiết bị tiêu dùng. Nhu cầu cao này làm phức tạp hóa việc sử dụng chúng trên các máy tính tiêu chuẩn và thiết bị di động, gây ra lo ngại về môi trường do tiêu thụ năng lượng của chúng trong quá trình huấn luyện và hoạt động, và rủi ro làm tiếp tục các định kiến với các tập dữ liệu huấn luyện lớn và phức tạp của chúng. Những yếu tố này cũng có thể làm giảm tính phản hồi của các mô hình trong các ứng dụng thời gian thực và làm cho việc cập nhật trở nên khó khăn hơn.
So sánh Tính năng: Phi-3 Mini so với Phi-2 Mini
Dưới đây, chúng ta sẽ so sánh một số tính năng của Phi-3 với người tiền nhiệm của nó là Phi-2.
- Kiến trúc Mô hình: Phi-2 hoạt động trên một kiến trúc dựa trên transformer được thiết kế để dự đoán từ tiếp theo. Phi-3 Mini cũng sử dụng một kiến trúc bộ giải mã transformer nhưng phù hợp hơn với cấu trúc mô hình Llama-2, sử dụng cùng tokenizer với kích thước từ vựng là 320,641. Sự tương thích này đảm bảo rằng các công cụ được phát triển cho Llama-2 có thể dễ dàng được điều chỉnh để sử dụng với Phi-3 Mini.
- Độ dài Ngữ cảnh: Phi-3 Mini hỗ trợ một độ dài ngữ cảnh của 8,000 từ, lớn hơn đáng kể so với 2,048 từ của Phi-2. Sự tăng này cho phép Phi-3 Mini quản lý được các tương tác chi tiết hơn và xử lý được các đoạn văn bản dài hơn.
- Chạy Cục bộ trên Thiết bị Di động: Phi-3 Mini có thể được nén xuống 4 bit, chiếm khoảng 1.8GB bộ nhớ, tương tự như Phi-2. Nó đã được kiểm tra chạy ngoại tuyến trên một iPhone 14 với chip A16 Bionic, nơi nó đạt được tốc độ xử lý hơn 12 từ mỗi giây, tương đương với hiệu suất của Phi-2 trong các điều kiện tương tự.
- Kích thước Mô hình: Với 3.8 tỷ tham số, Phi-3 Mini có quy mô lớn hơn so với Phi-2, có 2.7 tỷ tham số. Điều này phản ánh sự tăng cường về khả năng của nó.
- Dữ liệu Huấn luyện: Khác với Phi-2, được huấn luyện trên 1.4 nghìn tỷ tokens, Phi-3 Mini đã được huấn luyện trên một tập dữ liệu lớn hơn là 3.3 nghìn tỷ tokens, cho phép nó nắm bắt tốt hơn các mẫu ngôn ngữ phức tạp.
Vượt qua các hạn chế của Phi-3
Mặc dù Phi-3 Mini thể hiện sự tiến bộ đáng kể trong lĩnh vực của các mô hình ngôn ngữ nhỏ gọn, nhưng nó cũng không tránh khỏi những hạn chế của mình. Một hạn chế chính của Phi-3 Mini, so với các mô hình ngôn ngữ lớn khổng lồ, là khả năng giới hạn của nó trong việc lưu trữ kiến thức thực tế sâu rộng. Điều này có thể ảnh hưởng đến khả năng của nó trong việc xử lý các truy vấn đòi hỏi một lượng dữ liệu thực tế cụ thể hoặc kiến thức chuyên sâu. Tuy nhiên, điều này có thể được giảm nhẹ bằng cách tích hợp Phi-3 Mini với một công cụ tìm kiếm. Như vậy, mô hình có thể truy cập một phạm vi thông tin rộng lớn trong thời gian thực, hiệu quả bù đắp cho nhược điểm về kiến thức của nó. Sự tích hợp này cho phép Phi-3 Mini hoạt động như một người nói chuyện có khả năng cao, người mặc dù hiểu biết rộng và bối cảnh, nhưng đôi khi cũng cần phải “tra cứu” thông tin để cung cấp những câu trả lời chính xác và cập nhật.
Sẵn có
Phi-3 hiện đã có sẵn trên một số nền tảng, bao gồm Microsoft Azure AI Studio, Hugging Face và Ollama. Trên Azure AI, mô hình tích hợp một quy trình làm việc triển khai-đánh giá-tinh chỉnh, và trên Ollama, nó có thể chạy cục bộ trên các laptop. Mô hình đã được tinh chỉnh cho ONNX Runtime và hỗ trợ Windows DirectML, đảm bảo hoạt động tốt trên nhiều loại phần cứng khác nhau như GPU, CPU và thiết bị di động. Ngoài ra, Phi-3 được cung cấp dưới dạng dịch vụ micro qua NVIDIA NIM, trang bị một API tiêu chuẩn để triển khai dễ dàng trên các môi trường khác nhau và được tối ưu hóa đặc biệt cho GPU NVIDIA. Microsoft có kế hoạch mở rộng dòng sản phẩm Phi-3 trong tương lai gần bằng cách thêm các mô hình Phi-3-small (7B) và Phi-3-medium (14B), cung cấp cho người dùng các lựa chọn bổ sung để cân bằng chất lượng và chi phí.
Kết luận
Phi-3 Mini của Microsoft đang tiến bộ đáng kể trong lĩnh vực trí tuệ nhân tạo bằng cách áp dụng sức mạnh của các mô hình ngôn ngữ lớn cho việc sử dụng trên điện thoại di động. Mô hình này cải thiện tương tác của người dùng với thiết bị thông qua việc xử lý nhanh chóng, thời gian thực và các tính năng bảo mật được cải thiện. Nó giảm thiểu nhu cầu cho các dịch vụ dựa trên đám mây, giảm chi phí hoạt động và mở rộng phạm vi ứng dụng trí tuệ nhân tạo trong các lĩnh vực như chăm sóc sức khỏe và tự động hóa nhà cửa. Với sự tập trung vào việc giảm thiểu định kiến thông qua việc học theo chương trình và duy trì hiệu suất cạnh tranh, Phi-3 Mini đang tiến hóa thành một công cụ quan trọng cho trí tuệ nhân tạo di động hiệu quả và bền vững, một cách tinh tế biến đổi cách chúng ta tương tác với công nghệ hàng ngày.
