Xây dựng hệ thống AI với các mô hình nền tảng đòi hỏi phải cân bằng tinh tế các tài nguyên như bộ nhớ, độ trễ, lưu trữ, tính toán và nhiều yếu tố khác. Không có một giải pháp phù hợp cho tất cả các nhà phát triển khi quản lý chi phí và trải nghiệm người dùng trong hệ sinh thái ngày càng phát triển của các ứng dụng AI.
Bạn cần các mô hình có chất lượng cao, có thể tùy chỉnh và hỗ trợ triển khai trên quy mô lớn trong nhiều môi trường tính toán khác nhau, từ trung tâm dữ liệu đến điện toán biên và thiết bị cá nhân.
Google DeepMind vừa công bố Gemma 3, một loạt các mô hình mở đa phương thức và đa ngôn ngữ. Gemma 3 bao gồm một mô hình ngôn ngữ nhỏ 1B chỉ xử lý văn bản và ba mô hình xử lý cả hình ảnh và văn bản với kích thước lần lượt là 4B, 12B, và 27B. Bạn có thể sử dụng các mô hình này trên Hugging Face và trải nghiệm mô hình 1B trong NVIDIA API Catalog.
Tối ưu hóa cho thiết bị và ứng dụng hiệu suất cao
- Gemma 3 1B được tối ưu hóa để chạy hiệu quả trên các ứng dụng thiết bị hoặc môi trường yêu cầu sử dụng bộ nhớ thấp, hỗ trợ đầu vào lên đến 32K token.
- Gemma 3 4B, 12B, và 27B hỗ trợ đầu vào văn bản, hình ảnh và đa hình ảnh với kích thước lên đến 128K token.
Trải nghiệm và thử nghiệm với Gemma 3
Bạn có thể thử nghiệm với Gemma 3 trong NVIDIA API Catalog, tùy chỉnh tham số như số token tối đa, nhiệt độ và top P. API này cũng tạo mã tích hợp sẵn bằng Python, NodeJS và Bash.
Nếu sử dụng LangChain để xây dựng tác nhân AI, kết nối dữ liệu bên ngoài hoặc chuỗi hành động, bạn có thể dùng client NVIDIA LangChain để triển khai dễ dàng.
Hướng dẫn bắt đầu:
- Tạo tài khoản miễn phí trên NVIDIA API Catalog.
- Tìm mô hình Gemma 3.
- Chọn “Build with this NIM” và tạo API Key.
- Lưu khóa với biến môi trường NVIDIA_API_KEY.
Ứng dụng AI thế hệ mới cho Robotics và Edge Computing
Mỗi mô hình Gemma 3 có thể triển khai trên dòng bo mạch nhúng NVIDIA Jetson chuyên dụng cho robot và AI biên.
- Gemma 3 1B và 4B có thể chạy trên Jetson Nano – một thiết bị nhỏ gọn.
- Gemma 3 27B phù hợp với các ứng dụng hiệu suất cao, có thể chạy trên Jetson AGX Orin (hỗ trợ 275 TOPS).
Xem thêm về Jetson Orin Nano Developer Kit mới nhất để biết thêm chi tiết.
Hợp tác giữa NVIDIA và Google
Google DeepMind và NVIDIA đã hợp tác trong từng phiên bản của Gemma, với NVIDIA hỗ trợ tối ưu hóa mô hình trên GPU, đóng góp vào JAX, XLA, OpenXLA và nhiều công cụ khác.
Thúc đẩy cộng đồng AI và mô hình mở
NVIDIA là một trong những công ty đóng góp nhiều vào hệ sinh thái mã nguồn mở, với hàng trăm dự án AI mở. NVIDIA NeMo cho phép tùy chỉnh và tối ưu hóa mô hình Gemma trên dữ liệu độc quyền, giúp áp dụng AI trong mọi ngành công nghiệp.
Gemma 3 hứa hẹn mang lại nhiều cải tiến đột phá cho AI trên thiết bị và điện toán biên! 
