Tuỳ thuộc vào mô hình gốc được lựa chọn và độ lớn của dữ liệu huấn luyện mà chúng ta có thể ước tính đầu tư các hệ thống tương đương. Bảng dữ liệu dưới đây tham khảo về giá thuê hạ tầng của một số hãng cung cấp nước ngoài trên các hệ thống đã được xây dựng sẵn với các GPU tích hợp.
Phần cứng
Tham khảo giá thuê
GPU
CPU
GPU RAM
RAM
CPU
$0.0002 per second ($0.012 per minute)
–
4x
–
8GB
Nvidia T4 GPU
$0.00055 per second ($0.033 per minute)
1x
4x
16GB
8GB
Nvidia A40 GPU
$0.0013 per second ($0.078 per minute)
1x
4x
48GB
16GB
Nvidia A40 (Large) GPU
$0.0016 per second ($0.096 per minute)
1x
10x
48GB
72GB
Nvidia A100 (40GB) GPU
$0.0023 per second ($0.138 per minute)
1x
10x
40GB
72GB
Nvidia A100 (80GB) GPU
$0.0032 per second ($0.192 per minute)
1x
10x
80GB
144GB
Nvidia 8x A40 GPU
$0.00471 per second ($0.2826 per minute)
8x
48x
8x 48GB
680GB
Thời gian hoạt động (runtime): Thời gian hoạt động của việc tiếp nhận một câu hỏi, nhận diện câu hỏi, mã hoá dữ liệu, tìm kiếm trên mạng neuron sau đó giải mã và phản hồi đến người dùng trung bình sẽ mất khoảng 12 giây nếu chạy trên một GPU A100. Lưu ý rằng thời gian này có thể biến đổi phụ thuộc vào input đầu vào của câu hỏi cũng như giá kích thước dữ liệu trả ra của hệ thống.
Thực nghiệm của MyGPT (runtime): Thời gian phản hồi 224 giây trên máy chủ VPS 4-core 8GB-RAM không có GPU.
Thời gian trainning: Thời gian là thời gian chạy để tính toán lại mạng neuron của mô hình gốc theo dữ liệu tinh chỉnh của việc huấn luyện. Tuỳ thuộc vào mô hình lựa chọn triển khai có thể tham khảo thời gian thực hiện dựa vào hình ảnh dưới đây (nguồn: Nvidia)
Lưu ý: Thời gian và tổng chi phí sẽ tuỳ thuộc và biến động cũng như phát sinh nhiều dựa vào độ phức tạp và kích thước dữ liệu huấn luyện và không có một tiêu chuẩn cố định nào. Khi dự trù đầu tư hệ thống tính toán, chúng ta nên dự trù với mức độ từ 2 đến 3 lần con số có thể tính toán được để dự phòng cho các công việc phát sinh.
Ước tính giá trị thu thập và xử lý dữ liệu
Chúng ta đều biết đến tầm quan trọng của các hệ thống dữ liệu dành cho AI, thiếu nó thì hệ thống sẽ trở nên vô hồn và để thu thập, xử lý và biểu diễn nó có thể mất hàng năm đến cả chục năm chuẩn bị bao gồm giá trị con người ở mức chuyên gia mới có thể chuẩn bị được dữ liệu có giá trị mang vào huấn luyện. Nếu chúng ta thấy hệ thống phần cứng có vẻ cao nhưng so với giá trị dữ liệu và con người thì chúng chỉ chiếm một phần nhỏ thậm chí không đến 20% so với tổng giá trị một dự án mà chúng ta hướng tới.
Bạn có thể sử dụng nhiều hay ít nhân sự hoặc chuyên gia ở đây thì nó sẽ quyết định đến độ thông minh mà hệ thống của bạn đạt được.
Ưu điểm
Cho phép can thiệp vào 100% vào mô hình theo ý muốn và định hướng huấn luyện
Hoạt động hoàn toàn trên hệ thống riêng, đảm bảo an toàn và bảo mật dữ liệu của tổ chức đạt mức độ cao nhất
Kiểm soát hoàn toàn dữ liệu và ứng dụng phục vụ nhu cầu sử dụng và phát triển riêng