Tác giả: Aayush Mitta
ngày 25 tháng 4 năm 2024
Công ty ngày nay ngày càng khám phá cách tận dụng các mô hình ngôn ngữ lớn (LLMs) để tăng năng suất và tạo ra các ứng dụng thông minh. Tuy nhiên, nhiều lựa chọn LLM hiện có là các mô hình tổng quát không được tùy chỉnh cho các nhu cầu doanh nghiệp chuyên biệt như phân tích dữ liệu, lập trình, và tự động hóa công việc. Gặp Snowflake Arctic – một LLM tiên tiến được thiết kế và tối ưu hóa một cách chuyên sâu cho các trường hợp sử dụng cốt lõi của doanh nghiệp.
Được phát triển bởi nhóm nghiên cứu AI tại Snowflake, Arctic mở ra những khả năng mới mẻ với việc huấn luyện hiệu quả, chi phí phải chăng, và một mức độ mở cửa không giới hạn. Mô hình cách mạng này vượt trội trong các chỉ số quan trọng của doanh nghiệp trong khi yêu cầu ít hơn nhiều năng lượng tính toán so với các LLM hiện có. Hãy cùng tìm hiểu điều gì làm cho Arctic trở thành một yếu tố thay đổi trò chơi trong lĩnh vực AI doanh nghiệp.
Doanh Nghiệp Thông Minh Được Định Nghĩa Lại Ở trung tâm của nó, Arctic tập trung vào việc cung cấp hiệu suất xuất sắc trên các chỉ số thực sự quan trọng đối với doanh nghiệp – lập trình, truy vấn SQL, theo dõi hướng dẫn phức tạp, và tạo ra các đầu ra dựa trên sự thật. Snowflake đã kết hợp những khả năng quan trọng này vào một chỉ số “thông minh doanh nghiệp” mới mẻ.
Kết quả nói lên tất cả. Arctic đạt hoặc vượt qua các mô hình như LLAMA 7B và LLAMA 70B trên các chỉ số thông minh doanh nghiệp trong khi chỉ sử dụng ít hơn một nửa ngân sách tính toán cho việc huấn luyện. Đáng chú ý, mặc dù sử dụng 17 lần ít tài nguyên tính toán hơn so với LLAMA 70B, Arctic đạt được sự đồng đẳng trên các bài kiểm tra chuyên biệt như lập trình (HumanEval+, MBPP+), tạo ra truy vấn SQL (Spider), và theo dõi hướng dẫn (IFEval).
Nhưng sức mạnh của Arctic không chỉ dừng lại ở việc vượt qua các chỉ số doanh nghiệp. Nó duy trì hiệu suất mạnh mẽ trên việc hiểu ngôn ngữ tổng quát, lý lẽ, và khả năng toán học so với các mô hình được huấn luyện với ngân sách tính toán tăng theo cấp số nhân như DBRX. Khả năng toàn diện này khiến Arctic trở thành lựa chọn không thể đánh bại để giải quyết các nhu cầu AI đa dạng của một doanh nghiệp.
Sự Đổi Mới
Trình Biến Đổi Kết Hợp Dày Đặc và MoE Vậy đội ngũ Snowflake đã xây dựng một LLM với khả năng đáng kinh ngạc nhưng vẫn hiệu quả như thế nào? Câu trả lời nằm trong kiến trúc tiên tiến Dense Mixture-of-Experts (MoE) Hybrid Transformer của Arctic.
Các mô hình biến đổi dày đặc truyền thống trở nên ngày càng tốn kém để huấn luyện khi kích thước của chúng tăng lên, với yêu cầu tính toán tăng theo cấp số nhân. Thiết kế MoE giúp vượt qua điều này bằng cách sử dụng nhiều mạng truyền thẳng song song (chuyên gia) và chỉ kích hoạt một phần cho mỗi token đầu vào.
Tuy nhiên, chỉ việc sử dụng một kiến trúc MoE là chưa đủ – Arctic kết hợp một cách thông minh những điểm mạnh của cả hai thành phần dày đặc và MoE. Nó ghép một bộ mã hóa biến đổi dày đặc với 10 tỷ tham số với một lớp perceptron đa tầng (MLP) MoE dư thừa của 128 chuyên gia. Mô hình kết hợp dày đặc-MoE này có tổng cộng 480 tỷ tham số nhưng chỉ có 17 tỷ là hoạt động vào bất kỳ thời điểm nào bằng cách sử dụng top-2 gating.
Những ảnh hưởng là sâu sắc – Arctic đạt được chất lượng và dung lượng mô hình chưa từng có trong khi vẫn giữ được tính hiệu quả tính toán đáng kinh ngạc trong quá trình huấn luyện và suy luận. Ví dụ, Arctic có 50% ít tham số hoạt động hơn so với các mô hình như DBRX trong suy luận.
Nhưng kiến trúc mô hình chỉ là một phần của câu chuyện. Sự xuất sắc của Arctic là kết quả của một số kỹ thuật tiên tiến và hiểu biết được phát triển bởi nhóm nghiên cứu Snowflake:
- Lộ Trình Dữ Liệu Huấn Luyện Tập Trung Doanh Nghiệp Thông qua các thử nghiệm mở rộng, nhóm đã phát hiện ra rằng các kỹ năng tổng quát như lập luận dựa trên trực giác nên được học sớm, trong khi các chuyên sâu phức tạp hơn như lập trình và SQL thì nên được học sau trong quá trình huấn luyện. Lộ trình dữ liệu của Arctic tuân theo một phương pháp ba giai đoạn mô phỏng sự tiến bộ học của con người.
Các teratoken đầu tiên tập trung vào xây dựng một cơ sở tổng quát rộng lớn. Các 1.5 teratoken tiếp theo tập trung vào phát triển kỹ năng doanh nghiệp thông qua dữ liệu được tùy chỉnh cho nhiệm vụ SQL, lập trình, và nhiều hơn nữa. Các teratoken cuối cùng tiếp tục tinh chỉnh các chuyên sâu của Arctic bằng cách sử dụng các bộ dữ liệu được làm sạch.
- Lựa Chọn Kiến Trúc Tối Ưu Mặc dù MoEs hứa hẹn chất lượng tốt hơn mỗi tính toán, nhưng việc chọn các cấu hình phù hợp là rất quan trọng nhưng ít được hiểu biết. Qua nghiên cứu chi tiết, Snowflake đã chọn một kiến trúc sử dụng 128 chuyên gia với top-2 gating ở mỗi lớp sau khi đánh giá các sự đánh đổi giữa chất lượng và hiệu quả.
Việc tăng số lượng chuyên gia cung cấp nhiều sự kết hợp hơn, nâng cao khả năng của mô hình. Tuy nhiên, điều này cũng làm tăng chi phí giao tiếp, vì vậy Snowflake đã chọn 128 chuyên gia “nén” được thiết kế cẩn thận được kích hoạt thông qua top-2 gating là sự cân bằng tối ưu.
- Thiết Kế Hệ Thống Đồng Bộ Nhưng thậm chí một kiến trúc mô hình tối ưu cũng có thể bị đánh cắp bởi các rào cản hệ thống. Vì vậy, nhóm Snowflake cũng đổi mới ở đây – đồng thiết kế kiến trúc mô hình cùng với các hệ thống huấn luyện và suy luận cơ bản.
Đối với việc huấn luyện hiệu quả, các thành phần dày đặc và MoE được cấu trúc để cho phép giao tiếp và tính toán chồng lấn, che giấu các chi phí giao tiếp đáng kể. Trên phía suy luận, nhóm đã tận dụng các đổi mới của NVIDIA để cho phép triển khai hiệu quả cao mặc dù quy mô của Arctic.
Các kỹ thuật như quantization FP8 cho phép việc đưa toàn bộ mô hình vào một nút GPU duy nhất cho việc suy luận tương tác. Các batch lớn hơn kích hoạt khả năng song song của Arctic trên nhiều nút trong khi vẫn duy trì hiệu quả tính toán ấn tượng nhờ vào 17 tỷ tham số hoạt động nhỏ gọn.
Với giấy phép Apache 2.0, các trọng số và mã nguồn của Arctic đều được sẵn có mở cửa cho bất kỳ mục đích cá nhân, nghiên cứu hoặc thương mại nào. Nhưng Snowflake đã đi xa hơn nữa, mở nguồn toàn bộ công thức dữ liệu, cài đặt mô hình, mẹo và những hiểu biết sâu sắc về nghiên cứu đang cung cấp năng lượng cho Arctic.
“Sách Dạy Nấu Ăn Arctic” là một cơ sở kiến thức toàn diện bao gồm mọi khía cạnh của việc xây dựng và tối ưu hóa một mô hình MoE quy mô lớn như Arctic. Nó trích xuất các bài học chính về việc lấy dữ liệu, thiết kế kiến trúc mô hình, thiết kế hệ thống cùng với các kế hoạch huấn luyện / suy luận được tối ưu hóa và nhiều hơn nữa.
Từ việc xác định các lộ trình dữ liệu tối ưu đến việc thiết kế MoEs trong khi tối ưu hóa trình biên dịch, lập lịch và phần cứng – tập hợp kiến thức phong phú này làm cho những kỹ năng trước đây chỉ được giới hạn trong các phòng thí nghiệm AI elita trở nên dễ tiếp cận hơn. Sách Dạy Nấu Ăn Arctic tăng tốc độ học tập và trao quyền cho doanh nghiệp, nhà nghiên cứu và nhà phát triển trên toàn cầu để tạo ra các LLM tùy chỉnh, tiết kiệm chi phí cho gần như mọi trường hợp sử dụng.
Bắt Đầu với Arctic
Đối với các công ty muốn tận dụng Arctic, Snowflake cung cấp nhiều cách để bắt đầu nhanh chóng:
Suy luận Không Cần Máy Chủ:
Khách hàng của Snowflake có thể truy cập mô hình Arctic miễn phí trên Snowflake Cortex, nền tảng AI được quản lý hoàn toàn của công ty. Ngoài ra, Arctic cũng có sẵn trên tất cả các thư viện mô hình lớn như AWS, Microsoft Azure, NVIDIA, và nhiều nơi khác.
Bắt Đầu Từ Đầu:
Các trọng số và cài đặt mã nguồn mở cho phép các nhà phát triển tích hợp Arctic trực tiếp vào ứng dụng và dịch vụ của họ. Thư mục Arctic cung cấp mẫu mã, hướng dẫn triển khai, công thức điều chỉnh chi tiết, và nhiều hơn nữa.
Xây Dựng Mô Hình Tùy Chỉnh:
Nhờ vào các hướng dẫn chi tiết của Arctic Cookbook, các nhà phát triển có thể xây dựng các mô hình MoE tùy chỉnh của riêng họ từ đầu được tối ưu hóa cho bất kỳ trường hợp sử dụng chuyên biệt nào sử dụng những bài học từ quá trình phát triển của Arctic.
Một Kỷ Nguyên Mới của AI Doanh Nghiệp Mở:
Arctic không chỉ là một mô hình ngôn ngữ mạnh mẽ – nó dự báo một kỷ nguyên mới của các khả năng AI mở, tiết kiệm chi phí và chuyên biệt được xây dựng một cách mục đích cho doanh nghiệp.
Từ việc cách mạng hóa phân tích dữ liệu và năng suất lập trình đến việc cung cấp tự động hóa công việc và ứng dụng thông minh hơn, tính ADN hướng doanh nghiệp của Arctic làm cho nó trở thành một lựa chọn không thể đánh bại so với các LLM tổng quát. Và bằng việc không chỉ mở nguồn mô hình mà còn cả quy trình R&D toàn bộ đằng sau nó, Snowflake đang tạo ra một văn hóa hợp tác sẽ nâng cao toàn bộ hệ sinh thái AI.
Khi doanh nghiệp ngày càng chấp nhận AI sáng tạo, Arctic cung cấp một kế hoạch phát triển mô hình mạnh mẽ hơn một cách mục tiêu cho các tải công việc sản xuất và môi trường doanh nghiệp. Sự kết hợp của nghiên cứu tiên tiến, hiệu suất không đối thủ và một tinh thần mở cửa kiên định đặt ra một tiêu chuẩn mới trong việc phổ cập tiềm năng biến đổi của AI.
Chu Kỳ Đổi Mới Nhanh Chóng của Arctic
Một trong những khía cạnh ấn tượng nhất của Arctic là tốc độ chóng mặt mà nhóm nghiên cứu AI của Snowflake đã tưởng tượng, phát triển và phát hành mô hình tiên tiến này ra thế giới. Từ khởi đầu đến việc phát hành mã nguồn mở, toàn bộ dự án Arctic chỉ mất dưới ba tháng và sử dụng khoảng một phần tám của ngân sách tính toán thông thường cho việc huấn luyện các mô hình ngôn ngữ lớn tương tự.
Khả năng này để lặp nhanh, đổi mới và sản phẩm hóa nghiên cứu AI tiên tiến thật sự đáng kinh ngạc. Nó thể hiện khả năng kỹ thuật sâu rộng của Snowflake và đặt công ty trong vị trí liên tục thúc đẩy ranh giới trong việc phát triển các khả năng AI mới lạ, được tối ưu hóa cho doanh nghiệp.
Gia đình Arctic và nhúng
Arctic chỉ là bắt đầu của những hoài bão của Snowflake trong lĩnh vực LLM doanh nghiệp. Công ty đã mở nguồn dòng sản phẩm Snowflake Arctic Embed gia đình của các mô hình nhúng văn bản hàng đầu trong ngành được tối ưu hóa cho hiệu suất truy xuất trên nhiều hồ sơ kích thước.
Như được minh họa dưới đây, các mô hình nhúng Arctic Embed đạt được độ chính xác truy xuất hàng đầu trên bảng điểm MTEB (truy xuất văn bản) được tôn trọng, vượt qua các mô hình nhúng hàng đầu khác bao gồm các phiên bản đóng từ các tập đoàn công nghệ lớn.
[Chèn hình ảnh thể hiện kết quả bảng điểm truy xuất MTEB cho các mô hình nhúng Arctic Embed]
Các mô hình nhúng này bổ sung cho Arctic LLM và cho phép các doanh nghiệp xây dựng các giải pháp trả lời câu hỏi mạnh mẽ và tăng cường truy xuất từ một ngăn xếp mã nguồn mở tích hợp.
Nhưng lộ trình của Snowflake không chỉ giới hạn ở Arctic và các nhúng. Các nhà nghiên cứu AI của công ty đang chăm chỉ làm việc để mở rộng gia đình Arctic với các mô hình mới được tùy chỉnh cho các nhiệm vụ đa dạng, âm thanh, video và nhiều khả năng mới – tất cả được xây dựng bằng cùng các nguyên tắc về chuyên sâu, hiệu suất và tính mở cửa.
Hợp Tác cho Một Hệ Sinh Thái AI Mở
Snowflake hiểu rằng việc thực hiện toàn bộ tiềm năng của AI mở, đẳng cấp doanh nghiệp đòi hỏi việc nuôi dưỡng một hệ sinh thái phong phú của các đối tác trong cộng đồng AI. Việc phát hành Arctic đã kích thích sự hợp tác với các nền tảng và nhà cung cấp lớn:
- NVIDIA đã chặt chẽ hợp tác với Snowflake để tối ưu hóa Arctic cho việc triển khai hiệu quả bằng cách sử dụng ngăn xếp suy luận AI tiên tiến của NVIDIA bao gồm TensorRT, Triton và nhiều hơn nữa. Điều này cho phép các doanh nghiệp triển khai Arctic một cách hiệu quả với quy mô và chi phí phù hợp.
- Hugging Face, trung tâm mô hình nguồn mở hàng đầu, đã chào đón Arctic vào các thư viện và kho mô hình của mình. Điều này cho phép tích hợp Arctic một cách liền mạch vào các luồng làm việc và ứng dụng AI dựa trên Hugging Face hiện có.
- Các nền tảng như Replicate, SageMaker, và nhiều hơn nữa đã nhanh chóng cung cấp các bản demo được lưu trữ, API và các con đường tích hợp trôi chảy cho Arctic, gia tăng việc áp dụng của nó.
Mã nguồn mở đã hướng dẫn việc phát triển của Arctic, và các hệ sinh thái mở cửa vẫn là trung tâm của sự tiến hóa của nó. Snowflake cam kết nuôi dưỡng sự hợp tác phong phú với các nhà nghiên cứu, nhà phát triển, đối tác và doanh nghiệp trên toàn cầu để đẩy ranh giới về những gì có thể đạt được với các mô hình AI mở, chuyên biệt.
Thực Hành với Arctic
Bây giờ chúng ta đã tìm hiểu về điều gì làm cho Arctic thực sự đột phá, hãy đi sâu vào cách các nhà phát triển và nhà khoa học dữ liệu có thể bắt đầu sử dụng mô hình mạnh mẽ này. Ngay khi khởi động, Arctic đã được huấn luyện trước và sẵn sàng triển khai thông qua các trung tâm mô hình lớn như Hugging Face và các nền tảng AI đối tác. Nhưng sức mạnh thực sự của nó hiện ra khi tùy chỉnh và điều chỉnh nó cho các trường hợp sử dụng cụ thể của bạn.
Giấy phép Apache 2.0 của Arctic cung cấp toàn quyền tự do để tích hợp nó vào ứng dụng, dịch vụ hoặc luồng làm việc AI tùy chỉnh của bạn. Hãy đi qua một số ví dụ mã sử dụng thư viện transformers để bạn có thể bắt đầu: Suy luận Cơ Bản với Arctic
Tinh chỉnh cho Các Nhiệm vụ Chuyên Biệt
Mặc dù ấn tượng ngay từ đầu, Arctic thực sự tỏa sáng khi được tùy chỉnh và điều chỉnh trên dữ liệu độc quyền của bạn cho các nhiệm vụ chuyên biệt. Snowflake đã cung cấp các công thức chi tiết bao gồm:
- Tạo ra dữ liệu huấn luyện chất lượng cao được tùy chỉnh cho trường hợp sử dụng của bạn
- Thực hiện các lộ trình huấn luyện tùy chỉnh đa giai đoạn
- Tận dụng các phương pháp tinh chỉnh tối ưu như LoRA, P-Tuning hoặc FactorizedFusion
- Tối ưu hóa cho việc phân biệt kỹ năng SQL, lập trình hoặc các kỹ năng doanh nghiệp quan trọng khác
