Code Llama là phiên bản đặc biệt của mô hình ngôn ngữ lớn Llama 2 đã được điều chỉnh tinh chỉnh để tạo ra và thảo luận về mã code.
Bởi Paul Krill – InfoWorld | Ngày 25 tháng 8 năm 2023, 2:00 AM PDT
Công ty mẹ Facebook là Meta đã giới thiệu một công cụ dựa trên trí tuệ nhân tạo cho việc viết code, được gọi là Code Llama.
Là một mô hình ngôn ngữ lớn (LLM) có thể sử dụng các gợi ý văn bản để tạo ra mã code, Code Llama là một phiên bản đặc biệt cho việc viết code của Llama 2. Nó được xây dựng thông qua việc tiếp tục huấn luyện trên các tập dữ liệu cụ thể cho mã code, thu thập thêm dữ liệu từ cùng tập dữ liệu trong một khoảng thời gian dài hơn. Code Llama có thể tạo ra mã code và ngôn ngữ tự nhiên liên quan đến mã code từ cả gợi ý mã code và ngôn ngữ tự nhiên, chẳng hạn như “Viết một hàm xuất ra dãy fibonacci.” Công cụ này cũng có thể được sử dụng để hoàn thành code và gỡ lỗi. Các ngôn ngữ được hỗ trợ bao gồm Python, C++, Java, PHP, TypeScript, JavaScript, C# và Bash.
Các nhà phát triển có thể yêu cầu truy cập vào Code Llama từ trang web Meta AI. Miễn phí cho mục đích nghiên cứu và sử dụng thương mại, Code Llama được phát hành dưới ba kích thước khác nhau, lần lượt là 7 tỷ, 13 tỷ và 34 tỷ tham số. Mỗi mô hình được huấn luyện với 500 tỷ “tokens” của mã code và dữ liệu liên quan đến mã code. Các mô hình cơ bản và hướng dẫn 7 tỷ và 13 tỷ tham số đã được huấn luyện với khả năng “fill-in-the-middle” (FIM), cho phép chèn mã code vào mã code đã tồn tại. Điều này hỗ trợ các nhiệm vụ như hoàn thành mã code một cách tự động.
Ba mô hình này đáp ứng các yêu cầu về việc cung cấp và độ trễ khác nhau, ví dụ như mô hình 7 tỷ tham số được phục vụ trên một GPU duy nhất trong khi mô hình 34 tỷ tham số cho kết quả tốt nhất và cho phép hỗ trợ viết code tốt hơn. Meta đã tinh chỉnh thêm hai biến thể khác của công cụ: Code Llama – Python đã được tinh chỉnh thêm trên 100 tỷ “tokens” của mã Python và Code Llama – Instruct đã được điều chỉnh để hiểu các hướng dẫn bằng ngôn ngữ tự nhiên.
