Tác giả: Richard Speed
Thứ Hai, ngày 18 tháng 3 năm 2024 // 18:15 UTC
Như đã hứa, Elon Musk đã phát hành mô hình đằng sau chatbot xAI, Grok-1.
Được phát hành dưới giấy phép Apache 2.0, trọng số của mô hình cơ sở và kiến trúc mạng hiện đã có sẵn. Mô hình có 314 tỷ tham số và cần phần cứng có đủ bộ nhớ GPU để chạy nó. Nó được điều chỉnh tốt cho các ứng dụng như đối thoại tự nhiên và đại diện cho điểm kiểm tra của mô hình cơ sở nguyên thủy từ giai đoạn tiền huấn luyện, kết thúc vào tháng 10 năm 2023.
Các nhà phê bình đã chỉ ra sự biểu diễn tương đối kém trong các chỉ số; trong khi Grok là một mô hình lớn, nó lại hoạt động kém theo những gì một số kỹ sư đã thấy. “Xét đến mức độ kém của nó so với các mô hình khác, nó thực sự nhấn mạnh về tầm quan trọng của việc điều chỉnh tinh chỉnh. Các mô hình với SỐ LƯỢNG tham số NHỎ HƠN NHIỀU đang vượt trội nó trong nhiều chỉ số,” một người đăng trên diễn đàn Hacker News tối qua.
Bạn có thể thấy rằng Mistral nhỏ hơn có thể hoạt động cũng tốt như Grok-1, ví dụ.
Để đánh giá kích thước của nó, ngay cả với 314 tỷ tham số, nó vẫn còn phải đuổi kịp với GPT-4 của OpenAI, có 1,76 nghìn tỷ tham số ở đếm cuối cùng.
Đáng chú ý, khác với các LLM hiện có, được huấn luyện trên dữ liệu với một điểm cắt thời gian, Grok có quyền truy cập vào tập dữ liệu thời gian thực của mọi người trên Xeets thông qua X.com, điều này sẽ tạo ra một số thí nghiệm thú vị trong những ngày sắp tới, mặc dù như một người bình luận khác lưu ý: “Dữ liệu tweet Twitter về bản thân nó đã rất đặc biệt và ngắn gọn theo thiết kế, điều này đơn thân không tạo điều kiện cho việc huấn luyện một LLM.”
Grok sẽ quen thuộc với người dùng của nền tảng truyền thông xã hội của Musk, X, và người đăng ký đã có thể đặt câu hỏi cho chatbot và nhận câu trả lời. Theo xAI, Grok được mô hình sau The Hitchhiker’s Guide to the Galaxy. “Nó được thiết kế để trả lời gần như mọi thứ và, khó hơn nhiều, thậm chí đề xuất những câu hỏi cần hỏi.”
Nếu người dùng lật qua một bản sao rách nát của các kịch bản radio The Hitchhiker’s Guide to the Galaxy, họ sẽ tìm thấy định nghĩa sau đây ẩn chứa trong Fit the Tenth: “The Hitchhiker’s Guide to the Galaxy là bạn đồng hành không thể thiếu đối với tất cả những người muốn hiểu rõ cuộc sống trong một vũ trụ vô hạn phức tạp và rối rắm, vì mặc dù nó không thể hy vọng trở nên hữu ích hoặc thông tin trong tất cả các vấn đề, nhưng nó đưa ra tuyên bố an ủi rằng nơi nó không chính xác, ít nhất là chính xác một cách rõ ràng.
“Trong trường hợp có sự không nhất quán lớn, luôn luôn là thực tế đã sai.”
Việc phát hành này diễn ra vào kỷ niệm một năm từ khi OpenAI phát hành mô hình GPT-4, và cuộc tranh cãi pháp lý giữa Musk và những người bạn trí tuệ nhân tạo cũ của ông vẫn đang lặng lẽ diễn ra. Đầu tháng này, Musk kiện OpenAI, cáo buộc rằng công ty này ít có gì mở cửa về công nghệ, mặc dù tên của nó. OpenAI đã phản ứng bằng cách phát hành một loạt email, tuyên bố rằng Musk hoàn toàn nhận thức về các kế hoạch của công ty và muốn nó được sát nhập vào Tesla.
Patrik Backman, đối tác tổng quản lý tại OpenOcean, nói về việc phát hành Grok-1: “Lần này, Elon Musk đang biến nguyên tắc của mình thành hành động. Nếu bạn kiện OpenAI vì biến thành một tổ chức hướng lợi nhuận, bạn phải sẵn lòng tuân thủ các nguyên tắc tương tự.”
Những gì chưa được phát hành bởi xAI cũng đáng chú ý. Trọng số của Grok-1 đã được công bố, nhưng dữ liệu được sử dụng cho việc huấn luyện không được phát hành dưới cùng một giấy phép, khiến chuyên gia trí tuệ nhân tạo Gary Marcus nói đùa: “PartlyOpenAI.”
Việc phát hành công cụ trí tuệ nhân tạo sinh ra tranh cãi. Một số nhà phát triển lo lắng rằng việc làm công nghệ này có thể dẫn đến lạm dụng và những người khác chỉ ra những lợi ích bẩm sinh của sự minh bạch.
Meta đã chia sẻ – một phần – các mô hình Llama 2 của mình năm ngoái, và các công ty khác cũng đã làm theo. Tuy nhiên, OpenAI thì hoàn toàn không.
Bằng cách mở các trọng số sau Grok-1, Musk đang cố gắng đặt một lá cờ ở phía đối lập với thế giới thuộc sở hữu của OpenAI.
Còn về hiệu suất cuối cùng của nó, giống như mọi thứ mà Musk chạm vào, nó có thể đi theo cả hai hướng. ®
