Sam Altman cho biết chiến lược nghiên cứu đã tạo ra ChatGPT đã kết thúc và những bước tiến trong lĩnh vực trí tuệ nhân tạo trong tương lai sẽ đòi hỏi những ý tưởng mới.
KHẢ NĂNG ẤN TƯỢNG của ChatGPT, chatbot đình đám của OpenAI, đã gây ra một làn sóng quan tâm và đầu tư mới trong lĩnh vực trí tuệ nhân tạo. Tuy nhiên, vào cuối tuần trước, Giám đốc điều hành của OpenAI cảnh báo rằng chiến lược nghiên cứu đã tạo ra bot này đã kết thúc. Hiện vẫn chưa rõ chính xác những tiến bộ trong tương lai sẽ đến từ đâu.
Trong những năm gần đây, OpenAI đã đạt được một loạt tiến bộ ấn tượng trong lĩnh vực trí tuệ nhân tạo liên quan đến ngôn ngữ bằng cách sử dụng các thuật toán học máy hiện có và mở rộng chúng lên một quy mô trước đây không thể tưởng tượng. GPT-4, dự án mới nhất trong số đó, có lẽ đã được huấn luyện bằng hàng ngàn tỷ từ văn bản và hàng nghìn chip máy tính mạnh mẽ. Quá trình này đã tốn hơn 100 triệu đô la.
Tuy nhiên, Giám đốc điều hành của công ty, Sam Altman, cho biết tiến bộ tiếp theo sẽ không đến từ việc làm cho các mô hình lớn hơn nữa. “Tôi nghĩ chúng ta đã ở cuối thời đại của những mô hình cỡ khổng lồ như vậy,” ông nói với khán giả tại một sự kiện tổ chức tại MIT vào cuối tuần trước. “Chúng ta sẽ làm cho chúng trở nên tốt hơn bằng cách khác.”
Tuyên bố của Altman gợi ý một sự thay đổi bất ngờ trong cuộc đua để phát triển và triển khai các thuật toán trí tuệ nhân tạo mới. Kể từ khi OpenAI ra mắt ChatGPT vào tháng 11, Microsoft đã sử dụng công nghệ cơ bản để thêm một chatbot vào công cụ tìm kiếm Bing của họ, và Google cũng đã tung ra một chatbot đối thủ mang tên Bard. Nhiều người đã nhanh chóng thử nghiệm việc sử dụng loại chatbot mới này để hỗ trợ công việc hoặc nhiệm vụ cá nhân.
Trong khi đó, nhiều công ty khởi nghiệp được đầu tư mạnh mẽ, bao gồm Anthropic, AI21, Cohere và Character.AI, đang đổ nguồn lực khổng lồ vào việc xây dựng các thuật toán ngày càng lớn hơn để đuổi kịp công nghệ của OpenAI. Phiên bản ban đầu của ChatGPT được dựa trên phiên bản được nâng cấp một chút của GPT-3, nhưng người dùng hiện cũng có thể truy cập vào phiên bản sử dụng GPT-4 mạnh mẽ hơn.
Tuyên bố của Altman gợi ý rằng GPT-4 có thể là tiến bộ lớn cuối cùng xuất phát từ chiến lược của OpenAI là làm cho các mô hình lớn hơn và cung cấp cho chúng nhiều dữ liệu hơn. Ông không nói rõ chiến lược hoặc kỹ thuật nghiên cứu nào có thể thay thế. Trong bài báo mô tả về GPT-4, OpenAI cho biết ước tính của họ gợi ý sự giảm điểm trả lại khi tăng kích thước của mô hình. Altman cũng nói rằng còn có các giới hạn về mặt vật lý về việc công ty có thể xây dựng bao nhiêu trung tâm dữ liệu và tốc độ xây dựng chúng.
Nick Frosst, một trong những người sáng lập tại Cohere, người trước đây đã làm việc trong lĩnh vực trí tuệ nhân tạo tại Google, cho biết cảm nhận của Altman rằng việc tăng kích thước mô hình không thể làm mãi mãi đúng. Ông cũng tin rằng tiến bộ trong các transformer, loại mô hình học máy nằm ở trái tim của GPT-4 và các đối thủ của nó, nằm ngoài khả năng mở rộng. “Có nhiều cách để làm cho các transformer trở nên tốt hơn và hữu ích hơn rất nhiều, và nhiều trong số đó không liên quan đến việc thêm tham số vào mô hình,” ông nói. Frosst nói rằng các thiết kế mô hình trí tuệ nhân tạo mới hoặc kiến trúc và việc điều chỉnh tiếp theo dựa trên phản hồi của con người là những hướng đi tiềm năng mà nhiều nhà nghiên cứu đã đang khám phá.
Mỗi phiên bản trong họ thuật toán ngôn ngữ có ảnh hưởng của OpenAI bao gồm một mạng nơ-ron nhân tạo, một phần mềm lấy cảm hứng từ cách các nơ-ron hoạt động cùng nhau một cách lỏng lẻo, được huấn luyện để dự đoán các từ nên theo sau một chuỗi văn bản cho trước.
Phiên bản đầu tiên của những mô hình ngôn ngữ này, GPT-2, đã được công bố vào năm 2019. Trong hình dạng lớn nhất của nó, nó có 1.5 tỷ tham số, một đơn vị đo lường cho số kết nối có thể điều chỉnh giữa các nơ-ron nhân tạo thô của nó.
Vào thời điểm đó, điều đó là rất lớn so với các hệ thống trước đó, một phần nhờ các nhà nghiên cứu OpenAI đã phát hiện ra rằng việc tăng kích thước làm cho mô hình trở nên mạch lạc hơn. Và công ty tiếp tục làm cho người kế vị của GPT-2, GPT-3, được công bố vào năm 2020, lớn hơn nữa, với 175 tỷ tham số kỳ vĩ. Khả năng rộng lớn của hệ thống này để tạo ra thơ, email và văn bản khác đã thuyết phục các công ty và tổ chức nghiên cứu khác đẩy mạnh mô hình trí tuệ nhân tạo của họ lên kích thước tương tự hoặc thậm chí lớn hơn.
Sau khi ChatGPT ra mắt vào tháng 11, các nhà làm meme và các nhà phê bình công nghệ đã đưa ra suy đoán rằng khi GPT-4 xuất hiện, nó sẽ là một mô hình có kích thước và phức tạp đáng kinh ngạc. Tuy nhiên, khi OpenAI cuối cùng công bố mô hình trí tuệ nhân tạo mới, công ty không tiết lộ kích thước của nó, có lẽ là vì kích thước không còn là điều quan trọng nhất. Tại sự kiện tại MIT, Altman đã được hỏi liệu việc huấn luyện GPT-4 có mất 100 triệu đô la không; ông trả lời, “Nó nhiều hơn thế.”
Mặc dù OpenAI giữ bí mật về kích thước và hoạt động bên trong của GPT-4, có khả năng một phần thông minh của nó đã đến từ việc điều tra ngoài việc chỉ tăng cỡ. Một trong những khả năng là nó đã sử dụng một phương pháp gọi là học củng cố với phản hồi từ con người, phương pháp đã được sử dụng để cải thiện ChatGPT. Phương pháp này bao gồm việc con người đánh giá chất lượng của câu trả lời của mô hình để điều hướng nó đưa ra các câu trả lời có khả năng được đánh giá cao hơn.
Khả năng đáng kinh ngạc của GPT-4 đã làm cho một số chuyên gia kinh ngạc và gây ra cuộc tranh luận về tiềm năng của trí tuệ nhân tạo để biến đổi nền kinh tế, nhưng cũng có khả năng lan truyền thông tin sai lệch và loại bỏ công việc. Một số chuyên gia trí tuệ nhân tạo, các doanh nhân công nghệ bao gồm Elon Musk và các nhà khoa học gần đây đã viết một bức thư mở kêu gọi tạm ngừng phát triển bất cứ thứ mạnh mẽ hơn GPT-4 trong vòng sáu tháng.
Tại MIT vào tuần trước, Altman đã xác nhận rằng công ty của ông hiện không phát triển GPT-5. “Phiên bản trước của bức thư tuyên bố rằng OpenAI đang huấn luyện GPT-5 ngay bây giờ,” ông nói. “Chúng tôi không phải như vậy và cũng sẽ không phải trong một thời gian dài.”
Will Knight là một nhà báo cấp cao cho tạp chí WIRED, chuyên viết về trí tuệ nhân tạo. Ông viết bản tin Fast Forward khám phá cách tiến bộ trong lĩnh vực trí tuệ nhân tạo và các công nghệ mới nổi khác đang thay đổi cuộc sống của chúng ta – bạn có thể đăng ký ở đây. Trước đó, ông là một biên tập viên cấp cao tại MIT Technology Review, nơi ông viết về các tiến bộ cơ bản trong lĩnh vực trí tuệ nhân tạo và sự bùng nổ trí tuệ nhân tạo tại Trung Quốc. Trước đó, ông là một biên tập viên và nhà báo tại New Scientist. Ông đã học ngành nhân học và báo chí tại Vương quốc Anh trước khi quyết định tập trung vào lĩnh vực máy móc. Ông có địa chỉ tại Cambridge, Massachusetts.
