Ngày 30 tháng 3 năm 2023
BloombergGPT vượt trội hơn đáng kể so với các mô hình ngôn ngữ mở cùng kích thước trong các nhiệm vụ NLP tài chính – mà không làm giảm hiệu suất trên các thang điểm chung của mô hình ngôn ngữ lớn.
NEW YORK – Hôm nay, Bloomberg đã phát hành một bài nghiên cứu chi tiết về quá trình phát triển của BloombergGPTTM, một mô hình trí tuệ nhân tạo tạo ra quy mô lớn mới. Mô hình ngôn ngữ lớn này (LLM) đã được huấn luyện đặc biệt trên nhiều loại dữ liệu tài chính khác nhau để hỗ trợ một loạt các nhiệm vụ xử lý ngôn ngữ tự nhiên (NLP) trong ngành tài chính.
Các tiến bộ gần đây trong Trí tuệ Nhân tạo (AI) dựa trên các mô hình ngôn ngữ lớn (LLMs) đã thể hiện những ứng dụng mới thú vị trong nhiều lĩnh vực. Tuy nhiên, sự phức tạp và ngôn ngữ đặc thù của lĩnh vực tài chính đòi hỏi một mô hình đặc thù cho lĩnh vực này. BloombergGPT đại diện cho bước đầu tiên trong quá trình phát triển và áp dụng công nghệ mới này cho ngành tài chính. Mô hình này sẽ giúp Bloomberg cải thiện các nhiệm vụ xử lý ngôn ngữ tự nhiên (NLP) tài chính hiện có, như phân tích tâm trạng, nhận diện thực thể đã được đặt tên, phân loại tin tức và trả lời câu hỏi, và nhiều nhiệm vụ khác. Hơn nữa, BloombergGPT sẽ mở ra cơ hội mới để tận dụng các lượng dữ liệu lớn có sẵn trên Terminal Bloomberg để hỗ trợ tốt hơn cho khách hàng của công ty, đồng thời đem lại tiềm năng đầy đủ của AI cho lĩnh vực tài chính.
Trong hơn một thập kỷ qua, Bloomberg đã là một tấm gương tiên phong trong việc áp dụng Trí tuệ Nhân tạo (AI), Học máy và Xử lý ngôn ngữ tự nhiên (NLP) trong lĩnh vực tài chính. Hiện nay, Bloomberg hỗ trợ một loạt rất lớn và đa dạng các nhiệm vụ NLP mà sẽ được hưởng lợi từ một mô hình ngôn ngữ mới có hiểu biết về tài chính. Các nhà nghiên cứu của Bloomberg đã tiên phong trong việc áp dụng một phương pháp kết hợp giữa dữ liệu tài chính và các tập dữ liệu đa năng để huấn luyện một mô hình đạt kết quả hàng đầu trong các thang điểm tài chính, đồng thời duy trì hiệu suất cạnh tranh trong các thang điểm LLM đa dụng.
Để đạt được thành tựu này, nhóm Sản phẩm và Nghiên cứu về Học máy của Bloomberg đã hợp tác với nhóm Kỹ thuật Trí tuệ Nhân tạo của công ty để xây dựng một trong những bộ dữ liệu chuyên ngành lớn nhất cho đến nay, sử dụng nguồn tài nguyên đã tồn tại của công ty trong việc tạo, thu thập và duy trì dữ liệu. Là một công ty dữ liệu tài chính, các nhà phân tích dữ liệu của Bloomberg đã thu thập và duy trì tài liệu ngôn ngữ tài chính trong suốt bốn mươi năm qua. Nhóm đã sử dụng kho dữ liệu tài chính mở rộng này để tạo ra một bộ dữ liệu toàn diện với 363 tỷ mã thông báo, bao gồm các tài liệu tài chính bằng tiếng Anh.
Dữ liệu này đã được bổ sung bằng một bộ dữ liệu công khai với 345 tỷ mã thông báo để tạo ra một tập văn bản đào tạo lớn với hơn 700 tỷ mã thông báo. Sử dụng một phần của tập văn bản đào tạo này, nhóm đã huấn luyện một mô hình ngôn ngữ tương tác chỉ với bộ giải mã gồm 50 tỷ tham số. Mô hình kết quả đã được xác minh trên các thang điểm NLP tài chính cụ thể hiện có, một loạt các thang điểm nội bộ của Bloomberg và các loại nhiệm vụ NLP đa dạng từ các thang điểm phổ biến (ví dụ: BIG-bench Hard, Đánh giá kiến thức, Đọc hiểu, và Các nhiệm vụ ngôn ngữ). Đáng chú ý, mô hình BloombergGPT vượt trội so với các mô hình nguồn mở hiện có cùng kích thước trên các nhiệm vụ tài chính một cách đáng kể, trong khi vẫn duy trì hiệu suất tương đương hoặc tốt hơn trên các thang điểm NLP tổng quát.
“Với tất cả các lý do mà các mô hình ngôn ngữ lớn tạo ra thu hút – học ít dữ liệu, tạo văn bản, hệ thống trò chuyện, v.v. – chúng tôi thấy giá trị to lớn khi đã phát triển mô hình ngôn ngữ lớn đầu tiên tập trung vào lĩnh vực tài chính,” Shawn Edwards, Giám đốc Công nghệ của Bloomberg, nói. “BloombergGPT sẽ giúp chúng tôi xử lý nhiều loại ứng dụng mới, đồng thời mang lại hiệu suất cao hơn ngay từ đầu so với các mô hình tùy chỉnh cho từng ứng dụng, và có thời gian đưa sản phẩm ra thị trường nhanh hơn.”
“Chất lượng của các mô hình học máy và NLP phụ thuộc vào dữ liệu mà bạn đưa vào,” Gideon Mann, Trưởng nhóm Sản phẩm và Nghiên cứu về Học máy của Bloomberg, giải thích. “Nhờ vào việc thu thập các tài liệu tài chính mà Bloomberg đã tổ chức trong suốt bốn thập kỷ, chúng tôi đã có khả năng tạo ra một bộ dữ liệu chuyên ngành lớn và sạch sẽ để huấn luyện một mô hình ngôn ngữ lớn phù hợp nhất cho các trường hợp sử dụng trong lĩnh vực tài chính. Chúng tôi rất phấn khích để sử dụng BloombergGPT để cải thiện quy trình làm việc NLP hiện có, đồng thời tưởng tượng ra những cách mới để áp dụng mô hình này để làm hài lòng khách hàng của chúng tôi.”
Để biết thêm chi tiết về quá trình phát triển của BloombergGPT, bạn có thể đọc bài báo trên trang arXiv tại đường dẫn sau: https://arxiv.org/abs/2303.17564.
Bài nói chuyện về toàn bô quá trình huấn luyện Bloomberg-GTP của David Rosenberg, CTO kiêm Lãnh đạo bộ phận chiến lươc AI & ML của Bloomberg tại đây.
Giới thiệu về Bloomberg
Bloomberg là một tên tuổi hàng đầu trên toàn cầu trong lĩnh vực thông tin kinh doanh và tài chính, cung cấp dữ liệu đáng tin cậy, tin tức và thông tin giúp tạo ra sự minh bạch, hiệu quả và công bằng trên thị trường. Công ty này giúp kết nối các cộng đồng có ảnh hưởng trong hệ sinh thái tài chính toàn cầu thông qua các giải pháp công nghệ đáng tin cậy, giúp khách hàng của chúng tôi đưa ra các quyết định thông thái hơn và thúc đẩy sự hợp tác tốt hơn. Để biết thêm thông tin, truy cập trang web Bloomberg.com/company hoặc yêu cầu một phiên thử nghiệm.
