Huấn luyện mô hình ngôn ngữ lớn bằng dữ liệu riêng của doanh nghiệp/tổ chức

Tháng Bảy 28, 2023

Mục lục

(Tác giả: Tom Davenport và Maryam Alavi)

Tóm tắt

Tận dụng tri thức độc quyền của một công ty là yếu tố quan trọng để cạnh tranh và đổi mới, đặc biệt là trong môi trường biến động ngày nay. Sự đổi mới trong tổ chức được thúc đẩy thông qua việc tạo, quản lý, áp dụng, kết hợp và triển khai linh kiện tri thức và hiểu biết một cách hiệu quả và linh hoạt. Tuy nhiên, tri thức trong các tổ chức thường được tạo ra và thu thập từ nhiều nguồn và hình thức khác nhau, bao gồm những tư duy cá nhân, quy trình, chính sách, báo cáo, giao dịch hoạt động, các diễn đàn thảo luận và cuộc họp và trò chuyện trực tuyến. Do đó, tri thức toàn diện của một công ty thường không được tính đến và khó tổ chức và triển khai một cách hiệu quả hoặc hiệu năng.

Nhiều công ty đang thử nghiệm với ChatGPT và các mô hình ngôn ngữ hoặc hình ảnh lớn khác. Họ đã phát hiện ra rằng những mô hình này thường có khả năng diễn đạt những ý tưởng phức tạp bằng ngôn ngữ trôi chảy một cách đáng kinh ngạc. Tuy nhiên, hầu hết người dùng nhận ra rằng những hệ thống này chủ yếu được huấn luyện dựa trên thông tin từ internet và không thể trả lời các câu hỏi hoặc yêu cầu liên quan đến nội dung hay kiến thức thuộc về công ty riêng.

Các công nghệ mới nổi dạng mô hình trí tuệ nhân tạo dựa trên ngôn ngữ và hình ảnh mang đến những cơ hội mới cho quản lý tri thức, từ đó cải thiện hiệu suất, khả năng học tập và đổi mới của công ty. Ví dụ, trong một nghiên cứu thực hiện tại một công ty trong danh sách Fortune 500 cung cấp phần mềm quy trình kinh doanh, một hệ thống hỗ trợ khách hàng dựa trên trí tuệ nhân tạo đã dẫn đến tăng năng suất của các nhân viên hỗ trợ khách hàng và cải thiện việc giữ chân khách hàng, đồng thời nhận được phản hồi tích cực cao hơn từ phía khách hàng. Hệ thống này cũng giúp tăng tốc quá trình học tập và phát triển kỹ năng của nhân viên mới.

Như công ty đó, ngày càng nhiều tổ chức đang cố gắng tận dụng khả năng xử lý ngôn ngữ và khả năng suy luận chung của các mô hình ngôn ngữ lớn (LLM) để thu thập và cung cấp quyền truy cập nội bộ rộng rãi (hoặc dành cho khách hàng) vào vốn tri thức của riêng họ. Họ sử dụng nó cho các mục đích như thông tin cho nhân viên tương tác với khách hàng về chính sách công ty và đề xuất sản phẩm/dịch vụ, giải quyết các vấn đề dịch vụ khách hàng, hoặc thu thập tri thức của nhân viên trước khi họ rời khỏi tổ chức.

Những mục tiêu này cũng đã xuất hiện trong thời kỳ “phong trào quản lý tri thức” vào những năm 1990 và đầu 2000, nhưng hầu hết các công ty đều thấy công nghệ thời điểm đó không đủ sức mạnh cho nhiệm vụ này. Tuy nhiên, ngày nay, trí tuệ nhân tạo sinh sáng đang đánh thức lại khả năng thu thập và phổ biến tri thức quan trọng trong toàn bộ tổ chức và vượt ra ngoài bức tường của nó. Như một quản lý sử dụng trí tuệ nhân tạo sinh sáng cho mục đích này đã nói, “Tôi cảm thấy như có một chiếc phản lực vừa xuất hiện trong cuộc sống của tôi.” Mặc dù có những tiến bộ hiện tại, một số yếu tố giống như những gì làm cho quản lý tri thức khó khăn trong quá khứ vẫn hiện diện.

Công nghệ quản lý tri thức dựa trên các mô hình ngôn ngữ lớn

Công nghệ để tích hợp tri thức lĩnh vực cụ thể của một tổ chức vào một mô hình ngôn ngữ lớn đang phát triển nhanh chóng. Hiện tại, có ba phương pháp chính để tích hợp nội dung độc quyền vào mô hình ngôn ngữ lớn (LLM).

1. Huấn luyện một mô hình LLM từ ban đầu

Một phương pháp là tự tạo và huấn luyện một mô hình cụ thể cho lĩnh vực của riêng mình. Đây không phải là một phương pháp phổ biến, vì nó yêu cầu một lượng lớn dữ liệu chất lượng cao để huấn luyện một mô hình ngôn ngữ lớn, và hầu hết các công ty đơn giản không có. Điều này cũng đòi hỏi truy cập vào lực lượng tính toán đáng kể và nhân tài khoa học dữ liệu được đào tạo tốt.

Một công ty đã sử dụng phương pháp này là Bloomberg, mới đây đã thông báo rằng họ đã tạo ra BloombergGPT cho nội dung tài chính cụ thể và một giao tiếp bằng ngôn ngữ tự nhiên với hệ thống đầu cuối dữ liệu riêng của họ. Bloomberg đã có hơn 40 năm thu thập dữ liệu tài chính, tin tức và tài liệu, mà họ kết hợp với một lượng lớn văn bản từ các tài liệu tài chính và dữ liệu internet. Tổng cộng, các nhà khoa học dữ liệu của Bloomberg đã sử dụng 700 tỷ token, tương đương khoảng 350 tỷ từ, 50 tỷ tham số và 1,3 triệu giờ xử lý đồ họa. Ít công ty có những nguồn lực như vậy có sẵn.

2. Phương pháp tinh chỉnh mô hình LLM đã tồn tại

Phương pháp thứ hai là “tinh chỉnh” huấn luyện một mô hình LLM đã tồn tại để thêm nội dung lĩnh vực cụ thể vào hệ thống đã được huấn luyện về tri thức tổng quát và tương tác ngôn ngữ. Phương pháp này bao gồm việc điều chỉnh một số tham số của mô hình cơ sở và thường chỉ đòi hỏi ít dữ liệu hơn – thường chỉ là hàng trăm hoặc hàng nghìn tài liệu, chứ không phải hàng triệu hay tỷ – và thời gian tính toán ít hơn so với việc tạo một mô hình mới từ đầu.

Ví dụ, Google đã sử dụng việc tinh chỉnh huấn luyện trên mô hình Med-PaLM2 (phiên bản thứ hai) của họ cho tri thức y học. Dự án nghiên cứu bắt đầu với mô hình PaLM2 LLM tổng quát của Google và huấn luyện lại nó với tri thức y học được tuyển chọn cẩn thận từ nhiều bộ dữ liệu y học công khai. Mô hình đã có thể trả lời đúng 85% câu hỏi trong kỳ thi cấp phép y tế Hoa Kỳ – gần 20% tốt hơn so với phiên bản đầu tiên của hệ thống. Tuy tiến triển nhanh chóng này, khi được thử nghiệm với các tiêu chí như tính chính xác khoa học, sự chính xác, sự đồng thuận y học, luận điểm, độ lệch và tác hại và được đánh giá bởi các chuyên gia con người từ nhiều quốc gia, nhóm phát triển cảm thấy hệ thống vẫn cần cải tiến đáng kể trước khi được áp dụng trong thực tế lâm sàng.

Tuy nhiên, phương pháp tinh chỉnh cũng có một số hạn chế. Mặc dù yêu cầu ít lực lượng tính toán và thời gian hơn so với việc huấn luyện một LLM, nó vẫn có thể tốn kém để huấn luyện, điều này không phải là vấn đề đối với Google nhưng có thể là vấn đề đối với nhiều công ty khác. Nó yêu cầu sự chuyên môn lớn về khoa học dữ liệu; ví dụ, bài báo khoa học cho dự án của Google có tới 31 tác giả đồng tác giả. Một số nhà khoa học dữ liệu cho rằng nó phù hợp nhất không để thêm nội dung mới mà thêm các định dạng và phong cách nội dung mới (như chat hoặc viết giống như William Shakespeare). Ngoài ra, một số nhà cung cấp LLM (ví dụ như OpenAI) không cho phép tinh chỉnh trên những LLM mới nhất của họ, như GPT-4.

3. Phương pháp điều chỉnh bằng câu hỏi (prompt-tuning) cho LLM đã tồn tại

Có thể phương pháp phổ biến nhất để tùy chỉnh nội dung của một LLM cho các công ty không sử dụng nhà cung cấp đám mây là tinh chỉnh thông qua câu hỏi. Với phương pháp này, mô hình gốc được giữ đóng băng và được sửa đổi thông qua các câu hỏi trong cửa sổ ngữ cảnh chứa tri thức cụ thể của lĩnh vực. Sau khi điều chỉnh bằng câu hỏi, mô hình có thể trả lời các câu hỏi liên quan đến tri thức đó. Phương pháp này là phương pháp tính toán hiệu quả nhất trong ba phương pháp, và nó không đòi hỏi một lượng lớn dữ liệu để huấn luyện cho một lĩnh vực nội dung mới.

Ví dụ, Morgan Stanley đã sử dụng phương pháp điều chỉnh bằng câu hỏi để huấn luyện mô hình GPT-4 của OpenAI bằng một tập hợp 100,000 tài liệu được tuyển chọn cẩn thận với tri thức quan trọng về đầu tư, kinh doanh tổng quát và quy trình đầu tư. Mục tiêu là cung cấp cho cố vấn tài chính của công ty những kiến thức chính xác và dễ tiếp cận về các vấn đề chủ chốt mà họ gặp phải trong vai trò tư vấn cho khách hàng. Hệ thống được huấn luyện bằng câu hỏi được vận hành trong một đám mây riêng tư chỉ có thể truy cập được bởi nhân viên của Morgan Stanley.

Mặc dù có thể là phương pháp dễ nhất trong ba phương pháp để một tổ chức áp dụng, nhưng nó không thiếu những thách thức kỹ thuật. Khi sử dụng dữ liệu không cấu trúc như văn bản làm đầu vào cho một LLM, dữ liệu có thể quá lớn và chứa quá nhiều thuộc tính quan trọng để nhập trực tiếp vào cửa sổ ngữ cảnh cho LLM. Một cách khác là tạo ra các vector embeddings – các mảng giá trị số được tạo ra từ văn bản bằng một mô hình học máy trước đó (Morgan Stanley sử dụng một mô hình gọi là Ada từ OpenAI). Các vector embeddings là một biểu diễn nhỏ gọn hơn của dữ liệu này giữ nguyên mối quan hệ ngữ cảnh trong văn bản. Khi người dùng nhập một câu hỏi vào hệ thống, thuật toán tương đồng xác định các vector nào nên được gửi đến mô hình GPT-4. Mặc dù có một số công cụ được cung cấp bởi một số nhà cung cấp để làm cho quá trình điều chỉnh bằng câu hỏi dễ dàng hơn, nhưng nó vẫn là một quy trình phức tạp đến mức đa số các công ty áp dụng phương pháp này đều cần có nhân tài khoa học dữ liệu đáng kể.

Tuy nhiên, phương pháp này không cần phải tốn nhiều thời gian hoặc chi phí nếu nội dung cần thiết đã có sẵn. Ví dụ, công ty nghiên cứu đầu tư Morningstar đã sử dụng phương pháp điều chỉnh bằng câu hỏi và vector embeddings cho công cụ nghiên cứu Mo của họ được xây dựng trên trí tuệ nhân tạo sinh sáng. Nó tích hợp hơn 10,000 tài liệu nghiên cứu của Morningstar. Chỉ sau khoảng một tháng làm việc trên hệ thống, Morningstar đã mở cửa việc sử dụng Mo cho các cố vấn tài chính và khách hàng độc lập. Họ thậm chí đã kết nối Mo với một hình tượng số học kỹ thuật số có thể nói ra các câu trả lời của nó. Phương pháp kỹ thuật này không đắt đỏ; trong tháng đầu tiên sử dụng, Mo đã trả lời 25,000 câu hỏi với chi phí trung bình là 0,002 đô la cho mỗi câu hỏi, tổng chi phí là 3,000 đô la.

Quản lý và kiểm duyêt nội dung

Như với quản lý tri thức truyền thống, trong đó tài liệu được tải lên vào cơ sở dữ liệu thảo luận như Microsoft Sharepoint, với trí tuệ nhân tạo, nội dung cần phải có chất lượng cao trước khi tùy chỉnh LLMs bằng bất kỳ cách nào. Trong một số trường hợp, như hệ thống Google Med-PaLM2, có sẵn các cơ sở dữ liệu tri thức y học đã được tuyển chọn kỹ càng. Nếu không, một công ty cần phải dựa vào việc kiểm duyệt của con người để đảm bảo nội dung tri thức chính xác, đúng thời điểm và không bị trùng lặp. Ví dụ, Morgan Stanley có một nhóm khoảng 20 người quản lý tri thức tại Philippines luôn đánh giá tài liệu dựa trên nhiều tiêu chí; những tiêu chí này quyết định tính thích hợp để tích hợp vào hệ thống GPT-4. Hầu hết các công ty không có nội dung được tuyển chọn cẩn thận sẽ gặp khó khăn trong việc thực hiện việc này cho mục đích cụ thể.

Morgan Stanley cũng đã phát hiện ra rằng việc duy trì tri thức chất lượng cao dễ dàng hơn nếu các tác giả nội dung hiểu biết cách tạo tài liệu hiệu quả. Họ bắt buộc phải tham gia hai khóa học, một về công cụ quản lý tài liệu và một khóa học khác về cách viết và gắn thẻ các tài liệu này. Điều này là một phần của phương pháp quản trị nội dung của công ty – một phương pháp hệ thống để thu thập và quản lý nội dung kỹ thuật số quan trọng hiện nay.

Tại Morningstar, người tạo nội dung được dạy cách loại nội dung nào hoạt động tốt với hệ thống Mo và nội dung nào không. Họ gửi nội dung của mình vào hệ thống quản lý nội dung và nó được đưa trực tiếp vào cơ sở dữ liệu vector cung cấp cho mô hình OpenAI.

Đảm bảo Chất lượng và Đánh giá

Một khía cạnh quan trọng trong quản lý nội dung trí tuệ nhân tạo sinh sáng là đảm bảo chất lượng. Trí tuệ nhân tạo sinh sáng được biết đến rộng rãi có thể “mộng du” đôi khi, tự tin nêu những sự kiện sai hoặc không tồn tại. Các lỗi kiểu này có thể gây rắc rối cho doanh nghiệp và có thể gây hậu quả chết người trong các ứng dụng y tế. Tin vui là các công ty đã điều chỉnh LLMs của họ với thông tin cụ thể lĩnh vực đã thấy rằng việc mộng du ít khi gây vấn đề hơn so với LLMs gốc, ít nhất là nếu không có cuộc trò chuyện kéo dài hoặc lời gợi ý không liên quan đến kinh doanh.

Các công ty áp dụng các phương pháp này trong quản lý tri thức trí tuệ nhân tạo nên phát triển một chiến lược đánh giá. Ví dụ, đối với BloombergGPT, được thiết kế để trả lời các câu hỏi tài chính và đầu tư, hệ thống đã được đánh giá dựa trên các nhiệm vụ tài chính từ bộ dữ liệu công khai, nhận dạng thực thể tên, khả năng phân tích tâm trạng và một tập hợp các nhiệm vụ về luận điểm và xử lý ngôn ngữ tự nhiên tổng quát. Hệ thống Google Med-PaLM2, cuối cùng được điều chỉnh để trả lời các câu hỏi y tế của bệnh nhân và bác sĩ, đã có một chiến lược đánh giá phong phú hơn nhiều, phản ánh tính quan trọng của độ chính xác và an toàn trong lĩnh vực y tế.

Tại Morgan Stanley, mặc dù không có vấn đề sinh tử, nhưng việc cung cấp các câu trả lời vô cùng chính xác cho các câu hỏi tài chính và đầu tư là quan trọng đối với công ty, khách hàng và cơ quan quản lý. Các câu trả lời do hệ thống cung cấp được kiểm tra kỹ càng bởi các nhà xem xét con người trước khi phát hành cho người dùng. Sau đó, nó đã được thử nghiệm thử nghiệm trong vài tháng bởi 300 cố vấn tài chính. Là phương pháp chính cho đánh giá liên tục, Morgan Stanley có một tập hợp 400 “câu hỏi vàng” mà câu trả lời chính xác đã biết. Mỗi lần thay đổi nào đó được thực hiện trên hệ thống, nhân viên sẽ kiểm tra với các câu hỏi vàng để xem có bất kỳ “hạn chế” nào, tức là câu trả lời ít chính xác hơn hay không.

Vấn đề Pháp lý và Quản trị

Những vấn đề pháp lý và quản trị liên quan đến triển khai LLM rất phức tạp và đang tiến triển, dẫn đến các yếu tố rủi ro liên quan đến sở hữu trí tuệ, bảo mật và riêng tư dữ liệu, thiên hướng đạo đức và sai sót/kết quả không chính xác. Hiện tại, tình trạng pháp lý của các kết quả LLM vẫn chưa rõ ràng. Vì LLMs không tạo ra các bản sao chính xác của bất kỳ văn bản nào được sử dụng để huấn luyện mô hình, nhiều nhà quan sát pháp lý cho rằng các quy định “sử dụng hợp lý” của luật bản quyền sẽ áp dụng cho chúng, mặc dù điều này chưa được kiểm tra trong các tòa án (và không phải tất cả các quốc gia đều có các quy định như vậy trong luật bản quyền của họ). Dù thế nào, đối với bất kỳ công ty nào sử dụng rộng rãi trí tuệ nhân tạo sinh sáng để quản lý tri thức (hoặc bất kỳ mục đích nào khác), đều nên có luật sư tham gia vào quá trình tạo ra và quản lý LLMs điều chỉnh. Ví dụ, tại Morningstar, các luật sư của công ty đã giúp tạo ra một loạt “câu gợi ý trước” cho biết hệ thống trí tuệ nhân tạo sinh sáng nên trả lời loại câu hỏi nào và loại câu hỏi nào nên tránh một cách lịch sự.

Các câu hỏi từ người dùng vào LLMs có sẵn công khai được sử dụng để huấn luyện các phiên bản sau của hệ thống, do đó một số công ty (ví dụ như Samsung) lo ngại về việc lan truyền thông tin bí mật và riêng tư và đã cấm việc sử dụng LLM bởi nhân viên. Tuy nhiên, phần lớn các nỗ lực điều chỉnh LLM với nội dung cụ thể lĩnh vực được thực hiện trên các phiên bản riêng tư của các mô hình không có khả năng truy cập từ người dùng công khai, do đó điều này không nên là một vấn đề. Hơn nữa, một số hệ thống trí tuệ nhân tạo sinh sáng như ChatGPT cho phép người dùng tắt việc thu thập lịch sử trò chuyện, điều này có thể giải quyết vấn đề về bí mật trên các hệ thống công khai.

Để giải quyết các vấn đề về bí mật và riêng tư, một số nhà cung cấp cung cấp các tính năng an toàn và bảo mật tiên tiến và tối ưu cho LLMs, bao gồm xóa các câu hỏi của người dùng, hạn chế một số chủ đề, và ngăn chặn mã nguồn và dữ liệu sở hữu đầu vào vào LLMs có sẵn công khai. Hơn nữa, các nhà cung cấp hệ thống phần mềm doanh nghiệp đang tích hợp “Tầng Đáng Tin Cậy” vào các sản phẩm và dịch vụ của họ. Ví dụ, Salesforce đã tích hợp tính năng Einstein GPT vào bộ công cụ AI Cloud của họ để giải quyết “Khoảng cách Tin Cậy AI” giữa các công ty muốn triển khai nhanh các khả năng LLM và những rủi ro đã đề cập ở trên mà hệ thống này gây ra trong môi trường kinh doanh.

Hình thành Hành vi của Người dùng

Sự dễ dàng sử dụng, tính sẵn có rộng rãi và các câu trả lời hữu ích đối với nhiều lĩnh vực tri thức đã dẫn đến việc triển khai tri thức quản lý dựa trên trí tuệ nhân tạo sinh sáng nhanh chóng và một phần không có hướng dẫn và tự nhiên từ phía người dùng. Ví dụ, một cuộc khảo sát gần đây cho thấy hơn một phần ba số người dùng tham gia khảo sát đã sử dụng trí tuệ nhân tạo sinh sáng trong công việc của họ, nhưng 68% người tham gia cuộc khảo sát không thông báo với cấp trên rằng họ đang sử dụng công cụ này. Để hiểu rõ cơ hội và quản lý các rủi ro tiềm năng của ứng dụng trí tuệ nhân tạo sinh sáng trong quản lý tri thức, các công ty cần phát triển một văn hóa minh bạch và có trách nhiệm, giúp hệ thống quản lý tri thức dựa trên trí tuệ nhân tạo sinh sáng thành công.

Ngoài việc thực hiện các chính sách và nguyên tắc hướng dẫn, người dùng cần hiểu cách tích hợp một cách an toàn và hiệu quả các khả năng trí tuệ nhân tạo sinh sáng vào công việc của họ để nâng cao hiệu suất và năng suất. Các khả năng của trí tuệ nhân tạo sinh sáng, bao gồm nhận thức về ngữ cảnh và lịch sử, tạo ra nội dung mới bằng cách tổng hợp hoặc kết hợp tri thức từ nhiều nguồn khác nhau và dự đoán dựa trên dữ liệu, có thể cung cấp hỗ trợ mạnh mẽ cho công việc tri thức. Hệ thống quản lý tri thức dựa trên trí tuệ nhân tạo sinh sáng có thể tự động hóa quy trình tìm kiếm thông tin phức tạp (ví dụ như nghiên cứu các vụ án pháp lý) cũng như các nhiệm vụ nhận thức có khối lượng lớn và độ phức tạp thấp như trả lời thư điện tử của khách hàng thông thường. Tiếp cận này tăng cường hiệu quả cho nhân viên, giải phóng họ để tập trung nhiều hơn vào việc đưa ra quyết định phức tạp và giải quyết vấn đề trong công việc của mình.

Một số hành vi cụ thể có thể mong muốn ghi sâu – qua huấn luyện hoặc chính sách – bao gồm:

Hiểu biết về các loại nội dung có sẵn thông qua hệ thống;
Cách tạo các gợi ý hiệu quả;
Những loại gợi ý và cuộc trò chuyện nào được cho phép và những loại nào không được phép;
Cách yêu cầu thêm nội dung tri thức được thêm vào hệ thống;
Cách sử dụng các phản hồi của hệ thống trong giao tiếp với khách hàng và đối tác;
Cách tạo nội dung mới một cách hữu ích và hiệu quả. Cả Morgan Stanley và Morningstar đều huấn luyện những người tạo nội dung về cách tốt nhất để tạo và gắn thẻ nội dung, và những loại nội dung nào phù hợp với việc sử dụng trí tuệ nhân tạo.

“Mọi thứ đang diễn ra rất nhanh”

Một trong những nhà quản lý mà chúng tôi phỏng vấn đã nói: “Tôi có thể cho bạn biết tình hình hiện tại. Nhưng mọi thứ đang diễn ra rất nhanh trong lĩnh vực này.” Các LLM mới và các phương pháp mới để điều chỉnh nội dung của chúng được thông báo hàng ngày, cũng như các sản phẩm mới từ các nhà cung cấp tập trung vào nội dung hoặc nhiệm vụ cụ thể. Bất kỳ công ty nào cam kết tích hợp tri thức riêng vào hệ thống trí tuệ nhân tạo sinh sáng nên sẵn sàng sửa đổi phương pháp tiếp cận của mình thường xuyên trong nhiều năm tới.

Mặc dù có nhiều vấn đề thách thức liên quan đến việc xây dựng và sử dụng hệ thống trí tuệ nhân tạo sinh sáng được huấn luyện bằng nội dung tri thức của công ty, chúng tôi tự tin rằng lợi ích tổng thể đối với công ty đáng đáng công sức để giải quyết những thách thức này. Tầm nhìn dài hạn về việc cho phép bất kỳ nhân viên nào – và cũng là khách hàng – dễ dàng truy cập tri thức quan trọng bên trong và bên ngoài công ty để nâng cao năng suất và sáng tạo là điều hấp dẫn mạnh mẽ. Trí tuệ nhân tạo sinh sáng dường như là công nghệ cuối cùng đã làm điều này trở thành hiện thực.

(Theo Harvard Busines Review – 7/2023)

Nguồn: https://hbr.org/2023/07/how-to-train-generative-ai-using-your-companys-data