Mô hình AI mới nhất của Google: Ít tham số, nhiều dữ liệu

2025-04-01 19:31:23

Cỡ chữ

Mô hình AI ngôn ngữ lớn mới nhất của Google có ít tham số hơn, nhưng sử dụng lượng dữ liệu đào tạo gấp 5 lần so với phiên bản tiền nhiệm. PaLM 2, mô hình ngôn ngữ lớn (LLM) mới nhất của Google vừa công bố tuần trước, sử dụng dung lượng dữ liệu đào tạo gần gấp 5 lần so với “người tiền nhiệm” của năm 2022, cho phép nó có thể lập trình, giải toán và sáng tạo nội dung nâng cao hơn. Tại sự kiện Hội nghị các nhà phát triển Google I/O, gã khổng lồ tìm kiếm đã giới thiệu PaLM 2 - mô hình ngôn ngữ đư???c đào tạo dựa trên 3,6 ngàn tỷ mã thông báo (token). Các token này là chuỗi các từ - nền tảng tạo thành khối dùng trong đào tạo LLM dự đoán từ tiếp theo sẽ xuất hiện. Phiên bản trước đó của PaLM được phát hành vào năm 2022 và đư???c đào tạo bằng 780 tỷ mã thông báo. CEO Google Sundar Pichai tại sự kiện Google I/O tuần trước giới thiệu mô hình ngôn ngữ lớn mới nhất của công ty PaLM 2 Mặc dù Google liên tục giới thiệu sức mạnh AI trong những tác vụ tìm kiếm, email, xử lý văn bản và bảng tính, song công ty này không muốn công khai kích thước hoặc chi tiết về bộ dữ liệu đào tạo của mình. OpenAI cũng giữ bí mật chi tiết thông số huấn luyện LLM mới nhất của họ là GPT-4. Các công ty công nghệ lý giải nguyên nhân do bản chất cạnh tranh của hoạt động kinh doanh. Cả Google và OpenAI đều đang chạy đua thu hút người dùng v??i các sản phẩm chatbot thay vì công cụ tìm kiếm truyền thống. Nhỏ gọn, mạnh mẽ, tiết kiệm chi phí Google cho biết, PaLM 2 có kích thước nhỏ gọn hơn so với những mô hình tiền nhiệm, khi được huấn luyện với 340 tỷ tham số so với 540 tỷ tham số của phiên bản trước đó. Điều này cho thấy công nghệ của công ty đang trở nên hiệu quả hơn trong thực thi những tác vụ phức tạp. Để đạt đư???c điều này, PaLM 2 sử dụng kỹ thuật mới gọi là “tối ưu điện toán mở rộng”, mang lại “hiệu suất tổng quát tốt hơn, bao gồm khả năng suy luận nhanh hơn với ít tham số làm giảm chi phí hoạt động”. Mô hình AI ngôn ngữ mới nhất của Google đư???c đào tạo trên 100 ngôn ngữ, đang thực hiện nhiều nhiệm vụ khác nhau cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard. PaLM 2 có bốn phiên bản dựa trên kích cỡ, từ nhỏ nhất đến lớn nhất: Gecko (Tắc kè), Otter (Rái cá), Bison (Bò rừng) và Unicorn (Kỳ lân). Theo các tài liệu công khai, PaLM 2 mạnh hơn bất kỳ mô hình nào hiện có. LlaMA của Facebook, ra mắt vào tháng 2, được huấn luyện dựa trên 1,4 ngàn tỷ token. Trong khi đó, lần gần nhất OpenAI công khai kích cỡ dữ liệu đào tạo cho ChatGPT là phiên bản GPT-3 với 300 tỷ mã thông báo. Sự bùng nổ các ứng dụng AI đã tạo ra những tranh cãi xung quanh công nghệ này. Đầu năm nay, El Mahdi El Mhamdi, một nhà khoa học cấp cao tại Google Research đã từ chức để phản đối sự thiếu minh bạch của gã khổng lồ tìm kiếm. Tuần này, CEO OpenAI Sam Altman cũng có phiên điều trần trước tiểu ban Tư pháp Thượng viện Mỹ về quyền riêng tư và công nghệ trong bối cảnh AI trở nên phổ biến. Tại đây, “cha đẻ” ChatGPT nhất trí với các nhà lập pháp rằng cần có quy định mới để quản lý AI. (Theo CNBC) ‘Cha đẻ’ ChatGPT lo ngại AI can thiệp bầu cử Mỹ Ngày 16/5, CEO Sam Altman của OpenAI, startup đằng sau ChatGPT bày tỏ lo ngại rằng trí tuệ nhân tạo (AI) có thể được sử dụng để can thiệp vào quá trình bầu cử. Tương lai AI không nằm ‘trong tay’ Google hay OpenAI Tương lai AI không bị kiểm soát bởi những đại gia trong ngành như Google hay OpenAI, mà sẽ chi phối bởi cộng đồng mã nguồn mở. Nga - Mỹ ‘hâm nóng’ cuộc đua AI vận hành máy bay chiến đấu Cuộc đua AI điều khiển máy bay chiến đấu đang được "hâm nóng" khi các cường quốc quân sự Mỹ, Nga liên tục có những cải tiến nhằm tận cụng công nghệ mới nổi trong tác chiến.

Nguồn bài viết : BG Trực Tuyến