Chuyện gì đây: Viettel và NVIDIA “bắt tay” đưa tiếng Việt vào phục vụ huấn luyện cho trợ lý AI

Chính phủ Việt Nam và NVIDIA vừa ký thỏa thuận thành lập Trung tâm Nghiên cứu và Phát triển AI của NVIDIA và Trung tâm Dữ liệu AI của Viettel. Đáng chú ý, Viettel Solutions và NVIDIA vừa công bố bộ dữ liệu tiếng Việt để đào tạo trợ lý AI.

Việc hai tập đoàn hợp tác xây dựng bộ dữ liệu tiếng Việt nhằm cung cấp cho cộng đồng nghiên cứu nguồn lực để phát triển các mô hình AI phù hợp với văn hóa và bối cảnh sử dụng của người Việt.

Bạn đang xem: Chuyện gì đây: Viettel và NVIDIA “bắt tay” đưa tiếng Việt vào phục vụ huấn luyện cho trợ lý AI

Đại diện Viettel Solutions, đơn vị trực tiếp tham gia thực hiện dự án, cho biết bộ dữ liệu này hiện đã được đăng tải trên trang chia sẻ công nghệ của NVIDIA và sẵn sàng cung cấp miễn phí cho cộng đồng nghiên cứu phát triển. phát triển AI tại Việt Nam

Về sự khác biệt của bộ dữ liệu Việt Nam này, nhóm kỹ sư tham gia nghiên cứu của Viettel Solutions tiết lộ, bộ dữ liệu Việt Nam do Viettel và NVIDA cùng nghiên cứu đã được xử lý và lọc thông qua NeMo Curator, giúp giảm kích thước tập dữ liệu mà không làm giảm chất lượng. Đây cũng là bộ dữ liệu tiếng Việt chất lượng cao đầu tiên được công bố cho cộng đồng nghiên cứu và phát triển trí tuệ nhân tạo Việt Nam.

Dựa trên sự hỗ trợ từ nền tảng NeMo Framework và hạ tầng tính toán GPU với nguồn tài nguyên lớn của NVIDIA, các kỹ sư của Viettel thu thập và xử lý dữ liệu từ nhiều nguồn khác nhau, thực hiện các bước chuẩn hóa, phân tích. gõ và làm sạch dữ liệu. Bộ dữ liệu này được xử lý nhanh chóng và hiệu quả, giảm thiểu thời gian đào tạo mô hình AI mà vẫn đảm bảo chất lượng.

Các kỹ thuật tối ưu hóa như loại bỏ trùng lặp dữ liệu, sử dụng GPU để xử lý song song và áp dụng các công cụ như NeMo Curator đã giúp rút ngắn thời gian đào tạo mô hình từ 80 ngày xuống còn 20 ngày, nhanh hơn 4 lần so với trước đây.

Xem thêm : Trên tay INOI A34 và A54: Giá dưới 3 triệu mà màn lớn, RAM nhiều, bộ nhớ to, cấu hình đủ dùng

Viettel Solutions cũng cho biết, bộ dữ liệu tiếng Việt chỉ là bước đi đầu tiên trong hành trình hợp tác lâu dài giữa Viettel Solutions và NVIDIA. Hai bên cam kết tiếp tục mở rộng hợp tác, phát triển bộ dữ liệu phong phú hơn về các chủ đề, nâng cao tính chính xác và đa dạng của các mẫu dữ liệu, nghiên cứu các lĩnh vực ứng dụng AI. chuyên về y tế, giáo dục, thương mại và hành chính công.

Một trong những mục tiêu tiếp theo của dự án là áp dụng công nghệ song song hóa và tối ưu hóa phần cứng mới nhất của NVIDIA để xử lý các tập dữ liệu rất lớn, nhằm giảm chi phí phần cứng và điện năng tiêu thụ. Điều này sẽ giúp hoạt động nghiên cứu và phát triển AI tiếp tục phát triển mạnh mẽ tại Việt Nam.

Những kết quả hợp tác đầu tiên giữa Viettel Solutions và NVIDIA trong lĩnh vực dữ liệu đã mở ra những cơ hội mới cho cộng đồng nghiên cứu và phát triển AI trong nước. Đồng thời, bộ dữ liệu Việt Nam quy mô lớn và chất lượng cao này sẽ mở ra cơ hội tạo ra các sản phẩm AI tiên tiến, có tính bản địa hóa cao cho các nhà phát triển, nhà nghiên cứu tại Việt Nam, góp phần thúc đẩy quá trình chuyển đổi số và cải thiện hoạt động nghiên cứu, phát triển AI trong nước. dung tích.

https://genk.vn/chuyen-gi-day-viettel-va-nvidia-bat-tay-dua-tieng-viet-vao-phuc-vu-huan-luyen-cho-tro-ly-ai-20241221113307232.chn

Nguồn: https://truonglehongphong.edu.vn
Danh mục: Công Nghệ