Bộ tiêu chuẩn đánh giá năng lực tiếng Việt VMLU (Vietnamese Multitask Language Understanding) vừa được Zalo AI phối hợp với Viện Khoa học và Công nghệ Tiên tiến Nhật Bản (JAIST) xây dựng nhằm giúp cộng đồng nghiên cứu và phát triển trí tuệ nhân tạo ở Việt Nam có thêm công cụ đánh giá chất lượng đầu ra của các mô hình tiếng Việt cải tiến.
Cụ thể, bộ dữ liệu bao gồm 10.880 câu hỏi trắc nghiệm xoay quanh 58 chủ đề khác nhau. Mỗi chủ đề có khoảng 200 câu hỏi và được phân bổ trên 4 lĩnh vực bao gồm: STEM, Khoa học xã hội, Khoa học nhân văn và một danh mục rộng “Mở rộng”.
Với khối dữ liệu này, VMLU có sự phân tầng độ khó với 4 cấp bậc: Tiểu học, Trung học cơ sở, Trung học phổ thông và Chuyên nghiệp – cho đại học và sau đại học. Từ đó, bộ công cụ giúp đánh giá hiệu quả năng lực ngôn ngữ tiếng Việt của các mô hình AI về cả kiến thức sơ đẳng lẫn giải quyết các vấn đề phức tạp.
Bên cạnh đó, để giúp các nhóm nghiên cứu dễ dàng đánh giá năng lực các mô hình AI tiếng Việt của mình, đội ngũ kĩ sư Zalo AI thiết kế kèm theo hướng dẫn để các nhóm có thể sử dụng một cách nhanh chóng và đơn giản.
Bộ tiêu chuẩn VMLU ra đời chính là một sản phẩm được nghiên cứu nhằm hướng đến mục đích đóng góp và phát triển cộng đồng nghiên cứu AI Việt Nam nói riêng cũng như cộng đồng công nghệ thông tin nói chung, không thu phí bất kỳ người dùng, nhóm nghiên cứu hay doanh nghiệp nào.
Trước đó, Zalo AI đã thực hiện, triển khai và tổ chức hàng loạt các cuộc thi, chương trình cho cộng đồng AI Việt Nam như: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit… Những hoạt động này không chỉ tạo sân chơi cho cộng đồng AI Việt mà còn khuyến khích việc ứng dụng AI vào cuộc sống, giải quyết các bài toán cấp thiết của xã hội, phục vụ cho nhu cầu của hàng triệu người Việt Nam.
Tiến sĩ Châu Thành Đức – Trưởng bộ phận nghiên cứu Zalo AI – Giảng viên Trường Đại học Khoa học tự nhiên, Đại học Quốc gia TP Hồ Chí Minh khẳng định: “Zalo AI luôn hướng tới sự đóng góp cho cộng đồng AI Việt Nam, tạo động lực để AI Việt Nam phát triển. Từ đó kỳ vọng ngày càng có nhiều sản phẩm AI của người Việt, cho người Việt”.
