Trong khi nhiều doanh nghiệp Việt Nam lựa chọn fine-tuned model (kỹ thuật tinh chỉnh mô hình) sẵn có của nước ngoài để đi tắt, đón đầu quá trình huấn luyện LLM, Zalo đã lựa chọn con đường gian nan hơn: Tự huấn luyện mô hình từ đầu (from-scratch model). Quyết định đó không phải để chạy đua với người khổng lồ mà để hiện thực hóa khát vọng của chính người Việt: làm chủ mô hình LLM bằng tiếng mẹ đẻ.
Sự bùng nổ của trí tuệ nhân tạo tạo sinh (Generative AI) đã làm thay đổi hoàn toàn bức tranh công nghệ toàn cầu. Từ khi OpenAI ra mắt ChatGPT vào cuối năm 2022, hàng loạt mô hình LLM tương tự liên tục xuất hiện, ứng dụng trong nhiều lĩnh vực như y tế, giáo dục, tài chính, pháp lý… Cuộc đua trở nên gay gắt, không chỉ ở quy mô doanh nghiệp mà còn ở quy mô quốc gia về năng lực huấn luyện, hạ tầng tính toán và dữ liệu.
Lựa chọn con đường tự huấn luyện mô hình LLM từ đầu (from-scratch model), Zalo phải tạo dựng từ con số 0 – từ dữ liệu, kiến trúc mô hình đến toàn bộ quá trình huấn luyện, với nhiều thách thức.
Về dữ liệu, những bài toán học máy trước đây đã đòi hỏi lượng dữ liệu huấn luyện lớn nhưng với các mô hình ngôn ngữ lớn, đây là lượng dữ liệu khổng lồ. Để có một mô hình đủ tốt, hệ thống LLM đòi hỏi hàng chục, thậm chí hàng trăm tỷ token văn bản đầu vào. Điều này gây khó khăn với các nhà phát triển LLM của Việt Nam.
Dù gặp nhiều trở ngại ở ba yếu tố chính gồm hạ tầng thiết bị, dữ liệu và trình độ huấn luyện, các kỹ sư Việt Nam đã chủ động tìm giải pháp vượt khó. Điều này minh chứng cho tinh thần và sức mạnh ý chí của người Việt trong các hoàn cảnh gian nan mà cụ thể ở đây là chinh phục thách thức trong quá trình phát triển LLM cho người Việt.
Muốn huấn luyện LLM, các kỹ sư cần phải có hạ tầng phù hợp. Nhưng tại thời điểm đó, những GPU như H100 của Nvidia gần như là “hàng hiếm toàn cầu”. Trong khi đó, các hãng lớn đã đặt trước cả năm và trả hàng triệu USD để sở hữu. Tại Việt Nam, Zalo cũng đã cố gắng mua 8 máy chủ DGX H100 nhưng không dễ dàng, phải chờ từng đợt bàn giao của nhà sản xuất.
Về mặt dữ liệu, thay vì trông chờ vào nguồn tài nguyên sẵn có, Zalo đầu tư xây dựng kho dữ liệu chất lượng cao riêng cho tiếng Việt, nhằm bù đắp sự thiếu hụt nghiêm trọng so với tiếng Anh và tiếng Trung.
“Chúng tôi đã lường trước những khó khăn và vẫn quyết định gia nhập cuộc chơi từ sớm. Chúng tôi không cạnh tranh trực tiếp với các “ông lớn” mà chọn thị trường ngách, nơi chúng tôi có thể làm tốt hơn. Khát vọng của chúng tôi là xây dựng một mô hình mà người Việt làm chủ hoàn toàn – từ dữ liệu đến thuật toán”, Tiến sĩ Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI chia sẻ.
Nhờ chiến lược phát triển linh hoạt, Zalo đã rút ngắn thời gian phát triển thành công mô hình ngôn ngữ lớn của mình từ 18 tháng dự kiến xuống còn 6 tháng. Cuối năm 2023, mô hình ngôn ngữ lớn tiếng Việt của Zalo đã chính thức được ra mắt tại sự kiện quy tụ giới công nghệ và AI hàng đầu của Việt Nam – Zalo AI Summit. Tại đây, mô hình LLM của Zalo đã có màn chào sân thông qua thử thách Kahoot do Tinhte.vn đặt ra và bất ngờ vượt lên GPT 3.5, chỉ xếp sau GPT4 – mô hình LLM được đánh giá là mạnh nhất thế giới ở thời điểm đó.
Trên nền tảng đánh giá VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), mô hình của Zalo đạt năng lực gấp 1.5 lần GPT-3.5 của OpenAI. Tới cuối năm 2024, mô hình còn vượt qua những tên tuổi lớn như GPT-4 (OpenAI), Gemma-2-9B (Google) hay Phi-3-small (Microsoft), chỉ đứng sau LLaMA-3-70B của Meta về năng lực xử lý tiếng Việt trên bảng xếp hạng của VMLU.
Không chỉ dừng lại ở nghiên cứu, Zalo đang từng bước đưa công nghệ từ phòng thí nghiệm ra cuộc sống bằng việc thương mại hóa và phổ cập hóa các sản phẩm ứng dụng từ LLM.
Đầu năm 2025, trợ lý hỏi đáp tổng hợp Kiki Info – được vận hành như một tài khoản chính thức (Official Account) trên nền tảng Zalo – đã thu hút hơn 1 triệu lượt người dùng chỉ trong chưa đầy 2 tháng. Một ứng dụng khác là Thiệp AI cũng đạt con số ấn tượng 15 triệu thiệp được tạo và gửi đi chỉ trong 2 tháng.
Hành trình của Zalo không chỉ là chuyện một công ty muốn phát triển công nghệ. Đó là mảnh ghép trong bức tranh lớn hơn – nơi Việt Nam đang quyết liệt đẩy mạnh đổi mới sáng tạo, với những chủ trương từ Nghị quyết 57-NQ/TW về phát triển khoa học, công nghệ và chuyển đổi số quốc gia. Trong đó, đặc biệt nhấn mạnh đến lĩnh vực trí tuệ nhân tạo.
