66B là một mô hình ngôn ngữ lớn với quy mô tham số khoảng 66 tỷ, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và hỗ trợ các tác vụ thông tin phức tạp. Nó có khả năng trả lời câu hỏi, viết bài, tóm tắt nội dung và hỗ trợ lập trình theo ngữ cảnh đầu vào và mục tiêu người dùng.
Kiến trúc của 66B dựa trên mạng transformer và cơ chế chú ý tự, cho phép mô hình học mối quan hệ giữa từ ngữ trong câu và giữa câu với ngữ cảnh rộng. Dữ liệu huấn luyện được thu thập từ sách, bài báo và nội dung web công khai và hợp pháp, được tiền xử lý để giảm nhiễu và giảm rủi ro về nội dung độc hại.

66B có thể hỗ trợ viết văn bản, tóm tắt, dịch thuật và trả lời câu hỏi. Nó cũng có thể gợi ý mã nguồn, phân tích ý tưởng và tham gia vào các cuộc trò chuyện tự nhiên. Tuy nhiên mô hình này đối mặt với thách thức về độ chính xác, sự thiên lệch của dữ liệu, an toàn đầu ra và chi phí tính toán cao. Việc đánh giá toàn diện và kiểm soát chất lượng là cần thiết khi triển khai thực tế.
Trong khi 66B cho hiệu năng mạnh, các mô hình nhỏ hơn vẫn đóng vai trò quan trọng trong các hệ thống nhúng và thiết bị giới hạn nguồn lực. Sự phối hợp giữa mô hình lớn và các mô hình tùy biến nhỏ có thể mang lại khả năng đáp ứng nhanh, tiết kiệm năng lượng và phù hợp cho ứng dụng biên mạng và di động.

