
66B là một mô hình ngôn ngữ với 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản và thực hiện các tác vụ AI phức tạp.
Mô hình dựa trên kiến trúc transformer, với nhiều lớp tự chú ý và feed-forward. Số lượng tham số lớn cho phép biểu diễn ngữ cảnh dài và sinh ngữ tự nhiên chất lượng cao, song đồng thời đòi hỏi tài nguyên tính toán đáng kể.
Quá trình huấn luyện sử dụng tập dữ liệu đa dạng từ web, sách và nguồn mở được làm sạch và cân bằng. Việc đào tạo chú trọng kiểm soát thiên vị và an toàn nội dung, đồng thời áp dụng kỹ thuật đóng gói và lọc dữ liệu để tối ưu hiệu suất trên nhiều tác vụ.
