Bài viết với thẻ #quantization

16 con số để chạy mô hình ngàn tỉ tham số

FP4, định dạng số thực 4-bit với đúng 16 giá trị, đang là chuẩn mặc định để chạy các mô hình ngôn ngữ lớn trên GPU Blackwell của NVIDIA.