TOPS Là Gì? Tìm Hiểu Về Thông Số Đo Hiệu Năng AI
TOPS là gì? Những thành phần cấu thành TOPS
Ở trung tâm của việc đo lường hiệu suất của NPU (Neural Processing Unit - Bộ xử lý thần kinh AI) là chỉ số TOPS, một thông số thể hiện sức mạnh tính toán vượt trội của các bộ phận này. TOPS đo lường khả năng xử lý của NPU, được tính bằng số lượng phép tính theo đơn vị hàng nghìn tỷ được thực hiện trong một giây của linh kiện đang chạy.
Trong thực tế khi giới thiệu sản phẩm như bộ vi xử lý AI hay GPU - Card màn hình, TOPS đóng vai trò là đơn vị đo lường tiêu chuẩn để so sánh hiệu suất AI giữa các CPU hay các kiến trúc công nghệ khác nhau. Vì TOPS là thước đo hiệu năng chủ chốt cho các NPU, nên việc tìm hiểu các yếu tố cấu thành chỉ số này và cách chúng ảnh hưởng đến hiệu suất tổng thể là điều cần thiết. Điều này sẽ giúp bạn có cái nhìn sâu sắc hơn về khả năng thực sự của NPU.
Hoạt động Multiply-Accumulate (MAC) là quy trình thực hiện các phép toán cốt lõi cho các tác vụ AI. Đây là một phép nhân ma trận bao gồm chuỗi hai phép toán cơ bản: nhân và cộng dồn vào bộ tích lũy (accumulator). Một đơn vị MAC có thể thực hiện một phép nhân và một phép cộng trong mỗi chu kỳ xung nhịp, tức là thực hiện hai phép toán mỗi chu kỳ. Mỗi NPU sẽ có số lượng MAC khác nhau, hoạt động ở các cấp độ chính xác khác nhau tùy thuộc vào kiến trúc NPU.
Tần số (Frequency) là tốc độ xung nhịp (số chu kỳ mỗi giây) mà NPU và các đơn vị MAC của nó (cũng như CPU hay GPU) vận hành, ảnh hưởng trực tiếp đến hiệu suất tổng thể. Tần số càng cao sẽ cho phép nhiều phép toán hơn trong một khoảng thời gian, đồng nghĩa với tốc độ xử lý sẽ nhanh hơn. Tuy nhiên, việc hoạt động ở mức tần số cao cũng tiêu tốn nhiều điện năng và tỏa nhiệt nhiều hơn, điều này sẽ ảnh hưởng đến thời lượng pin và trải nghiệm sử dụng. Con số TOPS được các hãng công bố thường dựa trên mức tần số hoạt động cao nhất có thể.
Độ chính xác (Precision) đề cập đến mức độ chi tiết của phép tính, trong đó độ chính xác cao hơn thường đi kèm với độ chính xác mô hình AI cao hơn nhưng việc này sẽ cần một sức mạnh tính toán lớn. Các mô hình AI có độ chính xác cao thường sử dụng dạng số thực dấu phẩy động 32-bit hoặc 16-bit, trong khi các mô hình AI nhẹ, tiết kiệm điện hơn thường sử dụng số nguyên 8-bit hoặc 4-bit. Hiện nay, tiêu chuẩn trong ngành để đo lường hiệu suất AI theo đơn vị TOPS là sử dụng độ chính xác INT8.
Để tính toán TOPS, bắt đầu với OPS, là kết quả của việc lấy số lượng MAC nhân đôi rồi nhân với tần số hoạt động. TOPS chính là OPS chia cho một nghìn tỷ, cụ thể hơn thì công thức để tính TOPS là:
TOPS = 2 × số lượng MAC × Tần số / 1 nghìn tỷ.
