Một trong những hậu quả là người dùng có thể bị nhầm lẫn vè chức năng và Nvidia cũng không thể tập trung vào từng dòng sản phẩm để có thể đưa được thông điệp chính xác nhất về mặt chức năng của những chiếc card này đến với người dùng. Kết quả là Nvidia đã chọn cách hợp nhất các phần cứng xử lý tính toán và ảo hóa thành một nhằm đơn giản hóa chuỗi sản phẩm của mình. Nvidia muốn có một thương hiệu duy nhất chính là "NVIDIA" để bao phủ cả 2 thị trường và cũng thể hiện rằng sản phẩm của Nvidia rất linh hoạt, từ đó loại bỏ những câu hỏi về loại card nào được dùng cho đồ họa, loại nào được dùng cho tính toán. Thêm vào đó, Nvidia có thể giảm số lượng phiên bản (SKU) vì không còn sản phẩm trùng lặp ở các thị trường này.
Nvidia RTX A6000 và Nvidia A40 - bộ đôi card đồ họa chuyên nghiệp mạnh nhất hiện tại:
tensorrt/bin nvcr.io/nvidia/tensorrt:20.11-py3 trtexec --deploy=/models/ResNet-50-deploy.prototxt --model=/models/ResNet-50-model.caffemodel --output=prob --batch=16 --iterations=500 --fp16
Các tùy chọn là: –deploy: Đường dẫn đến tệp triển khai Caffe (.prototxt) được sử dụng để đào tạo mô hình –model: Đường dẫn đến mô hình (.caffemodel) –output: Tên blob đầu ra –batch: Kích thước batch để sử dụng cho suy luận –iterations: Số lần lặp để chạy –int8: Sử dụng độ chính xác INT8 –fp16: Sử dụng độ chính xác FP16 (đối với GPU Volta hoặc Turing), không có thông số kỹ thuật nào bằng FP32
Chúng tôi có thể thay đổi kích thước batch thành 16, 32, 64, 128 và độ chính xác thành INT8, FP16 và FP32.
Các kết quả là Độ trễ suy luận (tính bằng giây). Nếu chúng tôi lấy kích thước batch chia cho Độ trễ thì sẽ bằng Thông lượng (hình ảnh / giây) mà chúng tôi vẽ trên biểu đồ của mình.
Chúng tôi cũng nhận thấy rằng điểm chuẩn này không sử dụng hai GPU; nó chỉ chạy trên một GPU duy nhất.
Tuy nhiên, bạn có thể chạy các trường hợp khác nhau trên mỗi GPU bằng cách sử dụng các lệnh như: “NV_GPUS = 0 nvidia-docker run… & NV_GPUS = 1 nvidia-docker run… &“ Với những lệnh này, người dùng có thể chia tỷ lệ khối lượng công việc trên nhiều GPU.
Ngoài ra, người ta có thể sử dụng lệnh —device = 0,1,2,3,4,… để chọn GPU nào sẽ chạy, sẽ có thêm thông tin về điều này sau.
Chúng tôi bắt đầu với chế độ INT8.
imagenet --rm -w /workspace/nvidia-examples/cnn/ nvcr.io/nvidia/tensorflow:20.11-tf2-py3 python resnet.py --data_dir=/imagenet --batch_size=128 --iter_unit=batch --num_iter=500 --display_every=20 --precision=fp16
Các tham số cho resnet.py: –layers: Số lớp mạng nơ-ron sử dụng, ví dụ: 50. –batch_size hoặc -b: Số lượng hình ảnh mẫu ImageNet sử dụng để huấn luyện mạng mỗi lần lặp. Tăng kích thước lô thường sẽ tăng hiệu suất đào tạo. –Iter_unit hoặc -u: Chỉ định chạy các batch hoặc epoch. –Num_iter hoặc -i: Số lô hoặc số lần lặp để chạy, ví dụ: 500. –display_every: Tần suất hiển thị hiệu suất huấn luyện,ví dụ: cứ 20 batch một lần. –precision: Chỉ định độ chính xác FP32 hoặc FP16, cũng cho phép tính toán TensorCore cho Volta, Turing và Ampere GPUs.
Trong khi tập lệnh TensorFlow này không thể chỉ định từng GPU để sử dụng, chúng có thể được chỉ định bằng cách: setting export CUDA_VISIBLE_DEVICES= phân định bởi dấu phẩy (ví dụ: 0,1,2,3) trong Docker container workspace.
Chúng tôi sẽ chạy các kích thước lô là 16, 32, 64, 128 và thay đổi từ FP16 thành FP32.
Một số GPU như RTX 2060, RTX 2070, RTX 2080 và RTX 2080 Ti sẽ không hiển thị một số lần chạy batch vì bộ nhớ hạn chế.
NVIDIA Quadro RTX 6000 ResNet 50 Training FP16 Precision
NVIDIA Quadro RTX 6000 ResNet 50 Training FP32 Precision
Quadro RTX 6000 so sánh tốt với các GPU tương tự như Quadro RTX 8000 và Titan RTX.
Kiểm tra điện năng
Đối với thử nghiệm điện năng của chúng tôi, chúng tôi đã sử dụng AIDA64 để tăng sức ép với Quadro RTX 6000, sau đó là HWiNFO để theo dõi việc sử dụng năng lượng và nhiệt độ.
Tiêu thụ điện của NVIDIA Quadro RTX 6000
Sau thử nghiệm, chúng tôi thấy nó đạt mức 262 Watts khi full tải và 19 Watts khi không tải.
Hiệu suất làm mát
Một lý do chính mà chúng tôi bắt đầu loạt bài này là để trả lời cho câu hỏi về vấn đề làm mát. Bộ làm mát kiểu “lồng sóc” (blower) có các khả năng khác so với một vài dòng card gaming lớn dual hoặc triple-fan.
So sánh nhiệt độ vận hành của NVIDIA Quadro RTX 6000
Nhiệt độ cho Quadro RTX 6000 chạy ở 78 độ C khi full tải, cho thấy giải pháp làm mát mới của NVIDIA hoạt động rất tốt và tạo ra rất ít tiếng ồn. Nhiệt độ khi không hoạt động mà chúng tôi ghi nhận là 32 độ C, đây cũng là mức tuyệt vời cho một GPU có kích thước này.
Kết luận
Sau tất cả các lần chạy đo benchmark này, có một vài chủ đề để nói về Quadro RTX 6000. Đầu tiên, điểm chú ý về dòng card này là có thể xem nó như đối thủ của Titan RTX với bộ làm mát kiểu blower bổ sung hỗ trợ driver được chứng nhận ISV để có một mức giá cao hơn. Điểm chú ý tiếp theo là dung lượng bộ nhớ chỉ bằng một nửa nhưng giá thấp hơn khi cạnh tranh với Quadro RTX 8000. Nếu bạn muốn lắp đặt các GPU vào một máy chủ hoặc máy trạm với số lượng lớn thì bộ làm mát kiểu blower hoạt động tốt và thực tế là có một phiên bản làm mát thụ động (Passive) của dòng card này mà chúng ta đã thấy trong bài đánh giá ASUS ESC4000A-E10 2U AMD EPYC GPU Server với rất nhiều sự linh hoạt trong triển khai.
Cuối cùng, có một câu hỏi lớn là bên cạnh bộ làm mát kiểu blower và các driver được chứng nhận ISV, đối với những người chỉ tìm kiếm bộ nhớ 24GB và hiệu suất tính toán cho 1-2 card mỗi hệ thống, NVIDIA GeForce RTX 3090 chỉ đơn giản là cung cấp nhiều hơn với chi phí thấp hơn nhiều. Các GPU 48GB A6000 mới chỉ bắt đầu xuất xưởng khi chúng tôi đang hoàn thành bài đánh giá này. Có lẽ đó là một dấu hiệu của thời gian mà chúng tôi đang xem xét dòng card này vào cuối chu kỳ. Tuy nhiên, với Titan RTX trước đó, giá cả / hiệu suất bên ngoài lĩnh vực yêu cầu driver Quadro / Enterprise được chứng nhận ISV thì dường như thiếu.
Nếu chúng tôi đã xem xét Quadro RTX 6000 gần thời điểm ra mắt, nó sẽ là một chiếc card tuyệt vời so với thế hệ Pascal. Xem xét vị trí của nó trong thị trường hiện tại, sau khi thế hệ Turing và bây giờ là Ampere đã đến, có vẻ như nó đã mất đi rất nhiều sức hấp dẫn mà nó từng có đối với máy tính để bàn và máy trạm, giả sử người ta không cần những chứng nhận ISV để được hỗ trợ cho các ứng dụng chuyên nghiệp tốn kém. Mặt khác, thực tế là chúng ta thấy mẫu GPU mới NVidia RTX A6000 đã bỏ đi thương hiệu Quadro và chúng ta cũng thấy một phiên bản làm mát thụ động của Quadro RTX 6000 có nghĩa là dường như đã tìm thấy một thị trường khác trong suốt thời gian tồn tại của nó.