Nvidia nói rằng GPU của họ cung cấp hiệu suất AI vượt trội hơn đáng kể so với các NPU tiên tiến nhất hiện nay.

Nvidia gần đây đã trình diễn khả năng của GPU tiêu dùng RTX của mình tại một sự kiện báo chí, theo Benchlife.Info. Công ty đã chỉ ra rằng GPU của họ tốt hơn các PC thông thường được trang bị NPU trong việc xử lý các tác vụ AI. Họ cũng đã trình bày một số điểm chuẩn, cho thấy GPU của họ vượt trội hơn so với các notebook cạnh tranh với khả năng tăng tốc phần cứng AI, bao gồm MacBook Pro với chip M3 Max hàng đầu của Apple.

Toàn bộ sự kiện tập trung vào việc GPU RTX của Nvidia vượt trội hơn các "PC AI" hiện đại được trang bị NPU. Theo Nvidia, hiệu suất 10–45 TOPS trong các bộ vi xử lý hiện đại của Intel, AMD, Apple và Qualcomm chỉ đủ cho các khối lượng công việc AI "cơ bản". Công ty đã đưa ra nhiều ví dụ, bao gồm chỉnh sửa ảnh, tạo hình ảnh, nâng cấp hình ảnh và hỗ trợ mã hóa nâng cao thông qua AI, mà theo họ, các PC AI trang bị NPU không thể xử lý hoặc chỉ có khả năng thực hiện ở mức rất cơ bản. GPU của Nvidia, ngược lại, có thể xử lý tất cả các tác vụ AI và thực hiện chúng với hiệu suất hoặc chất lượng tốt hơn một cách tự nhiên.

Nvidia tuyên bố rằng GPU RTX của họ có hiệu suất cao hơn nhiều so với NPU và có thể đạt được từ 100 đến hơn 1300 TOPS, tùy thuộc vào GPU. Sự kiện của Nvidia đã phân loại GPU RTX của họ là thiết bị "AI cao cấp", trong khi xếp NPU vào loại "AI cơ bản" thấp hơn. (Nvidia cũng thêm một danh mục khác, điện toán đám mây, mà họ xếp vào loại thiết bị "AI nặng" với hàng ngàn TOPS hiệu suất, chắc chắn là ám chỉ đến các GPU H100 và B200 Blackwell doanh nghiệp của họ.)

Nvidia đã chia sẻ một số điểm chuẩn tập trung vào AI, so sánh các GPU RTX 40-series mới nhất với một số đối thủ cạnh tranh. Đối với tạo nội dung, Nvidia đã trình diễn một điểm chuẩn so sánh GPU RTX 4090 Laptop, GPU RTX 4050 Laptop, và Macbook Pro M3 Max của Apple trong một số ứng dụng tạo nội dung sử dụng AI — như Stable Diffusion, Arnold, Blender, Chaos V-ray, Octane, Adobe Premier Pro Enhance Speech, DaVinci Resolve, và ON1 Resize AI. Điểm chuẩn cho thấy GPU RTX 4090 Laptop vượt trội hơn Macbook Pro trang bị M3 Max hơn 7 lần trong những trường hợp cực đoan nhất, và GPU RTX 4050 Laptop vượt trội hơn cùng Macbook Pro hơn 2 lần. Trung bình, RTX 4090 mobile vượt trội M3 Max 5 lần trong khi RTX 4050 LT vượt trội hơn từ 50–100%.

Một điểm chuẩn khác mà Nvidia trình diễn là các mô hình ngôn ngữ lớn (LLM), sử dụng khối lượng công việc LLM Llama 2 7B int4. Nvidia so sánh RTX 4090 mobile với M3 Max và RTX 4050 mobile với chip M3 cơ bản của Apple. RTX 4090 nhanh hơn 42% so với M3 Max, nhưng với kích thước lô tám, chip này nhanh hơn 90%. Tương tự, RTX 4050 mobile nhanh hơn 48% so với Apple M3, nhưng với kích thước lô tám, RTX 4050 nhanh hơn 90%. Thay đổi kích thước lô là một tối ưu hóa có thể cải thiện hiệu suất AI, tùy thuộc vào kiến trúc.

Nvidia đã trình diễn một điểm chuẩn thứ ba sử dụng UL Procyon Stable Diffusion 1.5 so với AMD. Trong bài kiểm tra này, Nvidia so sánh toàn bộ dòng GPU RTX 40-series desktop của họ với Radeon RX 7900 XTX của AMD. Mọi GPU của Nvidia, bắt đầu từ RTX 4070 Super trở lên, đều vượt trội so với sản phẩm hàng đầu của AMD — và RTX 4090 vượt trội hơn 2.8 lần. Tuy nhiên, RTX 4060 Ti và RTX 4060 chậm hơn đáng kể. Kết luận là GPU hàng đầu của Nvidia nhanh hơn đáng kể so với GPU tương đương của AMD, ít nhất là trong khối lượng công việc cụ thể này. (Điểm chuẩn Stable Diffusion của chúng tôi cũng kể một câu chuyện tương tự, với 4090 đánh bại 7900 XTX 2.75 lần ở việc tạo hình 768x768 và 2.86 lần với việc tạo hình 512x512.)

Với sự chú ý vào laptop AI và PC AI trang bị NPU trong năm nay, Nvidia đang nhắc nhở mọi người rằng GPU RTX của họ đã là các lựa chọn thay thế mạnh mẽ hơn nhiều. Không chỉ rất mạnh mẽ, còn có rất nhiều GPU RTX hiện diện trên thị trường hơn so với PC trang bị NPU — có nghĩa là nhiều laptop và PC hiện có với thẻ RTX đã sẵn sàng cho AI.

Nvidia có một quan điểm tốt: GPU RTX của họ cung cấp hiệu suất cao hơn so với các NPU mới nhất trên Qualcomm Snapdragon X Elite và các đối thủ Ryzen 8040 series của AMD. Tuy nhiên, chúng ta vẫn chưa thấy GPU RTX của Nvidia trở thành một phần quan trọng của PC AI. Định nghĩa chính thức của Microsoft cho PC AI yêu cầu thêm một NPU bên cạnh CPU/GPU — có nghĩa là hầu hết các hệ thống trang bị RTX vẫn "không đủ điều kiện" vì hầu hết không có NPU tích hợp.

Microsoft rõ ràng cũng đang xem xét không chỉ sức mạnh tính toán thô, mà còn về hiệu quả của công việc. Việc GPU RTX 4090 Laptop có thể áp đảo các NPU tích hợp không nên làm mọi người ngạc nhiên. Nhưng RTX 4090 mobile cũng được xếp hạng tiêu thụ 80W đến 150W, gấp khoảng 2 đến 5 lần so với nhiều bộ xử lý di động yêu cầu.

Sẽ rất thú vị khi xem liệu Microsoft có thay đổi suy nghĩ về định nghĩa của PC AI trong tương lai hay không — hoặc cụ thể hơn, khi nào họ sẽ thay đổi định nghĩa và theo những cách nào. 45 TOPS là mức hiệu suất cơ bản, thông qua một NPU tiết kiệm năng lượng, sẽ mang lại tăng tốc AI cho người tiêu dùng đại chúng. Trên thực tế, Microsoft thậm chí khăng khăng rằng phần mềm Copilot của họ chạy trên NPU thay vì GPU, để cải thiện thời lượng pin. Nhưng không thể tránh khỏi rằng tại một số điểm, chúng ta sẽ có các công cụ AI cần nhiều hơn mức 45 TOPS tính toán ban đầu này, và các GPU chuyên dụng đã đi rất xa trên con đường đó.