在日本 GTC 大會上面，NVIDIA 執行長黃仁勳不忘穿著他的招牌披風，一邊秀出新產品以及與日本伙伴的成果。今日 (9/13) NVIDIA 宣布新的 GPU Tesla T4，以及採用 Tesla T4 的推論平台 TensorRT，以及搭配的推論軟體。
儘管沒有像在台灣的 GTC 大會努力用價格換算效能的方式，用台語說 NVIDIA 是很便宜的選擇，黃仁勳以採用 NVIDIA 最新 Tesla T4，16 顆只佔一個機櫃，耗電 2 kW，能勝任語音、自然語言處理、影音需求。相比之下傳統資料中心，有 200 個 CPU伺服器，同樣運算效能需耗電 60 kW，占的空間更大。
▲ NVIDIA GPU Tesla T4。(Source：NVIDIA)
NVIDIA 的 AI 推論平台TensorRT 超大規模平台包含一套完整的硬體與軟體，並針對強大、高效率推論進行優化，平台的關鍵元素包含：
- NVIDIA Tesla T4 GPU：搭載 320 個 Turing Tensor 核心以及 2,560 個 CUDA 核心，支援 FP32、FP16、INT8 以及 INT4 具彈性且多精度功能的突破性效能。封裝成一顆功耗僅 75 瓦且省電又小巧的 PCIe 板型，能輕易部署到大多數伺服器中，而 FP16 的尖峰效能可達到 65 teraflop、INT8 可達到 130 teraflop、INT4 則達到 260 teraflop。
- NVIDIA TensorRT 5：這款推論優化器與運轉時間引擎 (runtime engine) 支援 Turing Tensor 核心，並針對多精度作業附載擴充一套神經網路最佳化。
- NVIDIA TensorRT 推論伺服器：這款容器化微型伺服器軟體讓應用程式在資料中心生產環境下運用各種 AI 模型。透過 NVIDIA GPU 雲 容器可以免費註冊下載此軟體，不僅可以最大化資料中心的吞吐量以及 GPU 使用率，還支援所有熱門的 AI 模型與框架，並能整合 Kubernetes 與 Docker。
▲ 有了 AI，才有可能讓黃仁勳在舞台變身成 Michael Jackson。(Source：NVIDIA)
Nvidia 還宣布開發版 Jetson AGX Xavier的開發工具 Devkit，已經開放購買。Jetson AGX Xavier 能用在工廠的自動化開發上面，已經有多個日本企業如Fanuc (發那科)、Komatsu(小松製作所)、Musashi Seimitsu (武藏精密工業) 以及 Kawada Technologies (川田) 在內的日本大廠將利用 Jetson AGX Xavier 開發他們的自動化應用。
▲ 強調是世界首款 Edge AI 電腦 Jetson AGX Xavier，同時也釋出 Devkit。(Source：NVIDIA)
(首圖來源：NVIDIA)