轉載從: Tech News 科技新報
在今年稍早之際發表訓練（Training）基準測試分數之後，MLPerf 日前發表推理（Inference）基準測試的第一組得分結果。
與目前有 5 家公司所參加共 63 項 MLPerf 基準測試項目的訓練回合相比，有更多的公司提交了結果。共有來自 14 個組織的 500 多個分數得到了驗證。其中包括幾家新創公司的數字，然而一些知名的新創公司顯然沒有參加。
在支援可讓系統直接對決之嚴格條件的封閉專區（Closed Division），結果顯示效能上有5個數量級的差異，並且在預估功耗方面跨越了3個數量級。在開放專區（Open Division），廠商的提交可以使用一系列的模型，包括低精準度的實作。
Nvidia 宣稱取得封閉專區所有商用元件類別的第一名。在資料中心類別的其他領導廠商包括 Habana Labs、Google 和英特爾（Intel），而 Nvidia 則在邊緣類別中與 Intel 及高通（Qualcomm）一較高下。
「Nvidia 是唯一一家擁有量產矽晶、軟體、可程式性及人才，同時發布所有類型 MLPerf 基準測試成績，並贏得幾乎所有測試類別的公司，」市場研究公司 Moor Insights and Strategy 分析師 Karl Freund 指出：「GPU 的可程式性為將來的 MLPerf 版本提供了獨特的定位……我認為這在在展露了 Nvidia 實力的廣度，以及挑戰者的利基本質。但隨著時間的推移，許多競爭對手將逐漸成熟，因此 Nvidia 需要在硬體和軟體方面持續創新。」
Nvidia 公布顯示測試結果判定的圖表，針對商用元件的所有 4 個封閉專區測試情境皆名列第一。
這些情境代表不同的使用案例。例如針對資料中心推理的離線和伺服器情境。離線情境表示要對大量照片進行離線相片標記作業，並測量純資料傳輸總量。伺服器情境表示來自不同使用者的多個請求，在不可預測的時間提交請求，並在固定時間內測量資料傳輸總量的使用案例。邊緣情境包括單一串流與多串流，前者會對像是行動手機 App 的單一影像進行推理計時，後者則會測量多攝影機系統中有多少串流影像能被同步推論。
參賽公司可以提交所選機器學習模型的結果，這些模型在四個情境分別執行圖像分類、物件檢測和語言轉譯。
Nvidia 在伺服器和離線類別所有 5 個基準測試拿下第一
「從資料中心的結果來看，Nvidia 在伺服器和離線類別的所有 5 個基準測試中皆拔得頭籌，」Nvidia 加速運算產品管理總監 Paresh Kharya 表示：「我們的圖靈GPU在商用解決方案方面遠勝其他公司。」
Kharya 特別強調了一個事實，亦即 Nvidia 是唯一一家提交資料中心類別中所有 5 個基準測試模型結果的公司，而在伺服器類別（這是更困難的情境）中，Nvidia 的效能表現皆高出競爭對手甚多。
資料中心領域最接近 Nvidia 表現的競爭對手是以色列新創公司 Habana Labs，擁有 Goya 推理晶片。
「Habana是唯一一個全面投產高效能矽晶的挑戰者，有望支援功耗資料的下一版本 MLPerf 套件應該會有更好表現。」分析師 Karl Freund 表示。
Habana Labs 指出，基準測試分數純粹基於效能，功耗並非測量標的，不包含實用性（比如考慮某個解決方案是採無風扇冷卻還是水冷式設計），也不包含成本。
Habana 並透過開放專區來展現低延遲能力，延遲的限制比封閉專區更嚴格，並提交多串流情境的結果。
在邊緣基準測試，Nvidia 拿下商用解決方案之封閉專區所有四個類別的冠軍頭銜。高通 Snapdragon 855 系統單晶片與 Intel Xeon CPU 則在單一串流類別緊跟其後，然而高通和 Intel 都沒有提交更困難的多串流情境測試結果。
另外 MLPerf 發表許多「預覽版」系統（即未正式上市的系統）測試結果，包括專門針對 Intel’s Nervana NNP-I 的阿里巴巴旗下「平頭哥」公司「含光」（Hanguang）晶片、以色列新創公司 Halio 的 Hailo-8，以及 Centaur Technologies 的參考設計。與此同時，研發類的主要參賽廠商是一家鮮為人知的南韓新創公司 Furiosa AI。
（首圖來源：Nvidia）