MLPerf最新AI 效能衡量　NVIDIA H100 GPU效能提升54%

記者／Shirley

生成式人工智慧讓使用者快速創建文本、圖像、3D模型，目前數億人正在使用如ChatGPT的生成式人工智慧工具，並期望獲得即時回應。在這個人工智慧的iPhone時代，推論的效能至關重要。獨立第三方基準測試MLPerf是AI 效能權威衡量標準，NVIDIA表示，最新MLPerf基準測試顯示，NVIDIA將人工智慧推論從雲端到邊緣的性能和效率提升到新境界，軟體的優化讓NVIDIA H100 GPU的效能較去年9月份首次亮相時提升了54%。在 MLPerf 測試中首次亮相的NVIDIA L4 Tensor Core GPU，速度是上一代 T4 GPU 的 3 倍以上。

下一世代生成式人工智慧需要新的人工智慧基礎架構來訓練大型語言模型，並同時具備極高的能效，NVIDIA 創辦人暨執行長黃仁勳表示，生成式人工智慧已經來臨，NVIDIA打造了Hopper架構GPU，針對擁有Transformer引擎的GPT進行了優化，Hopper的性能是A100的4倍。

NVIDIA表示，在最新一輪的MLPerf測試中，運行於DGX H100系統中的NVIDIA H100 Tensor Core GPU在每個人工智慧推論測試中均實現了最高性能。人工智慧推論是在生產過程中運行神經網絡的工作。歸因於軟體的優化，此GPU的效能較去年9月份首次亮相時提升了54%。在醫療保健領域，H100 GPU自9月以來在醫療成像的MLPerf基準3D-UNet (醫學圖像分割)上實現了31%的效能增長。

生成式人工智慧能讓使用者能夠快速創建文本、圖像、3D模型，目前數億人正在使用像ChatGPT這樣的生成式人工智慧工具（也是一種Transformer模型），期望獲得即時回應。深度學習幾乎被應用到各個領域，從工廠到線上推薦系統，對推理效能有著永無止境的需求。

L4 GPU是NVIDIA最新人工智慧推理平台產品組合的最新成員，NVIDIA L4 Tensor Core GPU 在 MLPerf 測試中首次亮相，其速度是上一代 T4 GPU 的 3 倍以上。 L4 GPU還能提供高達10倍更快的圖像解碼速度，高達3.2倍更快的影片處理速度以及超過4倍更快的圖形和即時渲染效能。

瀏覽 804 次