加速當(dāng)今時(shí)代的重要工作
NVIDIA A100 Tensor Core GPU 可針對(duì) AI、數(shù)據(jù)分析和 HPC 應(yīng)用場(chǎng)景,在不同規(guī)模下實(shí)現(xiàn)出色的加速,有效助力更高性能的彈性數(shù)據(jù)中心。A100 采用 NVIDIA Ampere 架構(gòu),是 NVIDIA 數(shù)據(jù)中心平臺(tái)的引擎。A100 的性能比上一代產(chǎn)品提升高達(dá) 20 倍,并可劃分為七個(gè) GPU 實(shí)例,以根據(jù)變化的需求進(jìn)行動(dòng)態(tài)調(diào)整。A100 提供 40GB 和 80GB 顯存兩種版本,A100 80GB 將 GPU 顯存增加了一倍,并提供超快速的顯存帶寬(每秒超過 2 萬(wàn)億字節(jié) [TB/s]),可處理超大型模型和數(shù)據(jù)集。
|
| 適用于AI的企業(yè)就緒軟件 NVIDIA EGX? 平臺(tái)中包括能夠在整個(gè)基礎(chǔ)架構(gòu)中實(shí)現(xiàn)加速計(jì)算的優(yōu)化軟件。利用 NVIDIA AI Enterprise 軟件套件,企業(yè)可以訪問端到端的云原生 AI 和數(shù)據(jù)分析軟件,該軟件套件經(jīng) NVIDIA 優(yōu)化、認(rèn)證和支持,可在基于 NVIDIA 認(rèn)證系統(tǒng)? 的 VMware vSphere 上運(yùn)行。NVIDIA AI 企業(yè)包括 NVIDIA 的關(guān)鍵支持技術(shù),用于在現(xiàn)代混合云中快速部署、管理和擴(kuò)展 AI 工作負(fù)載。 |
功能強(qiáng)大的端到端 AI 和 HPC 數(shù)據(jù)中心平臺(tái)
A100 是整個(gè) NVIDIA 數(shù)據(jù)中心解決方案的一部分,該解決方案由硬件、網(wǎng)絡(luò)、軟件、庫(kù)以及 NGC? 中經(jīng)優(yōu)化的 AI 模型和應(yīng)用等疊加而成。它為數(shù)據(jù)中心提供了強(qiáng)大的端到端 AI 和 HPC 平臺(tái),讓研究人員能夠快速交付真實(shí)的結(jié)果,并且大規(guī)模地將解決方案部署到生產(chǎn)環(huán)境中。
深度學(xué)習(xí)訓(xùn)練
當(dāng)今的 AI 模型面臨著對(duì)話式 AI 等更高層次的挑戰(zhàn),這促使其復(fù)雜度呈爆炸式增長(zhǎng)。訓(xùn)練這些模型需要大規(guī)模的計(jì)算能力和可擴(kuò)展性。
NVIDIA A100 Tensor Core 借助 Tensor 浮點(diǎn)運(yùn)算 (TF32) 精度,可提供比 NVIDIA Volta 高 20 倍之多的性能,并且無(wú)需更改代碼;若使用自動(dòng)混合精度和 FP16,性能可進(jìn)一步提升 2 倍。與 NVIDIA? NVLink、NVIDIA NVSwitch?、PCIe 4.0、NVIDIA InfiniBand 和 NVIDIA Magnum IO? SDK 結(jié)合使用時(shí),它能擴(kuò)展到數(shù)千個(gè) A100 GPU。
2048 個(gè) A100 GPU 可在一分鐘內(nèi)成規(guī)模地處理 BERT 之類的訓(xùn)練工作負(fù)載,這是非常快速的解決問題速度。
對(duì)于具有龐大數(shù)據(jù)表的超大型模型(例如深度學(xué)習(xí)推薦模型 [DLRM]),A100 80GB 可為每個(gè)節(jié)點(diǎn)提供高達(dá) 1.3TB 的統(tǒng)一顯存,而且吞吐量比 A100 40GB 多高達(dá) 3 倍。
NVIDIA 的領(lǐng)先地位在 MLPerf 這個(gè)行業(yè)級(jí) AI 訓(xùn)練基準(zhǔn)測(cè)試中得到印證,創(chuàng)下多項(xiàng)性能紀(jì)錄。
深度學(xué)習(xí)推理
A100 引入了突破性的功能來(lái)優(yōu)化推理工作負(fù)載。它能在從 FP32 到 INT4 的整個(gè)精度范圍內(nèi)進(jìn)行加速。多實(shí)例 GPU (MIG) 技術(shù)允許多個(gè)網(wǎng)絡(luò)同時(shí)基于單個(gè) A100 運(yùn)行,從而優(yōu)化計(jì)算資源的利用率。在 A100 其他推理性能增益的基礎(chǔ)之上,僅結(jié)構(gòu)稀疏支持一項(xiàng)就能帶來(lái)高達(dá)兩倍的性能提升。
在 BERT 等先進(jìn)的對(duì)話式 AI 模型上,A100 可將推理吞吐量提升到高達(dá) CPU 的 249 倍。
在受到批量大小限制的極復(fù)雜模型(例如用于自動(dòng)語(yǔ)音識(shí)別用途的 RNN-T)上,顯存容量有所增加的 A100 80GB 能使每個(gè) MIG 的大小增加一倍,并提供比 A100 40GB 高 1.25 倍的吞吐量。
NVIDIA 產(chǎn)品的出色性能在 MLPerf 推理測(cè)試中得到驗(yàn)證。A100 再將性能提升了 20 倍,進(jìn)一步擴(kuò)大了這種性能優(yōu)勢(shì)。
高性能計(jì)算
為了獲得新一代的發(fā)現(xiàn)成果,科學(xué)家們希望通過仿真來(lái)更好地了解我們周圍的世界。
NVIDIA A100 采用雙精度 Tensor Core,實(shí)現(xiàn)了自 GPU 推出以來(lái)高性能計(jì)算性能的巨大飛躍。結(jié)合 80GB 的超快 GPU 顯存,研究人員可以在 A100 上將 10 小時(shí)雙精度仿真縮短到 4 小時(shí)以內(nèi)。HPC 應(yīng)用還可以利用 TF32 將單精度、密集矩陣乘法運(yùn)算的吞吐量提高高達(dá) 10 倍。
對(duì)于具有超大數(shù)據(jù)集的高性能計(jì)算應(yīng)用,顯存容量增加的 A100 80GB 可在運(yùn)行材料仿真 Quantum Espresso 時(shí)將吞吐量提升高達(dá) 2 倍。極大的顯存容量和超快速的顯存帶寬使 A100 80GB 非常適合用作新一代工作負(fù)載的平臺(tái)。
相較于A100 40G, 在大數(shù)據(jù)分析基準(zhǔn)測(cè)試中速度提升2倍 |
| 高性能數(shù)據(jù)分析 數(shù)據(jù)科學(xué)家需要能夠分析和可視化龐大的數(shù)據(jù)集,并將其轉(zhuǎn)化為寶貴見解。但是,由于數(shù)據(jù)集分散在多臺(tái)服務(wù)器上,橫向擴(kuò)展解決方案往往會(huì)陷入困境。 搭載 A100 的加速服務(wù)器可以提供必要的計(jì)算能力,并能利用大容量顯存、超過 2 TB/s 的顯存帶寬以及通過 NVIDIA? NVLink? 和 NVSwitch? 實(shí)現(xiàn)的可擴(kuò)展性,處理這些工作負(fù)載。通過結(jié)合 InfiniBand、NVIDIA Magnum IO? 和 RAPIDS? 開源庫(kù)套件(包括用于執(zhí)行 GPU 加速的數(shù)據(jù)分析的 RAPIDS Accelerator for Apache Spark),NVIDIA 數(shù)據(jù)中心平臺(tái)能夠加速這些大型工作負(fù)載,并實(shí)現(xiàn)超高的性能和效率水平。 在大數(shù)據(jù)分析基準(zhǔn)測(cè)試中,A100 80GB 提供的見解吞吐量比 A100 40GB 高兩倍,因此非常適合處理數(shù)據(jù)集大小急增的新型工作負(fù)載。 |
為企業(yè)提高資源利用率
A100 結(jié)合 MIG 技術(shù)可以更大限度地提高 GPU 加速的基礎(chǔ)設(shè)施的利用率。借助 MIG,A100 GPU 可劃分為多達(dá) 7 個(gè)獨(dú)立實(shí)例,讓多個(gè)用戶都能使用 GPU 加速功能。借助 A100 40GB,每個(gè) MIG 實(shí)例可分配多達(dá) 5GB,而隨著 A100 80GB 顯存容量的增加,此大小可翻倍至 10GB。 MIG 與 Kubernetes、容器和基于服務(wù)器虛擬化平臺(tái)的服務(wù)器虛擬化配合使用。MIG 可讓基礎(chǔ)設(shè)施管理者為每項(xiàng)作業(yè)提供大小合適的 GPU,同時(shí)確保服務(wù)質(zhì)量 (QoS),從而擴(kuò)大加速計(jì)算資源的影響范圍,以覆蓋每位用戶。 |
| 借助多實(shí)例 GPU (MIG),推理吞吐量可提升高達(dá)7倍 |
強(qiáng)川科技 — 專業(yè)IT綜合服務(wù)提供商 【業(yè)務(wù)領(lǐng)域:計(jì)算機(jī)硬件、系統(tǒng)軟件、系統(tǒng)集成、IT運(yùn)維外包】
成都強(qiáng)川公司英偉達(dá)/NVIDIA產(chǎn)品銷售團(tuán)隊(duì)經(jīng)過多年深耕與發(fā)展,至今已成功助力超過數(shù)千家中小企業(yè)的成長(zhǎng)。一直以來(lái), 我們的幾十位銷售顧問和技術(shù)專家,堅(jiān)持以傾聽您的需求和愿望為工作核心,以豐富的方案經(jīng)驗(yàn)、敏銳的行業(yè)洞察和過硬的IT技術(shù),為您提供高匹配度的解決方案,幫您做出更明智的決定。