【強川科技】隨著社會數字化程度的不斷提高,人類生活中越來越多的信息變成了數據,人類也產生了更多對于數據的需求。從移動支付到自動駕駛,數據量暴增不僅帶來數據存儲的壓力,也同樣對于數據處理提出了更高的要求:在待處理數據量劇增的情況下,數據傳輸的時延還必須不斷縮短。在這一背景下,數據中心必須不斷發展演進,方可應對未來的挑戰。數據中心雖涉及多類軟硬件設備,業界關心最多、影響最大、技術棧最深的依然是存儲側基礎設施。隨著存儲閃存化轉型升級的深入,業界越發意識到,SSD等介質革命固然帶來了IO的巨幅提升,但NVMe協議才是發揮性能的關鍵,通過端到端NVMe使得數字化轉型真正走向“高速之路”。早在2000多年前,《禮記·中庸》就提出了“車同軌,書同文,行同倫”的理論,以此讓社會更加有序、高效的運作。IT行業亦是如此,用戶希望他們的應用程序立即響應。為此,這些應用程序需要更快的服務器處理器、更多的計算核心、更多的內存和更多的存儲資源。隨著底層硬件功能的改進,以滿足這些需求,創新的應用程序開發人員找到了利用這些需求的新方法——快速應用程序依賴于將頻繁訪問的數據盡可能靠近處理器本身。從IDE、SATA到SAS,硬件接口協議發展經歷了交替革新,性能也逐步提升。但總體來看,這些硬件協議大都為通用接口協議,是從支持機械硬盤演進為支持固態硬盤的,性能上并沒有就固態硬盤顆粒高速讀寫能力做出太多優化。直到PCIe SSD的出現,SSD性能得以進一步釋放。PCIe是串行總線標準,硬件可以直接和CPU進行通信,速度更快,通道數更多。但彼時的PCIe SSD卻做不到拿來即用,不同的操作系統、不同的應用場景都需要PCIe SSD給出相應的驅動、配置、維護以及升級方案。PCIe SSD作為數據中心的一個存儲組件,借助標準化構筑完整的生態是必然趨勢,而NVMe正是在這樣一個背景下誕生并成為了PCIe SSD開啟閃存時代的引爆點。在NVMe出現之前,高端SSD只得以采用PCI Express總線制造,但需使用非標準規范的接口。若使用標準化的SSD接口,操作系統只需要一個驅動程序就能使用匹配規范的所有SSD。這也意味著每個SSD制造商不必用額外的資源來設計特定接口的驅動程序。NVMe正是應此而生。做個形象的比喻,原來負責控制固態硬盤的SAS協議,由于復雜的系統架構、過多的協議解析、有限的隊列并發能力,硬生生把固態硬盤建成了紅綠燈多、卡口多的“省市級公路”;而NVMe則是為他們帶來一條真正的數據高速公路。根據Gartner預測,2022年NVMe SSD在存儲中占比將達到52%。NVMe性能、節省處理器資源及提升軟件效率多方面占優隨著固態硬盤在存儲市場上的流行,SAS已成為存儲中連接SSD的最典型方式;但是,SAS的設計主要是作為機械硬盤驅動器(HDD)的接口,并隨著時間的推移越來越難滿足速度日益提高的SSD。隨著在存儲市場的流行,許多固態硬盤的數據速率提升已經放緩。不同于機械硬盤,部分SSD已受到SAS最大吞吐量的限制。NVMe協議則是統一了各廠商私有接口協議,用統一的接口協議來建立生態,和多種操作系統互聯互通。使用NVMe協議與存儲系統中的SSD交談,可提高每個處理器和整個存儲系統的效率和有效性能。與傳統的基于SCSI的協議相比,精簡的NVMe協議棧降低了處理開銷。NVMe協議將最大隊列數由單隊列提升至64K,隊列深度也從32提升至64K,使得SSD的IOPS大幅提升近2倍,時延也縮短了2倍。NVMe已經成為業界公認的固態存儲主流協議選擇,在未來將占領大量市場。在某項4K隨機工作負載測驗中,NVMe可提供超1.4~3倍的IOPS性能,同時NVMe提供超過3~6倍于SAS的帶寬。在時延方面,經測試,NVMe比SAS SSD降低20%的時延,相比于HDD減少近10倍時延。此外,根據另一組某大型設備廠商實際測試,NVMe和SAS SSD幾種情況下性能對比如下表,由此可見,NVMe在帶寬、吞吐量及時延方面都遠超SAS SSD。在CPU資源利用率方面,NVMe所需的每次I/O 的CPU 周期少于SAS的一半,有效節約CPU資源,將釋放更多的CPU性能。此外,第一代NVMe軟件堆棧就在一致性方面相比較SAS也實現了2 到3倍的提升。總之,NVMe 正在推動著一場架構變革,實現與存儲系統的大規模并行通信。最終結果是在服務器和存儲設備之間提供帶寬更高、延遲更低的連接。NVMe協議釋放閃存潛能,NVMe over Fabrics應運而生NVMe協議對于存儲提供了性能、延遲、協議棧開銷的全面優化,對于IT基礎架構的另外兩個核心——計算和網絡,則需要嘗試適應這種存儲上的變化,這將成為NVMe協議生態繼續走向成熟的關鍵一步。在NVMe之前,SCSI協議就已經在考慮如何改善系統性能并降低CPU負擔了。NVMe協議基于其自身發展歷程,開始發展出用于拉遠的協議擴展,NVMe over Fabrics(NOF+)應運而生。NVMe over Fabrics協議定義了使用各種通用的傳輸層協議來實現NVMe功能的方式,這些協議包括RDMA,FC,IB,FCoE等。依據傳輸層協議不同,又有不同的傳輸層綁定協議去規范每一種互聯網絡所具體需要的傳輸轉換層協議實現,如FC-NVMe則規定了FC網絡上支持NVMe over Fabric所必須實現的接口方式。由于NOF+的靈活性,它對于各種主流傳輸層協議有非常廣泛的適應和支持,但受限于協議本身差異,不同協議的NOF+在具體實現中的效果也有一定差異。當前NVMe over Fabrics業界主流選擇主要有兩類——NVMe over RoCE(RDMA over Converged Ethernet)和FC-NVMe。由于FC網絡作為現網主流選擇,FC-NVMe成為部分存儲廠商的主要研究和支持方向。但是,FC網絡由于其相對封閉的技術棧,演進速度較為緩慢,帶寬成為其主要瓶頸;而以太網更為開放,目前已達到400Gb帶寬(FC僅為64Gb),在性能上更有優勢,因而NVMe over RoCE也被認為是極具潛力的選擇。
伴隨NVMe 協議及下一代網絡協議NVMe over Fabrics不斷的發展和進化,今天所有NVMe生態參與者以此為共同語言,雖然各家IT廠商所處領域各不相同,擅長的技術也千差萬別,但是因為NVMe橫跨全球的高效協作有了基礎。NVMe降低了客戶從SSD到服務器乃至整個解決方案的研發、部署和維護成本,更幫助各廠商其實現了一個又一個營銷奇跡。
然而,當前各廠商的NVMe呈現的百家爭鳴,也讓IT從業者的選擇陷入困難。目前包括DELL EMC、華為和NetApp等多個存儲廠商均已經實現后端(即磁盤端)支持NVMe協議,但仍然有些廠商保持觀望。在實現全后端NVMe的配置上,控制器帶硬盤的數量及硬盤成本已經成為各家競爭的關鍵。而在技術上,Infinidat屬于另辟蹊徑的一家,Infinidat認為當數據量到達一定層次之后,閃存的成本太高了,所以,它的技術策略是用磁盤加上DRAM的組合方式,然后在中間放置一層薄薄的閃存層,據說性能表現不遜于全閃存存儲。在網絡協議上,當前各大廠商已經實現全面支持NVMe over FC,但在NVMe over ROCE的探索上各家發展保持謹慎與側重。在業界,華為率先提出NOF+方案,實現了計算、網絡以及全閃存存儲全棧國產化的聯合創新。據其宣稱,該方案不僅可以獲得和FC網絡同樣的IOPS處理能力,還可以在時延上大幅降低到原來的50%,同時整體的網絡TCO降低65%。此外,Infinidat宣布存儲陣列InfiniBox支持NVMe/TCP協議,使用簡單的TCP/IP結構將NVMe擴展到了整個數據中心,部署成本也較低,但是它們的延遲比RoCE要高一些,目前也是一些廠商的發展方向。面向未來,隨著NVMe技術的成熟和不斷完善,端到端NVMe方案必然將加速在數據中心的普及速度,未來數據中心也必定是NVMe的天下。得益于NVMe帶來的標準化,全球IT廠商之力塑造新的存儲生態正在火熱集結,并將最終目標指向更加高效的為客戶創造價值。不只是NVMe標準化組織官方,SNIA、PCI-SIG、Gartner、IDC等標準化組織和分析機構也同樣在推動NVMe發展。從磁盤等產品的發展歷程,我們可以預測市場將充分驗證NVMe的生命力和優勢。數據中心的存儲、計算以及網絡的變革也隨著NVMe的發展悄然展開,相信更多未知會因此加速到來,這是一件充滿想象空間的事情。
成都強川科技科技有限公司 — 專業IT綜合服務提供商(成都服務器總代理)
服務熱線:400-028-6620 028-85042466
公司地址:成都市武侯區一環路南二段2號新世紀商業中心東樓18A