銳捷網(wǎng)絡(luò)互聯(lián)網(wǎng)系統(tǒng)部解決方案架構(gòu)師

隨著互聯(lián)網(wǎng)業(yè)務(wù)的迅猛發(fā)展，數(shù)據(jù)中心基礎(chǔ)架構(gòu)也在不斷向前快速迭代，隨之而來的問題是如何管理好這張龐大的數(shù)據(jù)中心網(wǎng)絡(luò)。本文立足于新一代25/100G數(shù)據(jù)中心架構(gòu)之上，分析了目前運(yùn)維層面的挑戰(zhàn)，提出了面向網(wǎng)絡(luò)運(yùn)維全流程的技術(shù)升級(jí)，針對(duì)于流程中的每個(gè)環(huán)節(jié)講解了對(duì)應(yīng)的運(yùn)維技術(shù)。希望可以通過本文給讀者一些新的啟發(fā)和靈感。

隨著云計(jì)算、AI、大數(shù)據(jù)等技術(shù)的快速發(fā)展，一些新的業(yè)務(wù)形態(tài)呈現(xiàn)在大家的面前，比如今年受疫情影響而爆火的在線教育，直播帶貨等。業(yè)務(wù)應(yīng)用的革新得益于基礎(chǔ)設(shè)施的不斷發(fā)展和完善，上半年“新基建”的概念異常火爆，與之相關(guān)幾大領(lǐng)域的股票也都在瘋狂上漲。

2020年4月20日上午，國家發(fā)改委召開4月份例行新聞發(fā)布會(huì)，首次就“新基建”概念和內(nèi)涵作出正式的解釋。

“新型基礎(chǔ)設(shè)施是以新發(fā)展理念為引領(lǐng)，以技術(shù)創(chuàng)新為驅(qū)動(dòng)，以信息網(wǎng)絡(luò)為基礎(chǔ)，面向高質(zhì)量發(fā)展需要，提供數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新等服務(wù)的基礎(chǔ)設(shè)施體系。”這是發(fā)改委給出的“新基建”定義。

新型基礎(chǔ)設(shè)施主要包括3個(gè)方面內(nèi)容，即信息基礎(chǔ)設(shè)施、融合基礎(chǔ)設(shè)施以及創(chuàng)新基礎(chǔ)設(shè)施。其中信息基礎(chǔ)設(shè)施中的數(shù)據(jù)中心作為通信網(wǎng)絡(luò)和算力的基礎(chǔ)是我們今天要討論的重點(diǎn)。

在上一期的技術(shù)盛宴直播活動(dòng)中已經(jīng)跟大家分享了數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的演進(jìn)歷程，也重點(diǎn)介紹了新一代數(shù)據(jù)中心架構(gòu)的設(shè)計(jì)建議，今天我們聚焦在運(yùn)維層面來聊一聊新一代數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)維技術(shù)。

首先作者認(rèn)為運(yùn)維能力和架構(gòu)一樣也是需要更新迭代的，原因體現(xiàn)在兩個(gè)方面：

綜合以上分析，作者認(rèn)為新一代的數(shù)據(jù)中心需要新的運(yùn)維技術(shù)來協(xié)助我們管理好這張龐大的數(shù)據(jù)中心網(wǎng)絡(luò)。

我們對(duì)很多公司的網(wǎng)絡(luò)架構(gòu)以及運(yùn)維流程做了調(diào)研和分析，總結(jié)了一些通用的問題供大家參考和討論。

標(biāo)準(zhǔn)化的運(yùn)維流程大概分為五步：網(wǎng)絡(luò)交付，網(wǎng)絡(luò)配置管理，網(wǎng)絡(luò)監(jiān)控，問題定位和故障處理。下面我們來分析一下每個(gè)流程中都有哪些問題亟待解決。

綜合以上的分析，我們?cè)谡w運(yùn)維流程的基礎(chǔ)上進(jìn)行了面向網(wǎng)絡(luò)運(yùn)維的全方位技術(shù)升級(jí)。

在考慮成本和效率的前提下，我們?cè)诿總€(gè)運(yùn)維流程中都應(yīng)用了新的技術(shù)來解決新時(shí)代下的新問題。

圖1 運(yùn)維全流程與運(yùn)維新技術(shù)的對(duì)應(yīng)關(guān)系

下面我們逐一分析在不同運(yùn)維流程中，我們應(yīng)當(dāng)采用哪些新的運(yùn)維技術(shù)來幫助我們更有效地管理好這張龐大的數(shù)據(jù)中心網(wǎng)絡(luò)。

上文提到在網(wǎng)絡(luò)初始化交付環(huán)節(jié)中存在大規(guī)模交付的效率問題，那么應(yīng)用什么技術(shù)可以提高這項(xiàng)工作的效率呢？

ZAM零配置自動(dòng)部署管理技術(shù)可以很好的解決這個(gè)問題。

交換機(jī)到貨安裝上架并加電后，識(shí)別到空配置會(huì)自動(dòng)進(jìn)入ZAM模式，通過DHCP的兩個(gè)Option字段獲取到TFTP的Server地址以及要下載的腳本文件?；谧陨淼腟N碼獲取到屬于自身的版本、補(bǔ)丁、數(shù)據(jù)配置，自動(dòng)重啟后，可以分鐘級(jí)完成整機(jī)房的網(wǎng)絡(luò)設(shè)備交付。

在網(wǎng)絡(luò)上線交付環(huán)節(jié)應(yīng)用ZAM技術(shù)大大降低了對(duì)人的依賴，提高準(zhǔn)確率的同時(shí)，節(jié)約了人工刷版本、刷配置的時(shí)間，是滿足快速交付的重要手段。

圖2 零配置自動(dòng)部署管理技術(shù)流程

網(wǎng)絡(luò)承載的業(yè)務(wù)不會(huì)是一成不變的，為了滿足復(fù)雜多樣的需求可能會(huì)進(jìn)行業(yè)務(wù)的調(diào)整變更。面對(duì)業(yè)務(wù)變更，往往需要運(yùn)維工程師同時(shí)操作大量的網(wǎng)絡(luò)設(shè)備，此時(shí)如果依靠工程師逐臺(tái)登陸設(shè)備下發(fā)命令，大量的重復(fù)性工作一方面會(huì)導(dǎo)致運(yùn)維效率低下，另一方面也很難避免產(chǎn)生一些人為配置失誤，因此需要一種便捷的運(yùn)維管理工具幫助工程師解決批量配置管理網(wǎng)絡(luò)設(shè)備的問題。

社區(qū)中開源的運(yùn)維管理工具有很多，都可以幫助運(yùn)維人員批量完成特定任務(wù)，減少重復(fù)性工作，比如Puppet、SaltStack、Ansible等。在對(duì)比了這三個(gè)運(yùn)維管理工具之后，我們發(fā)現(xiàn)Ansible更加輕量化，更容易被廣泛應(yīng)用起來。

圖3 運(yùn)維管理工具對(duì)比

從上述對(duì)比表中，我們不難發(fā)現(xiàn)Ansible的技術(shù)特點(diǎn)：

提到網(wǎng)絡(luò)狀態(tài)監(jiān)控，相信大家腦海中首先涌現(xiàn)的就是SNMP技術(shù)。的確，SNMP作為傳統(tǒng)的網(wǎng)絡(luò)監(jiān)控手段已經(jīng)被大家應(yīng)用了很多年，但面對(duì)高性能計(jì)算、大數(shù)據(jù)、AI等業(yè)務(wù)就會(huì)有些力不從心。

首先從業(yè)務(wù)特征和需求來看，高帶寬業(yè)務(wù)會(huì)出現(xiàn)微突發(fā)的現(xiàn)象，因此需要我們能夠?qū)崟r(shí)地監(jiān)控設(shè)備的運(yùn)行狀態(tài)。比如RDMA業(yè)務(wù)，需要對(duì)關(guān)鍵信息做監(jiān)控，緩存隊(duì)列等實(shí)時(shí)狀態(tài)數(shù)據(jù)。

因此我們建議采用gRPC框架實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)設(shè)備的精細(xì)化監(jiān)控。

圖4 gRPC工作流程

gRPC是谷歌發(fā)布的基于HTTP2.0承載的高性能開源軟件框架，提供了支持多種編程語言的管理網(wǎng)絡(luò)配置和納管的方式。開源使大家更專注于業(yè)務(wù)層面內(nèi)容，減少對(duì)底層協(xié)議框架的關(guān)注。gRPC采用了ProtoBuffer（PB）來做數(shù)據(jù)的序列化與反序列化封裝，用HTTP 2.0作為數(shù)據(jù)傳輸協(xié)議。

gRPC的傳輸效率非常高，也得益于這兩大核心技術(shù)。

在網(wǎng)絡(luò)精細(xì)化監(jiān)控這一環(huán)節(jié)中，越來越多的客戶開始應(yīng)用gRPC來統(tǒng)一運(yùn)維接口，拉齊設(shè)備的能力特性，提升效率，更加主動(dòng)的感知網(wǎng)絡(luò)狀態(tài)，提早發(fā)現(xiàn)問題，防患于未然。關(guān)于gRPC技術(shù)的更詳細(xì)介紹，可以查閱前幾期的技術(shù)盛宴文章，由于篇幅的原因，作者在此不做深入展開。

網(wǎng)絡(luò)運(yùn)維流程中棘手環(huán)節(jié)就是故障問題的定位。

以RDMA業(yè)務(wù)為例，該業(yè)務(wù)特征是對(duì)延時(shí)和丟包極其敏感，一旦發(fā)生了丟包就會(huì)大大降低業(yè)務(wù)性能，影響很大。因此我們除了能夠感知端到端的延時(shí)，還需要能檢測(cè)到異常抖動(dòng)，知道在哪一跳出現(xiàn)了異常。

而在當(dāng)前的架構(gòu)下，網(wǎng)絡(luò)中存在了大量的路徑，每個(gè)業(yè)務(wù)流在每跳具體轉(zhuǎn)發(fā)到哪個(gè)物理端口上，依賴芯片Hash（哈希）的結(jié)果，這個(gè)對(duì)運(yùn)維來說是不直觀的，我們希望給定一個(gè)業(yè)務(wù)流瞬間就知道每跳選擇了哪個(gè)物理接口。

基于上述業(yè)務(wù)訴求，IFA技術(shù)的應(yīng)用給廣大運(yùn)維同學(xué)帶來了福利。它可以用來精確確定特定流量的路徑及轉(zhuǎn)發(fā)時(shí)延等信息，并封裝成UDP報(bào)文發(fā)送給服務(wù)器進(jìn)行分析。

圖5 IFA技術(shù)原理

具體實(shí)現(xiàn)：

最終IFA的部署，可以常規(guī)的日常開啟，但是也可以針對(duì)發(fā)生故障時(shí)按需調(diào)用。

一些敏銳的讀者看到這里會(huì)提出一個(gè)疑問，RDMA業(yè)務(wù)既然對(duì)于路徑和丟包敏感，那么我們只上送那些路徑發(fā)生變化以及時(shí)間超過閾值的報(bào)文到服務(wù)器，再加以分析處理不就可以嗎？

圖6網(wǎng)絡(luò)流量分析技術(shù)流程

沒錯(cuò)，如果將報(bào)文都上送服務(wù)器確實(shí)會(huì)額外增加了服務(wù)器成本，不利于整網(wǎng)TCO優(yōu)化，這種本末倒置的做法可能會(huì)直接導(dǎo)致IFA技術(shù)無法落地應(yīng)用。

因此我們需要在流量到達(dá)服務(wù)器之前做一級(jí)過濾，將那些路徑和延時(shí)正常的報(bào)文都過濾掉，只上送異常報(bào)文到分析服務(wù)器，就可以大大降低了服務(wù)器的壓力。在這個(gè)過濾處理環(huán)節(jié)，我們建議采用基于可編程芯片的交換機(jī)來實(shí)現(xiàn)，因其強(qiáng)大的硬件處理能力可以獲得更好的價(jià)值收益。

圖7 基于可編程網(wǎng)元的網(wǎng)絡(luò)可視化方案

談到故障處理，我們需要先分析一下目前的運(yùn)維模式。一般對(duì)于故障的處理流程都是先由業(yè)務(wù)方提交Case報(bào)障，運(yùn)維團(tuán)隊(duì)在系統(tǒng)上接到Case再去定位問題，分析原因，解決問題，屬于被動(dòng)的救火式運(yùn)維。迫于業(yè)務(wù)的緊急性，有的時(shí)候會(huì)讓運(yùn)維工作陷入很大的壓力當(dāng)中。

基于意圖網(wǎng)絡(luò)的智能分析平臺(tái)可以很好的幫助我們改變目前的運(yùn)維模式，化被動(dòng)為主動(dòng)。

圖8 智能分析平臺(tái)架構(gòu)

該平臺(tái)內(nèi)置多個(gè)模塊，包括數(shù)據(jù)采集平臺(tái)、AI引擎、大數(shù)據(jù)分析平臺(tái)以及智能分析器?？梢詫?shí)現(xiàn)網(wǎng)絡(luò)及應(yīng)用可視化，問題分析，故障預(yù)測(cè)等功能。

針對(duì)問題分析這一功能，可以幫助我們識(shí)別三大類故障，其中包括接入類、應(yīng)用類以及網(wǎng)元類?；趩栴}的分析，該平臺(tái)也會(huì)提出調(diào)優(yōu)及處理建議，幫助我們快速解決問題，恢復(fù)業(yè)務(wù)。

圖9 基于IBN的故障自動(dòng)識(shí)別

關(guān)于IBN的詳細(xì)內(nèi)容，未來會(huì)單獨(dú)做一期技術(shù)盛宴和大家一起分享，在這里先拋磚引玉一下，大家敬請(qǐng)期待后續(xù)的專題講解。

看到這里，相信大家對(duì)新一代的數(shù)據(jù)中心運(yùn)維技術(shù)也有所了解了。

銳捷網(wǎng)絡(luò)互聯(lián)網(wǎng)數(shù)據(jù)中心ENA（Easy Network Architecture，簡單網(wǎng)絡(luò)架構(gòu)）解決方案正是基于單核心Box+多平面組網(wǎng)的基礎(chǔ)架構(gòu)，面向運(yùn)維全流程做升級(jí)迭代，從架構(gòu)和運(yùn)維兩個(gè)層面持續(xù)演進(jìn)。

本文中提到的運(yùn)維特性已經(jīng)在銳捷網(wǎng)絡(luò)數(shù)據(jù)中心交換機(jī)產(chǎn)品中體現(xiàn)，這些是銳捷人長期深入業(yè)務(wù)場(chǎng)景、觀察研究、不斷打磨精品的具體呈現(xiàn)。我們深知，看清用戶痛點(diǎn)，以簡答的方式輔助用戶成功，這才是技術(shù)研發(fā)的第一要義。同時(shí)也希望每一位技術(shù)盛宴的讀者與我們分享您的真知灼見，我們共同發(fā)現(xiàn)、共同討論、共同成功！