• 問題一 單鏈路故障導致ECMP組所有數(shù)據(jù)流被重新HASH計算

▲圖例2：ECMP轉(zhuǎn)發(fā)圖

當某臺LVS服務(wù)器網(wǎng)卡出現(xiàn)故障或者鏈路出現(xiàn)故障，Leaf交換機會將ECMP組內(nèi)數(shù)據(jù)流將重新HASH計算，再進行負載均衡到剩余有效鏈路上，進而導致TCP會話斷開，發(fā)生雪崩現(xiàn)象，例如一些支付類業(yè)務(wù)，同一個用戶的一次支付過程會調(diào)用多個業(yè)務(wù)服務(wù)，業(yè)務(wù)側(cè)要求一次支付的過程都落在同一個處理服務(wù)器上，當出現(xiàn)單條鏈路故障后不僅影響該鏈路所在LVS承載的用戶，同時還影響該ECMP組下其他LVS承載的用戶，如圖例3所示：

▲圖例3：故障后ECMP轉(zhuǎn)發(fā)圖

1、優(yōu)化方案：

為避免單臺LVS服務(wù)器故障或者單鏈路故障導致整個ECMP組內(nèi)流量全部被重新HASH，ECMP可采用彈性HASH算法來優(yōu)化。采用彈性HASH算法后，僅將故障鏈路的流量重新HASH到其他活躍鏈路上，而非故障鏈路上的數(shù)據(jù)流則無需改變下一跳。實現(xiàn)效果如圖例4所示：

▲圖例4：ECMP彈性HASH算法

彈性HASH具體實現(xiàn)原理：

▲圖例5：彈性HASH流程

在交換機上生成一張索引表（RH Flow Set Table），用于存放相關(guān)索引值對應(yīng)下一跳路由地址。數(shù)據(jù)報文經(jīng)過路由查表后找到對應(yīng)ECMP 基值，提取HASH因子進行HASH運算，在HASH Key與ECMP數(shù)量取余數(shù)時無論是否出現(xiàn)故障鏈路，均以最初數(shù)量進行取余運算，因此運算結(jié)果一致，非故障鏈路數(shù)據(jù)依然按照原有鏈路轉(zhuǎn)發(fā)。如下圖中，鏈路3故障后軟件CPU將及時更新RH flow table，將失效鏈路用正常鏈路均勻替換。

▲圖例6：彈性HASH索引表替換示意圖

• 問題二 HASH極化問題

▲圖例7：HASH極化

1、優(yōu)化方案：

• 同廠商Leaf設(shè)備和Spine設(shè)備均采用相同上聯(lián)鏈路數(shù)場景下，應(yīng)避免在相鄰的兩臺設(shè)備上使用相同的負載均衡算法；

• 設(shè)備在運行HASH計算時，除傳統(tǒng)的五元組外，可以增添擾動因子，避免HASH計算結(jié)果相同。

HASH擾動的計算過程中HASH因子仍然正常提取，再增加用戶自定義隨機擾動因子，經(jīng)過HASH算法運算時，不同交換機HASH計算結(jié)果就將不一致，以達到避免HASH極化現(xiàn)象的出現(xiàn)。

▲圖例8：HASH擾動計算過程