問題描述（故障現(xiàn)象）

多端中興S385設(shè)備和中興S330設(shè)備混合組網(wǎng)，中興ZXMP S385設(shè)備的SEE板和中興ZXMP S330設(shè)備的SFEx6板組成以太網(wǎng)環(huán)網(wǎng)業(yè)務(wù)。SFEx6板啟用生成樹協(xié)議，SEE板未啟用生成樹協(xié)議，SEE板配置的是EVPLAN業(yè)務(wù)。

某日多端中興S330設(shè)備（無規(guī)律的分布于網(wǎng)絡(luò)）的SFEx6板陸續(xù)上報“單板運行不正常”告警，告警持續(xù)時間1分鐘左右，后自動消失。SFEx6板配置了單板的1：N保護，盡管其發(fā)生了單板的保護倒換，但該SFE板上的所有業(yè)務(wù)還是都出現(xiàn)了瞬斷。第二天，瞬間上報“單板運行不正常”告警的SFEx6板有逐漸增多的趨勢，影響的業(yè)務(wù)也越來越多。

原因分析

經(jīng)過了解，故障發(fā)生前，該網(wǎng)絡(luò)沒有進行網(wǎng)絡(luò)改造，即網(wǎng)絡(luò)拓撲無變化，也沒有新增業(yè)務(wù)，如新增接入交換機等等。受到影響的業(yè)務(wù)主要是“電力遠動”業(yè)務(wù)，該業(yè)務(wù)承載在全網(wǎng)多端中興S330設(shè)備的13#SFEx6板上。查看歷史告警，發(fā)現(xiàn)電力遠動主環(huán)從23日凌晨2：52開始，環(huán)上的13#SFE單板開始間歇性的上報“單板運行不正?！备婢?，

同時這些中興S330設(shè)備的CS板上報“背板總線錯”告警，端口號是77~80，這些端口剛好對應于13#槽位。

查看歷史性能發(fā)現(xiàn)環(huán)上SFEx6板的系統(tǒng)口接收到的幀數(shù)從23日凌晨1點開始異常，數(shù)量比正常情況下多出很多并且一直持續(xù)，其中多播幀數(shù)增加很多。

因此懷疑SFEx6板的生成樹發(fā)生異常，已經(jīng)形成廣播風暴。

查看各個SFE板的網(wǎng)橋運行狀態(tài)，發(fā)現(xiàn)并沒有找到BLOCK端口，可以證實確實以太網(wǎng)業(yè)務(wù)成環(huán)了。業(yè)務(wù)成環(huán)后，大量的異常報文在環(huán)內(nèi)風暴，對SFE板的交換芯片造成了沖擊，導致交換芯片異常，SFEx6板自動發(fā)生復位。在SFEx6板自動復位期間，NCP板就檢測到了其“單板運行不正?！备婢珻S板就檢測到了其“背板總線錯”告警。

在客戶的配合下，在網(wǎng)管上禁用了環(huán)上一個站點的SFE板的系統(tǒng)端口，強制破環(huán)，環(huán)上SFE單板不再上報異常告警。隨后逐個確認各個站點的業(yè)務(wù)恢復情況。最終確認只有ZHB站（中興S385設(shè)備）這一個站點的業(yè)務(wù)不通，并且需要經(jīng)過ZHB站的業(yè)務(wù)都不通。ZHB站（中興S385設(shè)備）配置的是14#SEE板，中斷14#SEE板的西方向的VCG口，將ZHB站置為環(huán)網(wǎng)的最尾端結(jié)點，這樣對其它站點的業(yè)務(wù)不會造成影響。

同時進行了抓包分析，經(jīng)客戶確認，抓到的報文里有很多異常的IP地址，如“192.162. x.x”、 “192.168.x.x”、“64.40.x.x”，這些IP地址不應該存在于客戶的網(wǎng)絡(luò)中。手動將環(huán)網(wǎng)破環(huán)后，雖然除了ZHB站外其它站點的業(yè)務(wù)均恢復正常，但抓到的報文顯示仍然存在異常的IP地址，因此可以確定網(wǎng)絡(luò)中仍然存在異常的報文源。

25日重點對ZHB站的14#SEE板進行了分析，初步確定此SEE板存在異常。經(jīng)過此SEE板的報文內(nèi)容可能被異常修改，所以不管手動破環(huán)前后，環(huán)上都可以抓到異常報文。由于生成樹協(xié)議報文不能正常通過，導致業(yè)務(wù)成環(huán)。

另外從ZHB站兩端對接的以太網(wǎng)板的性能也可以確定此站點SEE板發(fā)出的報文存在異常。通過ASCII碼流可以查到ZHB站東向的TJW站有不斷收到異常幀并丟棄（TJW站也是SEE板，網(wǎng)管上不統(tǒng)計系統(tǒng)口的異常丟棄幀數(shù)），西向的基站21的系統(tǒng)端口從23日凌晨1點開始持續(xù)有接收幀被過濾數(shù)，如下