新聞資訊
了解故障案例及產(chǎn)品資訊
新聞資訊News
相關(guān)產(chǎn)品Related Product
問題描述(故障現(xiàn)象)
設(shè)備調(diào)試過程中發(fā)現(xiàn),
1)通過DCN互聯(lián)的蕪湖網(wǎng)元無法上載數(shù)據(jù),提示“由于命令鎖已被獲取,尚未釋放,該命令暫時(shí)無法下發(fā)”,網(wǎng)元能夠正常PING通;
2)嘗試TELNET到網(wǎng)元查看數(shù)據(jù),能telnet進(jìn)去,但是無法執(zhí)行操作命令;
3) 另外,接入網(wǎng)關(guān)網(wǎng)元“1140蕪湖”,不時(shí)上報(bào)斷鏈告警,網(wǎng)管做網(wǎng)元時(shí)鐘配置查詢,網(wǎng)元時(shí)間管理查詢,數(shù)據(jù)比較等操作基本都是超時(shí);但拼該網(wǎng)元一直正常,且其他非網(wǎng)關(guān)網(wǎng)元做各項(xiàng)查詢都正常。
組網(wǎng)環(huán)境
網(wǎng)管服務(wù)器在上海,通過DCN網(wǎng)絡(luò)與蕪湖的中興ZXMP S385設(shè)備互聯(lián),蕪湖中興S385下掛各個(gè)方向的網(wǎng)元。
原因分析
前期分析:
1、懷疑是接入網(wǎng)元NCP單板問題,現(xiàn)場(chǎng)通過網(wǎng)管接入到設(shè)備能夠正常上載數(shù)據(jù)和監(jiān)控,說明NCP單板沒有問題;
2、原先設(shè)置了網(wǎng)關(guān)網(wǎng)元,取消了網(wǎng)關(guān)網(wǎng)元和NCP單板設(shè)置的靜態(tài)路由,網(wǎng)管服務(wù)器能夠PING通該網(wǎng)元,無法上載數(shù)據(jù)
3、與該網(wǎng)元互聯(lián)的所有設(shè)備(即非接入網(wǎng)元)都監(jiān)控正常,上載數(shù)據(jù)都正常;
4、懷疑服務(wù)器問題,在網(wǎng)管中心用筆記本連接上去故障現(xiàn)象一樣;
5、懷疑是DCN通道問題,但是其他網(wǎng)元能夠正常監(jiān)控,只有接入網(wǎng)元不能監(jiān)控,咨詢用戶該DCN通道只給我們SDH使用,沒有做任何的端口屏蔽設(shè)置。
本次分析:
首先,我們抓取了接入網(wǎng)元出現(xiàn)異常時(shí)的網(wǎng)管日志信息,并反饋給網(wǎng)管研發(fā)。經(jīng)過網(wǎng)管研發(fā)的分析,“獲取鎖失敗”錯(cuò)誤提示是由于網(wǎng)元建鏈后觸發(fā)刷新同步命令84212,下發(fā)命令后設(shè)備無應(yīng)答,一直卡住,其他要獲取線程互斥鎖的命令也無法執(zhí)行。從日志中看,網(wǎng)管沒有收到設(shè)備方面發(fā)來的應(yīng)答,并且也沒有收到設(shè)備發(fā)來的ping包。因而,超過一段時(shí)間后網(wǎng)管斷鏈重連,不斷重復(fù)。因此,網(wǎng)管研發(fā)的結(jié)論是:肯定不是網(wǎng)管問題,需要排查設(shè)備及DCN網(wǎng)絡(luò)問題。但前期已做過設(shè)備端的測(cè)試,是正常的。因此,我們將重點(diǎn)放在了與設(shè)備對(duì)接的DCN網(wǎng)絡(luò)方面。
其次,通過與設(shè)備研發(fā)的溝通,我們制定了測(cè)試抓包方案。
從上海網(wǎng)管側(cè)抓包來看,收到設(shè)備的序列號(hào)為0xc0814877的報(bào)文后,再也沒有收到該設(shè)備任何報(bào)文,等待4分鐘后網(wǎng)管斷鏈。
解決方案
從接入網(wǎng)元和非接入網(wǎng)元抓的報(bào)文比較,發(fā)現(xiàn)非接入網(wǎng)元發(fā)送的980字節(jié)的包,都會(huì)發(fā)送成功,而接入網(wǎng)元在發(fā)送1460字節(jié)的包時(shí),每個(gè)包都會(huì)發(fā)送失敗,應(yīng)該是DCN轉(zhuǎn)發(fā)不了1460的包,需要排查一下DCN網(wǎng)絡(luò),看允許通過的最大包是多少。
通過本次的抓包及測(cè)試分析,我們可以得出結(jié)論:網(wǎng)管在對(duì)接入網(wǎng)元進(jìn)行操作出現(xiàn)異常的原因是接入網(wǎng)元發(fā)出的1460字節(jié)包在DCN網(wǎng)絡(luò)上轉(zhuǎn)發(fā)出現(xiàn)了異常。
從華三數(shù)據(jù)工程師處了解,DCN網(wǎng)絡(luò)的路由器間轉(zhuǎn)發(fā)數(shù)據(jù)設(shè)置的MTU值為1492,且路由器不具備分片幀功能。從抓包和ping包測(cè)試的結(jié)果來看,當(dāng)我司設(shè)備發(fā)送的大包通過DCN路由器封裝后轉(zhuǎn)發(fā),其幀長(zhǎng)度很可能超過了1492,這就可能導(dǎo)致被丟棄。
因此,需要華三設(shè)備工程師再分析排查:
1) 我司發(fā)送的1460大包在華三設(shè)備是如何傳遞的,請(qǐng)抓包分析;
2) 華三路由器是否可以提供分片幀功能;若路由器不能提供該功能,可以考慮在接入網(wǎng)元接入DCN路由器前增加一臺(tái)支持分片幀功能的交換機(jī),也能解決這個(gè)問題;
華三路由器的MTU是否可以進(jìn)行調(diào)整;(與華三工程師交流,了解到華三的路由器之間是通過我司的數(shù)據(jù)板對(duì)接的。之所以設(shè)置為1492,是因?yàn)槲宜驹O(shè)備的數(shù)據(jù)板不支持超長(zhǎng)幀。但我司設(shè)備的數(shù)據(jù)板是支持超長(zhǎng)幀的,若有需要可以進(jìn)行單獨(dú)測(cè)試。)