導(dǎo)言
骨干網(wǎng)流量監(jiān)控系統(tǒng)主要是針對(duì)省級(jí)網(wǎng)絡(luò)運(yùn)營(yíng)商規(guī)模的網(wǎng)絡(luò)進(jìn)行監(jiān)控,流量一般都在100G以上。網(wǎng)絡(luò)監(jiān)控系統(tǒng)的架構(gòu)與傳統(tǒng)的IDS類似,都是通過(guò)分光器或者專用流量回流設(shè)備將流量鏡像到監(jiān)控系統(tǒng),由于流量很大,所以需要配置專門的一級(jí)分流設(shè)備和二級(jí)流量負(fù)載均衡設(shè)備來(lái)進(jìn)行流量的分流再接到每臺(tái)處理設(shè)備進(jìn)行處理。這對(duì)單臺(tái)處理機(jī)的計(jì)算能力和網(wǎng)絡(luò)IO能力都提出了很高的要求。為此,專門研發(fā)出Flowfirm解決接入和分流的問(wèn)題,Netfirm、videospeed等多種硬件設(shè)備,來(lái)提升處理機(jī)的網(wǎng)絡(luò)流量處理能力,而隨著這些手段的采用,也給傳統(tǒng)網(wǎng)監(jiān)系統(tǒng)的建設(shè)帶了新的變化。
方案架構(gòu)
骨干網(wǎng)流量監(jiān)控系統(tǒng)方案分三個(gè)層次:前端一級(jí)分流設(shè)備將鏡像進(jìn)行處理,并根據(jù)一定原則均衡的分流到各個(gè)服務(wù)器;前端處理平臺(tái),配置Netfirm的前端處理探針對(duì)流量進(jìn)行處理,為考慮到未來(lái)業(yè)務(wù)的擴(kuò)展,前端探針將處理不了的流量轉(zhuǎn)發(fā)到后端;前端二級(jí)處理平臺(tái),配置高速協(xié)處理卡的網(wǎng)絡(luò)處理一體機(jī)對(duì)這些數(shù)據(jù)進(jìn)行更深入的挖掘和分析。同時(shí)分流設(shè)備具有流量復(fù)制功能,能夠?qū)⑻囟髁繌?fù)制并傳輸?shù)狡渌胤降谋O(jiān)控網(wǎng)絡(luò)使用。
系統(tǒng)架構(gòu)如下:
方案特色
Flowfirm - S流量接入分流設(shè)備
骨干網(wǎng)中的流量有很多種類,有效的數(shù)據(jù)包、無(wú)效的數(shù)據(jù)包等,如果直接交給服務(wù)器處理平臺(tái)進(jìn)行處理,不僅增加服務(wù)器處理的壓力,而且增加整個(gè)鏈路的壓力,同時(shí)對(duì)軟件業(yè)務(wù)系統(tǒng)的包處理和分類能力是一個(gè)很大考驗(yàn)。而Flowfirm - S正式在這種背景下,將骨干網(wǎng)的大流量進(jìn)行匯聚、初步分析和處理,對(duì)業(yè)務(wù)“關(guān)心”的流量甄別并交給后續(xù)處理系統(tǒng)。
Flowfirm - S是基于國(guó)際開(kāi)放電信設(shè)備標(biāo)準(zhǔn)ATCA規(guī)范開(kāi)發(fā)的,針對(duì)通信運(yùn)營(yíng)商、各級(jí)政府安全單位需求的專用電信級(jí)綜合流量設(shè)備,主要用于各級(jí)POS/SDH及以太網(wǎng)線路進(jìn)行流量的采集、過(guò)濾、匯聚分流以及其它復(fù)雜的流量規(guī)劃功能。
Flowfirm - S的主要功能包括:
1) 流量接入:支持各種接口子卡,支持OC3,OC12,OC48,OC192,GE,XE的單模,多模光纖鏈路,可接入40G POS、10G POS、10GE、2.5G POS、622M POS、155M POS、GE/FE多種流量,可支持混合接入、高密度接入,單板接入密度達(dá)到1路40G 或4路10G或16路2.5G。支持單纖的收和發(fā)。
2) 交換協(xié)議支持:主要針對(duì)POS接口,支持基于SDH/SONET的以太,PPP和CHDLC封裝的報(bào)文;支持MPLS封裝,VLAN封裝的IPV4/IPV6格式報(bào)文,并可剝離;通過(guò)解析HDLC、PPP、MPLS等封裝,提取IP數(shù)據(jù)包,再進(jìn)行后續(xù)處理。兼容各種底層封裝參數(shù)。
3) ACL(數(shù)據(jù)包匹配分類):支持基于五元組的靈活和掩碼規(guī)則;支持基于載荷的指定偏移的帶掩碼數(shù)據(jù)匹配擴(kuò)展ACL功能(DPI功能);同時(shí)支持IPV4和IPV6功能;支持用戶定義的六種靈活五元組規(guī)則200萬(wàn)條(IPV4),100萬(wàn)條(IPV6);支持掩碼規(guī)則60萬(wàn)(IPV4),20萬(wàn)(IPV6);支持不同規(guī)則種類間的32種優(yōu)先級(jí);支持標(biāo)準(zhǔn)ACL和擴(kuò)展ACL之間的綁定;分類規(guī)則按規(guī)則集方式進(jìn)行管理,用戶可創(chuàng)建并設(shè)置多個(gè)規(guī)則集,并將規(guī)則集綁定到多個(gè)接口之上。
4) 流量過(guò)濾、匯聚、負(fù)載均衡分發(fā):對(duì)命中ACL規(guī)則的報(bào)文,支持丟棄,透?jìng)鳎至鬓D(zhuǎn)發(fā),流量復(fù)制,報(bào)文截?cái)?,采樣分流;?bào)文的分流支持多種負(fù)載分擔(dān)算法(輪詢、Hash、五元組等算法);分流組內(nèi)節(jié)點(diǎn)可基于硬件端口,也可以基于后端服務(wù)器IP地址;動(dòng)態(tài)監(jiān)測(cè)后端服務(wù)器狀態(tài),或者端口狀態(tài),動(dòng)態(tài)更新分流組,并盡可能保證同源同宿;支持32個(gè)分流組,組內(nèi)最多支持256個(gè)節(jié)點(diǎn);輸出報(bào)文的源MAC支持信息攜帶功能。
5) 流量復(fù)制:支持同一規(guī)則的流量復(fù)制:即為符合某條規(guī)則的流量指定復(fù)制方式,在不影響這條流量的分發(fā)策略的前提下,可以將流量復(fù)制到另一個(gè)或一批GE/10GE口輸出。
6) 數(shù)據(jù)包再封裝:對(duì)處理的IP包進(jìn)行最后的符合標(biāo)準(zhǔn)以太協(xié)議的再封裝,并可攜帶輸入接口等信息;支持對(duì)輸出數(shù)據(jù)包進(jìn)行截短、提取有用頭部。
7) 網(wǎng)管功能:支持SNMP、Telnet和ssh等網(wǎng)管功能。
圖 Flowfirm - S分流設(shè)備
Flowfirm - S具有以下特性:
1) 適應(yīng)性強(qiáng)
針對(duì)低鏈路密度的監(jiān)控提供高性價(jià)比的單板或雙板方案,針對(duì)高鏈路密度的應(yīng)用提供基于背板交換的大容量解決方案。
2) 電信級(jí)標(biāo)準(zhǔn)
基于電信級(jí)開(kāi)放平臺(tái)的最高標(biāo)準(zhǔn)ATCA,提供基于標(biāo)準(zhǔn)的高可靠性產(chǎn)品,具有優(yōu)秀的芯片/刀片異構(gòu)能力,可按需配置網(wǎng)絡(luò)處理刀片、通用計(jì)算刀片、各種專業(yè)業(yè)務(wù)刀片(如DSP語(yǔ)音通信刀片等)。保護(hù)用戶投資。
3) 全硬件轉(zhuǎn)發(fā)
多引擎流水線的硬件處理流程保證數(shù)據(jù)的線速轉(zhuǎn)發(fā)。包處理流水線每一個(gè)部分都有多個(gè)引擎工作。
4) 應(yīng)用多樣性
適應(yīng)高復(fù)雜度的過(guò)濾匹配和應(yīng)用處理需求,面向不斷復(fù)雜化的新興網(wǎng)絡(luò)應(yīng)用。
5) 高性價(jià)比
專門優(yōu)化設(shè)計(jì)的分流設(shè)備。能夠根據(jù)用戶實(shí)際的需求和網(wǎng)絡(luò)環(huán)境進(jìn)行功能定制化。
6) 數(shù)據(jù)處理功能
包含多種接口的流量接入、協(xié)議轉(zhuǎn)換、數(shù)據(jù)包匹配分類、流量過(guò)濾、流量匯聚分發(fā)和負(fù)載均衡、流量復(fù)制、數(shù)據(jù)包再封裝等。
7) 支持設(shè)備級(jí)聯(lián)擴(kuò)展
突破單設(shè)備系統(tǒng)的機(jī)箱槽位容量,并可按需擴(kuò)展級(jí)聯(lián),為支持未來(lái)網(wǎng)絡(luò)發(fā)展提供極大的空間。
圖 Flowfirm - S設(shè)備級(jí)聯(lián)
利用Netfirm提高單機(jī)處理能力
Netfirm是專門針對(duì)網(wǎng)絡(luò)流量監(jiān)控項(xiàng)目而研發(fā)的一塊高性能智能網(wǎng)絡(luò)加速卡。Netfirm基于FPGA實(shí)現(xiàn),內(nèi)置4G大內(nèi)存做數(shù)據(jù)處理,利用Netfirm可以實(shí)現(xiàn)流量高速接入、卸載cpu負(fù)載等功能,是在當(dāng)前越來(lái)越大的網(wǎng)絡(luò)流量的情況下,解決高網(wǎng)絡(luò)流量帶來(lái)的眾多問(wèn)題的利器。
圖Netfirm智能加速卡
Netfirm給網(wǎng)監(jiān)系統(tǒng)帶來(lái)的優(yōu)勢(shì)包括:
1)0% CPU消耗,100% 數(shù)據(jù)包捕獲
普通的網(wǎng)卡在接收數(shù)據(jù)過(guò)程中需要耗費(fèi)大量的cpu資源,并且隨著網(wǎng)絡(luò)流量的增大,這種消耗變得非??捎^以至于無(wú)法100%將網(wǎng)絡(luò)數(shù)據(jù)獲取下來(lái),對(duì)業(yè)務(wù)系統(tǒng)的監(jiān)控效果造成影響。由于這個(gè)原因,傳統(tǒng)的網(wǎng)監(jiān)應(yīng)用的單機(jī)處理能力只能做到500Mbps左右。Netfirm智能加速卡將整個(gè)數(shù)據(jù)接收過(guò)程由硬件自動(dòng)實(shí)現(xiàn),從而在不消耗任何CPU資源的同時(shí),保證了數(shù)據(jù)完全獲取,即使處理10Gbps的流量也沒(méi)有任何的丟包。
2)分流技術(shù)充分發(fā)揮每個(gè)CPU的計(jì)算能力
隨著CPU技術(shù)從提高主頻轉(zhuǎn)向多核技術(shù),如何利用好這么多的CPU核成為網(wǎng)監(jiān)系統(tǒng)需要解決的重要問(wèn)題。Netfirm針對(duì)網(wǎng)監(jiān)系統(tǒng)的特點(diǎn),將接收的流量根據(jù)源目的IP信息進(jìn)行分流,使得處理負(fù)載在多個(gè)CPU核間進(jìn)行均衡,從而充分發(fā)揮CPU多核的處理能力。
3)靈活豐富的過(guò)濾規(guī)則進(jìn)一步降低CPU負(fù)載
提高單機(jī)處理能力的另一個(gè)思路是將簡(jiǎn)單不需要處理的流量過(guò)濾掉,這樣就可以將主機(jī)資源全部集中到有效流量的處理上來(lái)?;谶@一思路,Netfirm可以配置200K的IP過(guò)濾規(guī)則,并配置針對(duì)不同鏈接進(jìn)行丟棄、轉(zhuǎn)發(fā)、標(biāo)記等多種動(dòng)作,從而進(jìn)一步提高單機(jī)處理能力。
4)支持多個(gè)應(yīng)用無(wú)縫融合,提高資源利用率,便于未來(lái)應(yīng)用的擴(kuò)展
在網(wǎng)監(jiān)系統(tǒng)建設(shè)的初期,基本都是采用一套應(yīng)用一套硬件的建設(shè)方法。但隨著系統(tǒng)的逐漸成熟,用戶需要更多的功能更多的應(yīng)用時(shí),再想使用這種方法時(shí),就會(huì)遇到機(jī)房空間、硬件采購(gòu)成本等一系列問(wèn)題。最好的實(shí)現(xiàn)方式是在一套硬件上運(yùn)行多種不同的應(yīng)用業(yè)務(wù),并且二者間不相互影響,這在傳統(tǒng)的網(wǎng)監(jiān)系統(tǒng)中是無(wú)法實(shí)現(xiàn)的。但Netfirm則從設(shè)計(jì)之初就考慮到網(wǎng)監(jiān)系統(tǒng)業(yè)務(wù)擴(kuò)展的可能性,支持多個(gè)不同應(yīng)用同時(shí)從Netfirm取數(shù)據(jù),并保證其間的隔離性,從而大大降低了網(wǎng)監(jiān)系統(tǒng)業(yè)務(wù)擴(kuò)展中的成本。
5)基于通用接口和專用接口的API,便于應(yīng)用的移植
目前很多網(wǎng)監(jiān)系統(tǒng)的應(yīng)用在研發(fā)過(guò)程中是以普通網(wǎng)卡為基礎(chǔ)開(kāi)發(fā)的,考慮到這一點(diǎn),Netfirm支持與普通網(wǎng)卡一樣的使用方式,并且提供相同的訪問(wèn)接口,只有在需要使用Netfirm附加功能時(shí)才需要使用專用接口,從而大大縮短了網(wǎng)監(jiān)應(yīng)用的移植周期。
基于Videospeed的二級(jí)數(shù)據(jù)處理
Videospeed協(xié)處理卡是針對(duì)傳統(tǒng)網(wǎng)監(jiān)系統(tǒng)中難以處理的諸如音視頻流量等非文本數(shù)據(jù)的監(jiān)控所研發(fā)出的一塊基于眾核技術(shù)的協(xié)處理卡。該卡可以提供高速并行處理能力,可以支持多路音視頻碼流的編解碼處理,從而對(duì)過(guò)去普通網(wǎng)監(jiān)系統(tǒng)處理不了的音視頻流量進(jìn)行處理。 也可以作為通用計(jì)算加速平臺(tái),用于其它特定流量的深度數(shù)據(jù)處理。
圖 Videospeed加速卡
Videospeed協(xié)處理卡具有以下特性:
1) 基于眾核技術(shù):采用Tilera眾核處理器,大大簡(jiǎn)化系統(tǒng)架構(gòu), 成本,功耗及PCB板面積,可以根據(jù)單核處理能力,精確地分配資源以實(shí)現(xiàn)所規(guī)劃的功能,達(dá)到優(yōu)化性能和節(jié)省功耗。
2) 處理能力強(qiáng)大:完成一定流量音視頻混合流的解碼,目前能夠支持400MB以上的流量
3) 支持多種主流視頻格式:主流的視頻格式 H264,H263,Mpeg1/2,Mpeg4,vp6,flv,asf,avi等
4) 支持矢量運(yùn)算:某些矢量運(yùn)算等函數(shù)運(yùn)算加速
高性能網(wǎng)絡(luò)處理一體機(jī)
高性能網(wǎng)絡(luò)處理一體機(jī)可以將骨干網(wǎng)監(jiān)控方案中的流量處理探針和二級(jí)處理平臺(tái)集成為一臺(tái)一體機(jī),單臺(tái)一體機(jī)提供10片雙路多核處理機(jī)的計(jì)算能力,配置6片Netfirm,可以支持24根GE,或者6根10GE流量的監(jiān)控。配置4片videospeed協(xié)處理卡,可以進(jìn)行這些流量的二級(jí)處理。也可以全部配置Netfirm進(jìn)行10GE流量的處理,最多提供單臺(tái)一體機(jī)100G流量的處理能力,具有極高的性價(jià)比。