隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,越來(lái)越多的應(yīng)用面向云計(jì)算。云計(jì)算是網(wǎng)絡(luò)計(jì)算、分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、負(fù)載均衡等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。云計(jì)算的核心思想,是將大量用網(wǎng)絡(luò)連接的計(jì)算資源統(tǒng)一管理和調(diào)度,構(gòu)成一個(gè)計(jì)算資源池為用戶(hù)按需服務(wù)。云計(jì)算是IT服務(wù)提供方式的一種改變,它在對(duì)數(shù)據(jù)中心呈幾何倍數(shù)增長(zhǎng)的情況下,有望顯著提高效率和靈活性。許多云計(jì)算部署依賴(lài)于計(jì)算機(jī)集群,包括計(jì)算、網(wǎng)絡(luò)互聯(lián)、存儲(chǔ)等,如圖1-3。圖1-4為具體一個(gè)云計(jì)算應(yīng)用的拓?fù)洳渴稹?
圖 1-3
圖 1-4
上述圖1-4,描述了一個(gè)云計(jì)算應(yīng)用,其主要業(yè)務(wù)應(yīng)用在經(jīng)分系統(tǒng)中支持Oracle Rac,和分布式話單分析等,其中配置的集群服務(wù)器節(jié)點(diǎn)共有32臺(tái)刀片服務(wù)器,每個(gè)結(jié)點(diǎn)內(nèi)置40Gb InfiniBand QDR HCA 卡網(wǎng)卡,連接到MIS5030 IB交換機(jī)中。多臺(tái)業(yè)務(wù)應(yīng)用服務(wù)器連接到核心GE萬(wàn)兆交換機(jī)中。以太網(wǎng)與IB網(wǎng)的連接通過(guò)MBX 5020 完成。MBX 5020有4個(gè)IB口,每個(gè)IB 可連接3個(gè)GE口,從而實(shí)現(xiàn)了計(jì)算結(jié)點(diǎn)與以太網(wǎng)服務(wù)器的通訊。
VSA 服務(wù)器:VSA為存儲(chǔ)加速軟件,配置了2個(gè)服務(wù)器,每個(gè)服務(wù)器內(nèi)置一塊HCA(IB)卡和兩塊HBA(FC)卡,以及一塊512GB SSD固態(tài)盤(pán)。VSA服務(wù)器作為網(wǎng)關(guān)設(shè)備,實(shí)現(xiàn)了IB到FC的轉(zhuǎn)換。
HCA卡:40Gb InfiniBand QDR HCA 網(wǎng)卡。
HBA卡:8Gb FC卡。
SSD固態(tài)盤(pán):采用CFD-SATAE電子盤(pán)產(chǎn)品,持續(xù)讀寫(xiě)能力達(dá)200MB/s,用于加載VSA軟件做緩存用。
VSA連接著FC交換機(jī)與后端的FC存儲(chǔ)。
上述拓?fù)鋱D中,實(shí)現(xiàn)了IB、Ethernet、FC網(wǎng)絡(luò)的整合互通,應(yīng)用在不同的云計(jì)算需求網(wǎng)絡(luò)部署中。
在當(dāng)今企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)每年都按指數(shù)增長(zhǎng)60%。大數(shù)據(jù)將挑戰(zhàn)企業(yè)的存儲(chǔ)架構(gòu)、數(shù)據(jù)中心的基礎(chǔ)設(shè)施等,也會(huì)引發(fā)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、商業(yè)智能、云計(jì)算等應(yīng)用的連鎖反應(yīng)。未來(lái)企業(yè)會(huì)將更多的TB級(jí)數(shù)據(jù)集用于商務(wù)智能和商務(wù)分析。到2020年,全球數(shù)據(jù)使用量預(yù)計(jì)將暴增44倍,達(dá)到35.2ZB(1ZB=10億TB)。
如何去分析這些數(shù)據(jù),挖掘其內(nèi)在價(jià)值,就需要分布式計(jì)算來(lái)支撐海量數(shù)據(jù)的分析工作。
早先那種多線程,多任務(wù)分解的日志分析設(shè)計(jì),是分布式計(jì)算的一個(gè)單機(jī)版縮略,如何將這種單機(jī)的工作進(jìn)行分拆,變成協(xié)同工作的集群,就是分布式計(jì)算框架設(shè)計(jì)所涉及的。
分布式計(jì)算運(yùn)用在多場(chǎng)景,大數(shù)據(jù)量的分布式處理,是云計(jì)算服務(wù)中其業(yè)務(wù)內(nèi)容必須用到的。
InfiniBand是針對(duì)對(duì)帶寬延遲要求比較高的領(lǐng)域設(shè)計(jì)的一種網(wǎng)絡(luò),現(xiàn)階段主流帶寬是40Gb/s,網(wǎng)絡(luò)中端到端延遲可以控制在us級(jí)別,InfiniBand 網(wǎng)絡(luò)采用集中管理,支持網(wǎng)絡(luò)劃分,QOS等功能,擴(kuò)展方便,可達(dá)數(shù)千個(gè)節(jié)點(diǎn),經(jīng)驗(yàn)證,適用于MPI, ORACLE RAC,HADOOP等的應(yīng)用。
云計(jì)算核心是計(jì)算能力的集中和規(guī)模性突破,云計(jì)算中心對(duì)外提供的計(jì)算類(lèi)型決定了云計(jì)算中心的硬件基礎(chǔ)架構(gòu)。從云端客戶(hù)需求看,云計(jì)算中心通常需要規(guī)?;奶峁┮韵聨追N類(lèi)型的計(jì)算能力:
? 大型服務(wù)器
一是高性能的、穩(wěn)定可靠的高端計(jì)算,主要處理緊耦合計(jì)算任務(wù),這類(lèi)計(jì)算不僅包括對(duì)外的數(shù)據(jù)庫(kù)、商務(wù)智能數(shù)據(jù)挖掘等關(guān)鍵服務(wù),也包括自身賬戶(hù)、計(jì)費(fèi)等核心系統(tǒng),通常由8路以上的大服務(wù)器提供。上述圖1-4,描述了這種情況的一個(gè)云計(jì)算應(yīng)用的拓?fù)洌?span style="line-height:1.8;">
? 高密度服務(wù)器
二是面向眾多普通應(yīng)用的通用型計(jì)算,用于提供低成本計(jì)算解決方案,這種計(jì)算對(duì)硬件要求較低,一般采用高密度、低成本的超密度集成服務(wù)器,以有效降低數(shù)據(jù)中心運(yùn)營(yíng)商的運(yùn)營(yíng)成本和終端用戶(hù)的使用成本;
? 高性能計(jì)算HPC
三是面向科學(xué)計(jì)算、生物工程等業(yè)務(wù),提供百萬(wàn)億、千萬(wàn)億次計(jì)算能力的高性能計(jì)算,其硬件基礎(chǔ)是高性能集群。
網(wǎng)絡(luò)互聯(lián)技術(shù)是云計(jì)算中的關(guān)鍵因素,需要滿(mǎn)足5個(gè)關(guān)鍵因素對(duì)網(wǎng)絡(luò)的需求:
2 高帶寬/低延遲
2 整合型以太網(wǎng)
2 支持多種類(lèi)作業(yè)任務(wù)
2 擴(kuò)展性和可管理性
2 綠色/低能耗
對(duì)于支持云計(jì)算的網(wǎng)絡(luò)架構(gòu),解決方案應(yīng)該是開(kāi)放的,支持各廠商產(chǎn)品;采用“逐步擴(kuò)展”式的布置,避免一次性淘汰更換。
采用的網(wǎng)絡(luò)互聯(lián)設(shè)備有:
2 40G IB網(wǎng)絡(luò)設(shè)備:用來(lái)支撐高性能的服務(wù)器架構(gòu),包括IB交換機(jī)和IB網(wǎng)卡
2 網(wǎng)關(guān)設(shè)備:支持多種協(xié)議的網(wǎng)絡(luò)連接與融合
2 10G以太網(wǎng)設(shè)備:支持以太網(wǎng)高速互聯(lián)的交換機(jī)和萬(wàn)兆網(wǎng)卡
2 光纖設(shè)備:支持光通道傳輸?shù)墓饽K與光纖交換機(jī)
2 通用的百兆千兆網(wǎng)傳輸設(shè)備:包括線纜與網(wǎng)卡、模塊
不論是商業(yè)計(jì)算、普通應(yīng)用,或是科學(xué)計(jì)算,在硬件架構(gòu)層,影響云計(jì)算能力的除了計(jì)算能力以外,最重要的一個(gè)環(huán)節(jié)就是存儲(chǔ)。云計(jì)算采用數(shù)據(jù)統(tǒng)一集中存儲(chǔ)的模式,存儲(chǔ)的數(shù)據(jù)規(guī)模通??梢赃_(dá)到TB乃至PB級(jí)別,計(jì)算平臺(tái)處理的海量并發(fā)必然會(huì)帶來(lái)海量的并發(fā)讀寫(xiě)。由于數(shù)據(jù)量非常大,讀寫(xiě)并發(fā)高,普通存儲(chǔ)設(shè)備不可能滿(mǎn)足數(shù)據(jù)處理中對(duì)性能、穩(wěn)定性和可用性方面的要求。并且傳統(tǒng)的存儲(chǔ)和文件系統(tǒng)在設(shè)計(jì)時(shí)并沒(méi)有考慮到大規(guī)模需求以及全球內(nèi)容分發(fā)。存儲(chǔ)多達(dá)數(shù)十億的文件會(huì)占用千兆字節(jié)的空間,要確保這些文件能夠在多個(gè)數(shù)據(jù)中心之間快速、高效的共享,傳統(tǒng)解決方案的部署復(fù)雜、很難管理、不易擴(kuò)展,且費(fèi)用高昂。
DataDirect Networks 采用 Web Object Scaler (WOS),有效改善了上述問(wèn)題。WOS是最尖端的基于云的文件存儲(chǔ)技術(shù),從根本上簡(jiǎn)化并改進(jìn)了從多個(gè)分布于不同地域的網(wǎng)站存儲(chǔ)、分發(fā)和訪問(wèn)文件的方式。只需通過(guò)一個(gè)易于使用的管理界面,便能創(chuàng)建輕松、無(wú)限擴(kuò)展的全球存儲(chǔ)云。WOS存儲(chǔ)技術(shù)具備管理方便、低延遲、可自動(dòng)創(chuàng)建備份和執(zhí)行災(zāi)難恢復(fù)程序,安全性、可靠性高,易于擴(kuò)展等特點(diǎn)。
云存儲(chǔ)應(yīng)用案例:
? 高速的交易結(jié)算系統(tǒng)– CDR (呼叫數(shù)據(jù)記錄) 和互聯(lián)網(wǎng)帶寬使用記錄均為小文件,每秒可到達(dá)數(shù)百萬(wàn)個(gè),而現(xiàn)有的存儲(chǔ)技術(shù)若未能實(shí)現(xiàn)基礎(chǔ)結(jié)構(gòu)的擴(kuò)展,就無(wú)法滿(mǎn)足如此快速的交易需求。即使使用現(xiàn)有的存儲(chǔ)技術(shù),高峰時(shí)期也容易造成數(shù)據(jù)的丟失。WOS 每秒可輕松處理海量交易。
? 視頻監(jiān)控– 智能型 IP 攝像頭直接與NVR (網(wǎng)絡(luò)視頻) 對(duì)話,反過(guò)來(lái),NVR可將錄像轉(zhuǎn)移到 iSCSI 陣列等存儲(chǔ)設(shè)備上。使用 WOS,從此就無(wú)需再使用 NVR,因此攝像頭錄制的視頻便可直接轉(zhuǎn)移到WOS 存儲(chǔ)云上。這樣不僅能夠降低成本和復(fù)雜性,并且由于 WOS固有的多功能性,用戶(hù)可同時(shí)從多個(gè)監(jiān)控中心訪問(wèn)錄像檔案。WOS 還自帶故障轉(zhuǎn)移和災(zāi)難恢復(fù)功能,而這一點(diǎn)對(duì)敏感數(shù)據(jù)很重要。
? Internet/Web2.0 – 管理用戶(hù)生成內(nèi)容的網(wǎng)站必須能夠應(yīng)付持久性數(shù)據(jù)不斷擴(kuò)大的存儲(chǔ)需求,以及管理數(shù)以百萬(wàn)計(jì)文件的挑戰(zhàn)。多功能的 WOS 能夠存儲(chǔ)數(shù)以十億計(jì)的文件,且不會(huì)對(duì)用戶(hù)端造成任何影響,是能夠滿(mǎn)足高速擴(kuò)展需求的理想的解決方案。
? 銀行 – 支票影像應(yīng)用平臺(tái)能夠創(chuàng)建數(shù)以百萬(wàn)計(jì)的小文件,而這些小文件會(huì)對(duì)傳統(tǒng)的基于 NFS 的文件造成嚴(yán)重損壞。一個(gè)WOS 云便能在同一個(gè)命名空間內(nèi)輕松存儲(chǔ)數(shù)十億支票影像,并自動(dòng)將這些影像分發(fā)至多個(gè)數(shù)據(jù)中心,保護(hù)數(shù)據(jù)的同時(shí)還能提高訪問(wèn)速度。
? 文檔及文件存檔– WOS 云是理想的存儲(chǔ)庫(kù),適用于超過(guò)80% 的非結(jié)構(gòu)性數(shù)據(jù),這些數(shù)據(jù)需要保持在線狀態(tài)但只是偶爾對(duì)其進(jìn)行訪問(wèn)。將不常使用的數(shù)據(jù)遷移到 WOS,能夠釋放 1 層空間,延長(zhǎng)使用壽命并降低持有成本。即使存檔數(shù)據(jù)不斷擴(kuò)大,您也可隨時(shí)根據(jù)需要快速、順暢地添加 WOS 節(jié)點(diǎn)。
? 政府– WOS 云可為用戶(hù)提供海量規(guī)模和優(yōu)異性能,適用于大型視頻、成像和存檔項(xiàng)目,同時(shí)還可實(shí)現(xiàn)政府機(jī)構(gòu)和關(guān)聯(lián)機(jī)構(gòu)之間自動(dòng)、快速的信息共享,用于應(yīng)急響應(yīng)系統(tǒng)、快速聯(lián)動(dòng)系統(tǒng)。
搭建云計(jì)算平臺(tái),需要軟件技術(shù)的支持,這些軟件包括:
? 應(yīng)用軟件:
提供云計(jì)算平臺(tái)服務(wù)的應(yīng)用軟件,如網(wǎng)絡(luò)加速、任務(wù)調(diào)度、高性能計(jì)算軟件、安全、存儲(chǔ)、系統(tǒng)優(yōu)化等軟件。
? 虛擬化軟件
虛擬化技術(shù)主要分為以下幾個(gè)大類(lèi) :
2 平臺(tái)虛擬化(Platform Virtualization),針對(duì)計(jì)算機(jī)和操作系統(tǒng)的虛擬化。
2 資源虛擬化(Resource Virtualization),針對(duì)特定的系統(tǒng)資源的虛擬化,比如內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)資源等。
2 應(yīng)用程序虛擬化(Application Virtualization),包括仿真、模擬、解釋技術(shù)等。
? 網(wǎng)絡(luò)、集群管理軟件
網(wǎng)絡(luò)、集群管理軟件可幫助搭建和管理“云系統(tǒng)”。集群計(jì)算系統(tǒng)是云計(jì)算系統(tǒng)的核心。集群管理軟件通過(guò)提供監(jiān)控、告警、報(bào)表、控制、統(tǒng)籌管理機(jī)制等功能,提高了集群運(yùn)作性能,保證了集群整體安全,方便了用戶(hù)使用和管理。
? 分布式計(jì)算軟件
分布式軟件充分利用分布式資源,通過(guò)將計(jì)算過(guò)程分解,由多臺(tái)服務(wù)器并行處理,計(jì)算結(jié)果綜合起來(lái)得到最終結(jié)果的方式,使計(jì)算量巨大的處理可以再在更短時(shí)間內(nèi)完成。分布式軟件通過(guò)綜合調(diào)度、并行處理的方式,使分布式系統(tǒng)資源充分利用,各節(jié)點(diǎn)協(xié)同工作,以低成本達(dá)到類(lèi)似一臺(tái)大型機(jī)的運(yùn)算效果。