摘要 背景介紹 解決方案介紹 客戶(hù)收益 企業(yè)級云數據中心底層基礎架構資源池建設解決方案
摘要
企業(yè)級云數據中心需要針對不同的云服務(wù),根據用戶(hù)需求、虛擬化、大數據和AI的等應用場(chǎng)景和軟件架構需求,以及不同的硬件特點(diǎn),設計不同的資源池,支撐不同的云服務(wù),帶來(lái)更優(yōu)化、高性?xún)r(jià)比的企業(yè)級云服務(wù)。
背景介紹
AI時(shí)代,企業(yè)級云數據中心不只需要能夠提供計算、網(wǎng)絡(luò )、存儲、大數據服務(wù),還需要能夠提供如圖像識別、人臉識別、視頻內容分析,以及能夠模擬人腦進(jìn)行分析學(xué)習的深度學(xué)習等服務(wù)。
建設這樣一個(gè)既能夠提供AI服務(wù)、大數據服務(wù)、又能滿(mǎn)足企業(yè)級核心業(yè)務(wù)需要的云數據中心,它的底層基礎架構資源池究竟該如何搭建呢?
解決方案介紹
那么現在就以建設一個(gè)千臺規模的數據中心為例來(lái)進(jìn)行介紹!
首先把云數據中心的基礎設施按照業(yè)務(wù)類(lèi)型進(jìn)行劃分,如下圖的這八類(lèi)資源池,當然可以更多或更少:
高密度虛擬化計算資源池
這個(gè)比較好理解,主要是部署虛擬化。采用標準X86服務(wù)器,在單臺物理機虛擬化的基礎上增加集群的模式,將加入集群的眾多物理機進(jìn)行資源池化,統一調度管理。
虛擬化主要適用于要求資源相對較少且規格種類(lèi)多、可以重新分配調度資源的環(huán)境,便于資源的合理、充分利用,也便于后期業(yè)務(wù)擴展所需的資源動(dòng)態(tài)調整。
虛擬化計算資源包括:
通用型服務(wù)器:為運維管理、虛擬主機、內存對象緩存服務(wù)等提供基礎計算能力;
混合型服務(wù)器:為同時(shí)需要高IO和大容量存儲的云服務(wù)提供基礎計算能力,可使用SSD硬盤(pán)和SATA硬盤(pán)混搭的方式,利用SSD的高IO能力和大容量SATA磁盤(pán)各自?xún)?yōu)勢;
網(wǎng)絡(luò )型服務(wù)器:為網(wǎng)絡(luò )控制器、安全、負載均衡等高網(wǎng)絡(luò )帶寬要求的云服務(wù)提供基礎計算能力。
可根據選用虛擬化技術(shù)的不同劃分為不同的虛擬化資源池,例如VMWare和KVM兩個(gè)資源池區域。
高密度虛擬化資源池按照業(yè)務(wù)用途可以分別連接共享存儲及分布式存儲,在多個(gè)機房分別建設,其中共享存儲部分設計可以考慮具備雙活能力,分布式存儲考慮雙中心互聯(lián)。
高性能分布式計算資源池
高性能分布式計算資源池主要支撐數據倉庫、大數據處理、結構化與非結構化數據應用,此類(lèi)大數據處理操作對海量數據的查詢(xún)、檢索、分析、挖掘的性能要求高,適合用分布式并行計算框架進(jìn)行計算。
高性能分布式計算資源池,底層采用標準的X86服務(wù)器,通過(guò)部署集群管理系統,將各高性能計算資源按照集群進(jìn)行整合,承載海量數據存儲和實(shí)時(shí)查詢(xún)分析任務(wù),對外提供統一服務(wù)。
分布式計算資源包含:
計算I/O型服務(wù)器:為分布式數據庫服務(wù)、大數據計算服務(wù)等需要高I/O的云服務(wù)提供基礎計算能力;
計算存儲型服務(wù)器:為運維管理、非結構化對象存儲、離線(xiàn)計算服務(wù)等需要大容量存儲的云服務(wù)提供基礎計算能力。
高性能數據庫計算資源池
高性能數據庫計算資源池,針對傳統業(yè)務(wù)中對Oracle等高性能數據庫業(yè)務(wù)的應用需求,對服務(wù)器等硬件的CPU、內存、網(wǎng)絡(luò )和存儲性能有著(zhù)嚴格要求,從而劃分部分以物理資源為主的高性能數據庫資源區,包括物理服務(wù)器和高性能存儲陣列,為高性能需求的各類(lèi)數據庫服務(wù),以及非結構化數據存儲提供計算資源服務(wù)。
高性能數據庫資源池采用關(guān)鍵計算服務(wù)硬件架構,采用業(yè)界先進(jìn)的高速互聯(lián)設計,提供了強大的計算處理能力。系統中關(guān)鍵部件均實(shí)現容錯設計,從芯片級、鏈路級、模塊級、系統級四方面RAS特性,可靠性達99.999%以上。關(guān)鍵計算服務(wù)硬件性能強勁,穩定可靠,是信息化核心數據庫系統的理想平臺。
異構計算資源池
針對大量應用系統所需圖像處理、深度學(xué)習等人工智能技術(shù)需求,而建設的異構計算資源池集群,主要是指帶有GPU、FPGA、MIC等異構計算能力的服務(wù)器集群。
深度學(xué)習技術(shù)是需要模擬人腦進(jìn)行分析學(xué)習而構建深度神經(jīng)網(wǎng)絡(luò ),讓機器能夠像人一樣思考,需要進(jìn)行海量數據的模型訓練和推理,對計算資源要求十分巨大。
隨著(zhù)要處理數據規模的增大,GPU在高性能服務(wù)器上應用已逐漸成為現代數據中心規劃的主流,GPU已廣泛應用在圖像增強處理、圖像目標搜索、深度學(xué)習等領(lǐng)域。
分布式存儲資源池
分布式存儲基于SDS理念,在配置多塊大容量硬盤(pán)的服務(wù)器上部署存儲軟件,對外提供塊存儲、對象存儲、文件存儲功能,為業(yè)務(wù)部門(mén)提供塊存儲和非結構化數據存儲能力。
非結構化數據宜采用分布式存儲系統,典型如對圖片數據、語(yǔ)音數據等。
分布式存儲系統主要具有易擴展、超大容量及高帶寬特點(diǎn),通過(guò)軟件定義存儲引擎來(lái)承載各種軟件功能,物理硬件資源與軟件資源緊密配合,達到快速響應前端應用、存儲大量數據的目的,解決了非結構化數據的數據量較大,在存儲時(shí)對容量及系統帶寬要求較高的問(wèn)題。
統一存儲資源池
關(guān)鍵數據存儲和虛擬化重要業(yè)務(wù)應用存儲采用共用集中存儲的形式。
共享存儲基于SAN存儲實(shí)現為傳統應用提供數據庫及虛機支撐,多中心間FC鏈路互聯(lián)具備承載應用雙活的能力。
統一存儲資源池可以利用共享存儲豐富的軟件功能,在存儲端對數據進(jìn)行優(yōu)化:
1) 共享存儲具備自動(dòng)精簡(jiǎn)配置功能。
2) 共享存儲具備熱點(diǎn)數據自動(dòng)分層功能。
3) 共享存儲具備存儲虛擬化整合功能,能夠對不同的存儲孤島進(jìn)行統一整合管理,降低管理成本、提高靈活性和磁盤(pán)利用率、改進(jìn)性能、以及簡(jiǎn)化遷移等目的。
共享存儲雙活能力使數據能在數據中心之間共享、存取或移動(dòng),利用跨數據中心的存儲虛擬化功能和數據鏡像功能,結合上層應用集群,使兩個(gè)存儲系統都處于運行狀態(tài),可同時(shí)承擔相同業(yè)務(wù),提高數據中心的整體服務(wù)能力和系統資源利用率。
網(wǎng)絡(luò )資源池
網(wǎng)絡(luò )資源池采用SDN+NFV+VxLAN技術(shù),通過(guò)在通用服務(wù)器上部署網(wǎng)絡(luò )功能軟件,實(shí)現虛擬網(wǎng)絡(luò )功能,為支持OpenFlow協(xié)議的交換設備分發(fā)網(wǎng)絡(luò )配置,實(shí)現網(wǎng)絡(luò )的靈活定義。通過(guò)網(wǎng)絡(luò )資源池化和大二層技術(shù),虛擬機可以在各數據中心之間進(jìn)行無(wú)用戶(hù)感知漂移,實(shí)現網(wǎng)絡(luò )即服務(wù)。
多數據中心間采用兩家不同運營(yíng)商裸光纖互聯(lián),部署波分復用設備互聯(lián),應用跨中心集群部署,通過(guò)數據復制技術(shù)、跨中心共享存儲技術(shù)和虛擬機遷移技術(shù)來(lái)保證各中心的數據一致性和應用雙活。
安全資源池
安全資源池通過(guò)部署統一安全資源池通集成虛擬防火墻、虛擬化IPS等安全防護功能,通過(guò)軟件定義安全,實(shí)現云平臺南北向、東西向的安全防護。
客戶(hù)收益
這樣建設的好處也非常多,如:
1) 充分滿(mǎn)足AI、大數據、虛擬化、關(guān)鍵計算等企業(yè)級典型云服務(wù)業(yè)務(wù)需求;
2) 合理利用不同的硬件特點(diǎn),為不同的云服務(wù)提供底層硬件支撐;
3) 減少硬件浪費,并降低純低端硬件的不穩定性和性能風(fēng)險;
4) 兼容現有架構的業(yè)務(wù)應用系統,例如基于Oracle等開(kāi)發(fā)的業(yè)務(wù)系統;
5) 降低業(yè)務(wù)大規模改造風(fēng)險和時(shí)間成本,不必一刀切全部云化,當然如果需要直接進(jìn)行業(yè)務(wù)分布式云化改造,也可以完全支撐;
6) 適合企業(yè)級業(yè)務(wù)需求的數據中心建設架構;
……