LINUX的集群系統(tǒng)簡介及現(xiàn)狀
2012-08-22 15:10:10 來源:比特網(wǎng)
摘要: 從早期的變址寄存器、通用寄存器、程序中斷和 I/O通道等概念,到虛擬存儲器、Cache存儲器、微程序設(shè)計、系列機、基于總線的多CPU系統(tǒng)、向量處理機等概念,發(fā)展到64位RISC處理器、基于 MPP、NUMA、集群等體系結(jié)構(gòu)的可伸縮并行處理系統(tǒng),計算機系統(tǒng)技術(shù)也取得了突飛猛進(jìn)的發(fā)展。
關(guān)鍵字: 存儲器,CPU,RISC處理器,計算機系統(tǒng)
第一臺計算機問世已經(jīng)半個世紀(jì)了,在這期間計算機技術(shù)經(jīng)歷了五次更新?lián)Q代。更新?lián)Q代的標(biāo)志主要有兩個:一個是計算機的器件,另一個是系統(tǒng)體系結(jié)構(gòu)。從第一代到第五代計算機,器件發(fā)生了根本的變化:從電子管、晶體管發(fā)展到集成電路,而集成電路又經(jīng)小規(guī)模、中規(guī)模、大規(guī)模、非常大規(guī)模等階段發(fā)展到超大規(guī)模階段。系統(tǒng)體系結(jié)構(gòu)的不斷改進(jìn),許多重要的概念的不斷提出并且得到實現(xiàn),推動計算機技術(shù)向更高的層次發(fā)展。從早期的變址寄存器、通用寄存器、程序中斷和 I/O通道等概念,到虛擬存儲器、Cache存儲器、微程序設(shè)計、系列機、基于總線的多CPU系統(tǒng)、向量處理機等概念,發(fā)展到64位RISC處理器、基于 MPP、NUMA、集群等體系結(jié)構(gòu)的可伸縮并行處理系統(tǒng),計算機系統(tǒng)技術(shù)也取得了突飛猛進(jìn)的發(fā)展。
將多臺同構(gòu)或異構(gòu)的計算機連接起來協(xié)同完成特定的任務(wù)就構(gòu)成了集群系統(tǒng)。早在二十世紀(jì)七八十年代,Digital equipment公司和Tandem計算機公司就開始了集群系統(tǒng)的研究與開發(fā)工作。
集群系統(tǒng)主要分為兩種:
高可用性集群和高性能集群。
高可用性集群的主要功能就是提供不間斷的服務(wù)。有許多應(yīng)用程序都必須一天二十四小時地不停運轉(zhuǎn),如所有的web服務(wù)器、工業(yè)控制器、ATM、遠(yuǎn)程通訊轉(zhuǎn)接器、醫(yī)學(xué)與軍事監(jiān)測儀以及股票處理機等。對這些應(yīng)用程序而言,暫時的停機都會導(dǎo)致數(shù)據(jù)的丟失和災(zāi)難性的后果。
高性能集群通過將多臺機器連接起來同時處理復(fù)雜的計算問題。模擬星球附近的磁場、預(yù)測龍卷風(fēng)的出現(xiàn)、定位石油資源的儲藏地等情況都需要對大量的數(shù)據(jù)進(jìn)行處理。傳統(tǒng)的處理方法是使用超級計算機來完成計算工作,但是超級計算機的價格比較昂貴,而且可用性和可擴(kuò)展性不夠強,因此集群成為了高性能計算領(lǐng)域矚目的焦點。
集群系統(tǒng)采用的操作系統(tǒng)主要有VMS、UNIX、WindowsNT和Linux.
美國DEC公司(Digital Equipment Corporation)開發(fā)的VMScluster系統(tǒng)開發(fā)最早,技術(shù)也很成熟,應(yīng)用也很廣泛,但由于VMS操作系統(tǒng)只能在DEC公司的VAX系列和Alpha系列服務(wù)器上運行,VMScluster的應(yīng)用受到很大限制。
UNIX是服務(wù)器或工作站上普遍使用的操作系統(tǒng),它運行穩(wěn)定、安全性也比較好,因此許多大的公司都采用了基于UNIX的集群系統(tǒng)解決方案,如DEC、 HP、SUN、IBM、NCR和DG等公司,其中在國內(nèi)影響比較大的主要是DEC、HP、SUN和IBM.其中DEC公司的Trucluster系統(tǒng)提供了由4臺Digital Alpha Server組成的集群系統(tǒng),它集高可靠性、高可用性和易管理性于一身,是關(guān)鍵業(yè)務(wù)計算機系統(tǒng)的理想解決方案。
基于WindowsNT的集群系統(tǒng)解決方案廠商主要有Mircrosoft和DEC.Microsoft于1995年就開始了集群系統(tǒng)的開發(fā)工作。 Windows 2000中已經(jīng)增加了集群功能,該高可用性集群叫做WolfPack,也叫做Microsoft Cluster Server (MCS)。它主要是在企業(yè)級對基于Windows NT服務(wù)器的應(yīng)用程序提供可用性和可升級性。WolfPack現(xiàn)在支持兩個服務(wù)器,一個用來對用戶提供服務(wù),另一個作為備份服務(wù)器使用。 Microsoft下一步的目標(biāo)是將WolfPack支持的節(jié)點數(shù)擴(kuò)展到16個。Wolfpack的缺陷在于:它只提供了兩個節(jié)點的失敗恢復(fù)功能,而沒有采用復(fù)雜的應(yīng)用程序資源管理功能,因此在一定程度上影響了系統(tǒng)的高可用性、高可靠性和可升級性。Wolfpack不能支持多種操作系統(tǒng),而只能運行于 Windows NT操作系統(tǒng)上。由于WindowsNT操作系統(tǒng)本身在穩(wěn)定性、大型并行計算上與UNIX系統(tǒng)存在較大差距,目前主要在中小型系統(tǒng)上應(yīng)用。但是隨著 WindowsNT系統(tǒng)走向成熟,基于WindowsNT的計算機集群系統(tǒng)將獲得更廣泛的應(yīng)用。
九十年代末期,Linux操作系統(tǒng)不斷走向成熟,它的健壯性不斷增強,并且提供了GNU軟件和標(biāo)準(zhǔn)化的PVM、MPI消息傳遞機制,最重要的是Linux在普通PC機上提供了對高性能網(wǎng)絡(luò)的支持,這樣就大大推動了基于Linux的集群系統(tǒng)的發(fā)展。
Turbolinux公司推出了能夠顯著地提高基于TCP/IP協(xié)議的多種網(wǎng)絡(luò)服務(wù)的服務(wù)質(zhì)量的高可用性集群系統(tǒng)Turbocluster.Red Hat也提供了基于Linux Virtual Server思想構(gòu)建的高可用性集群系統(tǒng)Piranha.由Ericsson軟件工程研究中心開發(fā)的高可用性集群系統(tǒng)Eddie的主要目的是提供一個商業(yè)級的,能提供較好的服務(wù)質(zhì)量的web服務(wù)器的解決方案。
Platform公司開發(fā)的高可用性集群系統(tǒng)Lsf提供了分布式集群系統(tǒng)的解決方案,通過將物理上分離的多個集群連接在一起使使多個同構(gòu)或異構(gòu)的計算機能夠通過局域網(wǎng)或廣域網(wǎng)共享計算資源,并能夠為用戶提供對資源的透明訪問。
高性能集群系統(tǒng)MOSIX為Linux核心增添了集群計算的功能。在MOSIX集群環(huán)境中,用戶無需對應(yīng)用程序進(jìn)行修改,或?qū)?yīng)用程序與庫連接起來,或?qū)?yīng)用程序分配到不同的節(jié)點上運行。MOSIX會自動將這些工作透明地交給別的節(jié)點來執(zhí)行。
日本的F5公司開發(fā)出了高可用性集群BIG-IP,它是使用于本地網(wǎng)絡(luò)站點或數(shù)據(jù)中心的高可用的、智能化的負(fù)載平衡產(chǎn)品,它提供了對網(wǎng)絡(luò)流量的自動和智能的管理。與前幾種集群系統(tǒng)不同的是,BIG-IP向用戶提供的是一個即插即用設(shè)備,而其它的提供的都是軟件方法。
IBM、Microsoft和Intel于2000年7月聯(lián)合發(fā)布了一種高可用性服務(wù)器集群軟件及硬件包,這種服務(wù)器集群的配置包括32臺IBM Netfinity 8500R及Intel Pentium Ⅲ Xeon處理器,運行IBM的DB2 Universal Database和Microsoft Windows 2000 Advanced Server操作系統(tǒng),每分鐘可以執(zhí)行440879次交易。這套系統(tǒng)面向數(shù)據(jù)密集的應(yīng)用,特別是B2B、電子商務(wù)和企業(yè)資源規(guī)劃領(lǐng)域。
在科學(xué)計算領(lǐng)域中,人們開始把注意力投向通過普通PC機或工作站的集群來代替昂貴的超級計算機。比較成功的例子是高性能集群系統(tǒng)Beowulf,它最初是由NASA的Goddard Flight Center進(jìn)行開發(fā)的,主要目的是支持大規(guī)模的科學(xué)計算問題,如地球和太空科學(xué)面臨的一些計算問題。
國內(nèi)也有不少公司進(jìn)行了集群系統(tǒng)的研究和開發(fā)工作。
聯(lián)想公司在1999年9月推出了用于分布式高性能計算的NS10000高性能集群服務(wù)器,該系統(tǒng)是一個四節(jié)點的系統(tǒng),主要基于聯(lián)想萬全4500R服務(wù)器,以總體成本相對較低的設(shè)備組合,足以替代傳統(tǒng)RISC小型機和中型機的工作,而價格僅為市場上同等性能小型機的1/2——1/4.
朗新公司也推出了類似于Turbocluster的高可用性集群系統(tǒng)LongShine Cluster Server.
1999年9月20日,中國第一家專業(yè)面向Linux高端應(yīng)用市場的集群網(wǎng)絡(luò)有限公司推出了國內(nèi)首例Linux安全集群系統(tǒng)。它是國內(nèi)第一個通過公安部認(rèn)證的安全Linux系統(tǒng),而其集群技術(shù)也已應(yīng)用于諸多國際著名網(wǎng)站,如Linux的門戶linux.com">www.linux.com、英國國家JANET Cache網(wǎng)、奧地利的入口站點和瑞士電信等。其核心代碼也已被納入美國Red Hat Linux發(fā)布版的核心。
中國自主開發(fā)研制的集群式高性能計算機集群系統(tǒng)"自強2000-SUHPCS"于2000年9月在上海大學(xué)問世。這一系統(tǒng)的峰值速度達(dá)到每秒3000億次浮點操作。是當(dāng)前中國國內(nèi)集群式高性能計算機系統(tǒng)中速度最快的。
本文為嗶哥嗶特資訊原創(chuàng)文章,未經(jīng)允許和授權(quán),不得轉(zhuǎn)載,否則將嚴(yán)格追究法律責(zé)任;
“廣闊天地,大有作為!”談及公司去年的表現(xiàn),國產(chǎn)存儲器巨頭江波龍用這句話進(jìn)行了總結(jié)。
這種存儲器經(jīng)過專門優(yōu)化,適合在電池供電的小型電子設(shè)備中使用。健身追蹤器、智能耳機、健康監(jiān)測儀、無人機和 GPS 導(dǎo)航等新型可穿戴應(yīng)用及工業(yè)應(yīng)用不斷涌現(xiàn),有助于實現(xiàn)精準(zhǔn)跟蹤、記錄關(guān)鍵信息、增強安全性、降低噪聲等更多功能。
互聯(lián)網(wǎng)盛行以來,數(shù)據(jù)信息均可通過網(wǎng)絡(luò)向世界各個角落散播,信息永遠(yuǎn)是一個無法固定的變量,但我們?nèi)粝胍谶@些信心當(dāng)中存儲自己的記憶,網(wǎng)絡(luò)存儲技術(shù)是必不可少的,據(jù)悉,印度存儲器來襲,更關(guān)鍵的是,這也是該國首個儲存技術(shù)。
三星電子不僅是手機生產(chǎn)商,作為全韓最大的電子工業(yè)企業(yè),同時還涉及到IT、移動通信以及半導(dǎo)體業(yè)務(wù),今年初三星帶來了一款高帶寬存儲器產(chǎn)品,值得一提的是,這可是業(yè)界第一款懂AI的存儲器產(chǎn)品。
受惠與全球5G市場的發(fā)展,再加上全球疫情趨緩,全球存儲器事業(yè)逐漸恢復(fù)合理化。存儲器需求以及價格都在增漲。全球DRAM市場格局三分天下,其中韓國企業(yè)在DRAM市場與NAND Flash市場中占據(jù)較大份額,可見韓國廠商在DRAM,NAND Flash兩類數(shù)據(jù)存儲器產(chǎn)業(yè)鏈影響力突出。
提及飛秒激光這種技術(shù),人們往往只會想到與眼睛有關(guān)的近視手術(shù),現(xiàn)如今,運用飛秒激光近視手術(shù)以幫助患者恢復(fù)正常視力的案例在國內(nèi)外都并非新鮮事了,可沒想到這種技術(shù)竟與存儲器搭上了線,而今取得重要進(jìn)展。
第一時間獲取電子制造行業(yè)新鮮資訊和深度商業(yè)分析,請在微信公眾賬號中搜索“嗶哥嗶特商務(wù)網(wǎng)”或者“big-bit”,或用手機掃描左方二維碼,即可獲得嗶哥嗶特每日精華內(nèi)容推送和最優(yōu)搜索體驗,并參與活動!
發(fā)表評論