云計算與云存儲深度分析與介紹
云計算與云存儲深度分析與介紹
云的定義是,懸浮在空中,不接觸地面,肉眼可見的水滴、冰晶或二者的混合體。是指停留大氣層上的水滴或冰晶膠體的集合體。云是地球上龐大的水循環(huán)的有形的結果。太陽照在地球的表面,水蒸發(fā)形成水蒸氣,一旦水汽過飽和,水分子就會聚集在空氣中的微塵(凝結核)周圍,由此產(chǎn)生的水滴或冰晶將陽光散射到各個方向,這就產(chǎn)生了云的外觀。那網(wǎng)絡云,又有多少朋友知道或了解呢?下面學習啦小編就為大家介紹一下什么是網(wǎng)絡云,歡迎大家參考和學習。
網(wǎng)絡云 云儲存與云計算的內(nèi)外聯(lián)系
云計算是分布式處理(DistributedComputing)、并行處理(ParallelComputing)和網(wǎng)格計算(GridComputing)的發(fā)展,是透過網(wǎng)絡將龐大的計算處理程序自動分拆成無數(shù)個較小的子程序,再交由多臺服務器所組成的龐大系統(tǒng)經(jīng)計算分析之后將處理結果回傳給用戶。通過云計算技術,網(wǎng)絡服務提供者可以在數(shù)秒之內(nèi),處理數(shù)以千萬計甚至億計的信息,達到和“超級計算機”同樣強大的網(wǎng)絡服務。
云計算系統(tǒng)的建設目標是將運行在PC上、或單個服務器上的獨立的、個人化的運算遷移到一個數(shù)量龐大服務器“云”中,由這個云系統(tǒng)來負責處理用戶的請求,并輸出結果,它是一個以數(shù)據(jù)運算和處理為核心的系統(tǒng)。
云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念,是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時,云計算系統(tǒng)中就需要配置大量的存儲設備,那么云計算系統(tǒng)就轉變成為一個云存儲系統(tǒng),所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。
與云計算系統(tǒng)相比,云存儲可以認為是配置了大容量存儲空間的一個云計算系統(tǒng)。
網(wǎng)絡云
從架構模型來看,云存儲系統(tǒng)系統(tǒng)比云計算系統(tǒng)多了一個存儲層,同時,在基礎管理也多了很多與數(shù)據(jù)管理和數(shù)據(jù)安全有關的功能,在兩者在訪問層和應用接口層則是完全相同的。
云計算到底有多大?
計算機的云計算已經(jīng)舍我其誰地成為了現(xiàn)今互聯(lián)網(wǎng)發(fā)展的主題,其延伸和發(fā)展出的云存儲也當仁不讓地成為了主流的數(shù)據(jù)存儲和管理方式。云存儲系統(tǒng)正逐步成為網(wǎng)站和網(wǎng)絡服務方用于存放管理自己數(shù)據(jù)信息的主要選擇。云那頭究竟風景如何,讓我們來探個究竟。
根據(jù)科技網(wǎng)站ExtremeTech的統(tǒng)計,整個互聯(lián)網(wǎng)的下載流量中,有40%是訪問YouTube這樣的視頻網(wǎng)站產(chǎn)生的;色情網(wǎng)站則占了另一大山頭,占據(jù)整體流量的30%;剩下的30%由網(wǎng)絡硬盤數(shù)據(jù)下載、訪問網(wǎng)址、電子郵件等日常網(wǎng)絡服務產(chǎn)生。當電腦前的人們從互聯(lián)網(wǎng)上獲取信息時,大概沒有人會去關注信息究竟來自何處。如果大家順藤摸瓜,便可以發(fā)現(xiàn)這些信息中的絕大部分都來源于互聯(lián)網(wǎng)的云端。
如今提供云存儲服務的服務商不僅有亞馬遜(旗下Amazon Web Services),微軟(旗下Microsoft Azure)和谷歌(旗下Google Drive)這樣的網(wǎng)絡巨頭,還有成百上千的小公司機構。他們中或擁有一整個數(shù)據(jù)中心,或只有幾個機箱的存儲設備,規(guī)模參差不齊。從這些大大小小的公司身上我們大可窺探整個云儲存產(chǎn)業(yè)的火爆程度。
云計算因其出眾的能力備受青睞,它可以最快的效率為網(wǎng)絡中的任何一方提供相關服務。谷歌麾下單單一個為YouTube服務的“云團”就可以存儲管理幾個PB(1PB=1024TB)的數(shù)據(jù)。云計算可以有幾TB的RAM與幾千核的CPU,遠非傳統(tǒng)計算機可比。而云計算延伸發(fā)展出的云存儲又究竟有著怎樣的魅力,引得谷歌、微軟和Dropbox這樣的巨頭競相折腰?讓我們從數(shù)據(jù)入手。
云存儲數(shù)據(jù)規(guī)模
通常,谷歌、Facebook、亞馬遜和微軟這樣的大公司都很少對外發(fā)布自己的詳細數(shù)據(jù)。不過如果用心去多方核查,還是可以得到一些大概的數(shù)值,F(xiàn)acebook:在Facebook的IPO檔案中,他們提到自己存儲著約為100PB的圖片及視頻信息。如果考慮了Facebook還要對用戶狀態(tài)這些信息進行網(wǎng)絡備份,我們猜測100PB絕對不是他們的存儲上限。這里,把這個數(shù)值估為300PB應該不為過。
微軟:微軟近日承認自己的Hotmail服務器內(nèi)存有超過100PB的信息,而有著1700萬用戶的SkyDrive也存有10PB的信息。合理預測整個微軟的存儲規(guī)模應該不在Facebook之下,我們也把它的存儲上限估為300PB。
Megaupload:和上面兩個網(wǎng)絡巨頭相比Megaupload自然是小巫見大巫,不過它在業(yè)內(nèi)確也有著一席之地,算是25PB吧。亞馬遜:亞馬遜旗下有Simple Storage Service這一網(wǎng)絡儲存服務(簡稱S3)。亞馬遜從來沒有向公眾透露過S3究竟存有多大規(guī)模的數(shù)據(jù)量,不過今年四月他們卻對外宣布S3中存有9050億份文件。假設平均每份文件的大小為100KB,則S3的存儲量在90PB上下;假設平均每份文件為1MB,那么S3的存儲規(guī)模將達到900PB,它將成為唯一一個儲存規(guī)模接近1EB的服務商。
Dropbox,:去年還只有2500萬用戶的Dropbox當時對外宣布,自己存儲著逾10PB的數(shù)據(jù)。如今Dropbox的用戶數(shù)已經(jīng)上升到了一億,那么他們的存儲規(guī)模應該在40PB上下。儲存這些數(shù)據(jù)究竟多耗地方呢?我們得把這些虛擬數(shù)據(jù)的大小具體化。一臺普通電腦的硬盤平均存儲空間為500GB或者1TB,1PB=1024TB,也就是說微軟和Facebook最少也得有100000個硬盤用于存儲信息。普遍情況下,一個4U機箱內(nèi)可以塞進48個硬盤。考慮到還要塞一些其他的連接設備,那么一個40U的機柜大概可以存儲400個硬盤。
一個40U的機柜占地約為一平方米,也就是說要存儲100000個硬盤還是很占地方的。不過對于谷歌、亞馬遜、Facebook或是微軟這樣有著30000多平米大樓的地主公司來說,找個地方放機柜還是不成問題的。事實上, CPU、服務器和網(wǎng)關比硬盤要占地得多。
云帶寬要求
關于帶寬我們能獲得的數(shù)據(jù)就更加的有限了。有數(shù)據(jù)顯示去年全球內(nèi)每五分鐘都有100萬份數(shù)據(jù)被下載。今年的網(wǎng)絡用戶比去年多了3倍,那么今年每分鐘的下載數(shù)量達到了80萬的水平。亞馬遜的S3作為全球網(wǎng)絡存儲之首,對外宣布他們的服務器每秒鐘要處理的下載請求達到了65萬份。
Dropbox:假設Dropbox上每份文件(有圖片文件、視頻文件和文檔)的平均大小是500KB,那么根據(jù)Dropbox公布的數(shù)據(jù)可以推測他們服務器每分鐘的流入數(shù)據(jù)流(用戶上傳數(shù)據(jù))為0.4TB,也就是每秒6.7GB(交換帶寬54Gbps)。對于Dropbox的流出數(shù)據(jù)流(用戶從Dropbox服務器上下載文件)我們沒有詳細信息,不過可以估計帶寬大概在10-20Gbps之間。
亞馬遜S3:亞馬遜的S3主要是用于網(wǎng)站存儲數(shù)據(jù),所以文件以文字圖片、網(wǎng)站樣式文件和網(wǎng)頁視頻為主。這些文件的平均大小會小于Dropbox,假設為100KB。根據(jù)亞馬遜公布的信息,他們每秒接到650000個數(shù)據(jù)請求,那么就是每秒61GB(交換帶寬488Gbps),真是個龐然大物, Facebook及微軟:兩者的數(shù)據(jù)存儲規(guī)模都在100PB到300PB,我們估計兩者帶寬位于Dropbox和亞馬遜S3之間,暫且定為200Gbps。
云的成本分析(以Backblaze為例)
我們知道,以上云存儲服務商都不允許用戶在他們的云端下載自己的軟件,也不允許用戶在自己的云端存儲涉及自己公司硬件數(shù)據(jù)的信息。不過這個行業(yè)內(nèi)有這么一個例外,它就是Backblaze。特立獨行的Backblaze作為云備份服務提供商來說無法在規(guī)模上和上述巨頭相比,不過也別小看它,它的數(shù)據(jù)肯定會讓你大吃一驚。
Backblaze對外公布,自己管理著32PB的用戶數(shù)據(jù)。這些數(shù)據(jù)基本上都被儲存在容量為3TB容量的硬盤內(nèi)。在處理數(shù)據(jù)冗余方面,Backblaze把每15個硬盤捆綁為一個磁盤數(shù)組,每兩組用RAID 6效驗處理。RAID 6可以校驗重組硬盤傳輸?shù)臄?shù)據(jù)錯誤,同時快捷有效地恢復磁盤錯誤與讀取錯誤,這對于一個數(shù)據(jù)中心而言是至關重要的。
Backblaze的服務器以每月3PB的速度擴張,他們每一段時間新增一個135TB的定制4U數(shù)據(jù)盒(此盒內(nèi)裝置了45個3TB的硬盤)。每月3PB也就是說每月新增大概22個數(shù)據(jù)盒,相當于每月增加一個48U的機柜。每個定制數(shù)據(jù)盒的花費在7384美元,乍看起來每月添置這么多的數(shù)據(jù)盒真是一筆不小的運營支出,但這筆開銷可以算是Backblaze財務報表內(nèi)最小的一塊。電費、房租和帶寬開銷才是主要的資金負擔,這些費用保持著與時俱進的態(tài)度漲個不停。
Backblaze公司的電費是0.2美元每千瓦時,每個數(shù)據(jù)盒的每月電費就要100美元。由此可見一個數(shù)據(jù)中心要負擔的電費是相當高昂的,所以多數(shù)網(wǎng)絡公司都選址建于電費相對低廉的地區(qū),比如美國的俄勒岡州(Oregon)。Backblaze并沒有屬于自己的數(shù)據(jù)中心,他們租用第三方的數(shù)據(jù)中心存放自己的服務器,也就是說他們每個月還要負擔房租開銷(每個機柜平攤下來月房租為1000美金)。目前Backclaze手下約有300個數(shù)據(jù)盒,40個機柜,也就是說每月的電費為30000美元,房租為40000美元。
然后就是帶寬的費用了。Backblaze一直采用12Gbps的境內(nèi)帶寬(每秒傳輸速度約為1.5GB)和500Mpbs的境外帶寬(每秒傳輸速度約為62.5MB)。之所以兩條線路速度不同是因為Backblaze作為一家提供云備份服務的公司,客戶主要分布在美國國內(nèi)。但500Mbps的帶寬是非常不流暢的,我們可以想象境外用戶在使用Backblaze時的網(wǎng)絡很不理想。
目前Backblaze每天要接受約一億份來自用戶的文件,折合每年365億份。數(shù)字顯示了一個很驚人的發(fā)展速度,因為這個數(shù)字在2011年還僅僅只有6億。我們不知道一臺計算機具體能夠儲存多少文件,但按照每臺5000個文件估算(不包括Windows系統(tǒng)文件及program files文件夾文件),保守估計至少有120000臺計算機在Backclaze上做了文件備份。
在Backblaze的初創(chuàng)期,他們每月每Mbps的帶寬費用是30美元,不過現(xiàn)在這個開銷已經(jīng)下降到每月每Mbps 2美元了。估算公司每月負擔的帶寬費用在25000美元上下。如果Backblaze選擇更為廉價的帶寬服務商,并且建立屬于自己的數(shù)據(jù)中心而不是租用別人的地皮,公司的費用還有很大的下行空間。綜上所述,合理地考慮房租、帶寬開銷和用電費用后,運營一個40PB規(guī)模的“云團”(不計員工工資)每月要耗費10萬美元。
云的收益分析
以微軟、谷歌和Dropbox為代表的大批公司都爭先恐后地入駐云儲存領域。為占領市場份額,各公司之間所做的激烈競爭也是路人皆知。各方英雄鹿逐中原究竟為何原因,看了以下數(shù)字你就知道了。以Backblaze為例,Backblaze提供的無限空間網(wǎng)絡備份服務每月收費5美元。上文推導得出該公司每月負擔的費用在10萬美元上下(不計員工工資),也就是說為了達到收益——支出平衡它需要20000個用戶。Backblaze究竟有多少用戶我們不得而知,不過公司的CEO對外宣稱公司是很賺錢的。(Backblaze只有13個員工,順便說一下,他們沒有被拖欠工資)
Dropbox公司可以做一個更好的例子。Dropbox提供的50GB網(wǎng)絡存儲服務收費為每年100美元。與Backblaze不同,Dropbox沒有屬于自己的信息存儲設備,他們連設備都是租的。Dropbox把自己的數(shù)據(jù)存儲在亞馬遜的S3服務器中,儲存規(guī)模達到了40PB。對于存儲規(guī)模在5PB以上的客戶,亞馬遜的收費標準為每月每GB0.055美元。
假設購買了Dropbox50GB容量存儲服務的普通客戶平均在云端存有25GB文件,那么Dropbox每月要為每一個客戶支付給亞馬遜1.38美元,而他們每月可以從客戶手上拿到近10美元。這樣的利潤是可觀的,但事實上像微軟Skydrive、谷歌Drive和亞馬遜S3這樣自己擁有數(shù)據(jù)中心的云存儲服務商能到手的收入比這更多。
話說回來以上利潤估值只是一個理想值,它建立在用戶為付費用戶的前提之上。然而在現(xiàn)實中有很多人只選擇了免費的云儲存服務。Dropbox有一億客戶,其中的絕大部分都是非付費用戶,付費用戶的數(shù)字相當有限。所以他們到手的利潤也沒有理想中那么豐厚。
云時代
對于各大企業(yè)來說,入駐云儲存領域更大的動機還是出于發(fā)展戰(zhàn)略的考慮。谷歌和微軟兩個老對手已經(jīng)把云計算作為了他們的下一個戰(zhàn)場。微軟可能會將云計算服務于Windows 8系統(tǒng),屆時用戶只需登錄自己的網(wǎng)絡賬戶就可以把計算機上所有的文件和設置同步到云端,此時的“個人電腦”將成為一個全新的概念,它將不再依托于我們面前的電腦設備,用戶可以隨意更換電腦,甚至只要用任何一臺可以上網(wǎng)的機器(比如PS 3)連接進入自己的賬戶,就可以使用屬于自己的“電腦”。
谷歌也會把自己的Chrome系統(tǒng)打造為“云上系統(tǒng)”,完全地基于網(wǎng)絡。不僅是Chrome,新的安卓系統(tǒng)也會朝著云計算的方向靠近。在不遠的將來谷歌會把自己旗下的一系列產(chǎn)品通過計算機云整合起來,建立一個全新的“云時代”。
最終,這些網(wǎng)絡巨頭將把移動設備和個人電腦通過計算機云融為一體。用戶如果習慣使用谷歌的辦公和數(shù)據(jù)存儲系統(tǒng),他可以使用Chrome系統(tǒng)加上安卓手機,因為這兩者已經(jīng)通過谷歌的計算機云合為一體。用戶如果鐘情于微軟的辦公及數(shù)據(jù)儲存系統(tǒng),那么Windows 8加Windows Phone 7就是他最好的選擇。
如今的蘋果也已經(jīng)推出了iCloud服務,用戶使用任何一臺iPad、iPhone 4S或是Mac Pro和Mac Air登陸自己的iCloud賬戶都可以把相當一部分的信息上傳到云端,云儲存幫助蘋果打通了設備之間的隔閡。等到微軟、谷歌和蘋果都把計算機云整合到自己的操作系統(tǒng)內(nèi)部,建立起屬于自己的網(wǎng)絡軍團時,不知Dropbox這樣的孤兵散將又該何去何從。