hadoop大數(shù)據(jù)技術(shù)簡介

1、Hadoop 大數(shù)據(jù)技術(shù)簡介 大數(shù)據(jù)技術(shù)簡介Hadoop 技術(shù)簡介~ 1 ~1 傳統(tǒng)數(shù)據(jù)庫瓶頸 傳統(tǒng)數(shù)據(jù)庫瓶頸傳統(tǒng)數(shù)據(jù)庫具有不錯的性能，高穩(wěn)定性，使用簡單，功能強(qiáng)大，在過去的40 年中很好的滿足了用戶對數(shù)據(jù)存儲的需求，積累了大量的成功案例。但是隨著數(shù)據(jù)量的增長，傳統(tǒng)數(shù)據(jù)庫在應(yīng)付很多問題時已經(jīng)開始力不從心，暴露了很多難以克服的問題，例如：1）High Performance –數(shù)據(jù)高并發(fā)讀寫例如，web2.0 網(wǎng)站要根據(jù)用戶個性化信息來實(shí)

2、時生成動態(tài)頁面和提供動態(tài)信息，所以基本上無法使用動態(tài)頁面靜態(tài)化技術(shù)，因此數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬次讀寫請求。關(guān)系數(shù)據(jù)庫應(yīng)付上萬次 SQL 查詢還勉強(qiáng)頂?shù)米?，但是?yīng)付上萬次 SQL 寫數(shù)據(jù)請求，硬盤 IO 就已經(jīng)無法承受了。2）Huge storage –海量數(shù)據(jù)的高效率存儲和訪問對于大型的 SNS 網(wǎng)站，每天用戶產(chǎn)生海量的用戶動態(tài)，某些大型 web 網(wǎng)站的用戶登錄系統(tǒng)的記錄往往能夠達(dá)到上億條，對于關(guān)系數(shù)據(jù)庫來說，在上億條

3、記錄的表里面進(jìn)行 SQL 查詢，效率是極其低下乃至不可忍受的。3）High Scalabilty&& High Availabilty 數(shù)據(jù)庫高可擴(kuò)展性和高可用性在基于 web 的架構(gòu)當(dāng)中，數(shù)據(jù)庫是最難進(jìn)行橫向擴(kuò)展的，當(dāng)一個應(yīng)用系統(tǒng)的用戶量和訪問量與日俱增的時候，數(shù)據(jù)庫卻沒有辦法像 web server 和 app server 那樣簡單的通過添加更多的硬件和服務(wù)節(jié)點(diǎn)來擴(kuò)展性能和負(fù)載能力。對于很多需要提供 24 小時不