大數(shù)據(jù)的形成是因?yàn)樵丛床粩喈a(chǎn)生的數(shù)據(jù)。在高容量環(huán)境中，數(shù)據(jù)輸入的速度非常快，但仍然需要進(jìn)行分析和存儲(chǔ)?！ oltDB公司軟件架構(gòu)師
大數(shù)據(jù)的形成是因?yàn)樵丛床粩喈a(chǎn)生的數(shù)據(jù)。在高容量環(huán)境中，數(shù)據(jù)輸入的速度非?？欤匀恍枰M(jìn)行分析和存儲(chǔ)。
VoltDB公司軟件架構(gòu)師John Hugg建議，我們不應(yīng)該簡(jiǎn)單地存儲(chǔ)數(shù)據(jù)以便以后進(jìn)行分析，我們應(yīng)該實(shí)現(xiàn)這樣的情況，當(dāng)數(shù)據(jù)被輸入時(shí)就可以被分析，同時(shí)通過(guò)Apache Kafka等工具來(lái)保持很高的輸入率。
十幾年前，我們幾乎不可能使用商品硬件來(lái)分析PB級(jí)歷史數(shù)據(jù)?，F(xiàn)在，通過(guò)數(shù)千個(gè)節(jié)點(diǎn)構(gòu)建的Hadoop集群非常常見(jiàn)。Hadoop等開(kāi)源技術(shù)讓我們看到了如何使用商品和虛擬化硬件來(lái)有效處理PB級(jí)數(shù)據(jù)，并且這種技術(shù)可以很容易地實(shí)現(xiàn)。因此，大數(shù)據(jù)開(kāi)始出現(xiàn)。
現(xiàn)在我們正看到一個(gè)類(lèi)似的數(shù)據(jù)革命的發(fā)生，即所謂的快數(shù)據(jù)(Fast Data)。首先，讓我們看看快數(shù)據(jù)的定義。大數(shù)據(jù)是指以驚人速度產(chǎn)生的大量數(shù)據(jù)，例如點(diǎn)擊數(shù)據(jù)、金融股票數(shù)據(jù)、日志聚集或者
傳感器數(shù)據(jù)。通常情況下，這些事件每秒發(fā)生數(shù)千或數(shù)萬(wàn)次。無(wú)怪乎這種類(lèi)型的數(shù)據(jù)通常被稱(chēng)為“水龍管”。
對(duì)于大數(shù)據(jù)，我們并不是以數(shù)據(jù)倉(cāng)庫(kù)熟悉的千兆字節(jié)、TB和PB級(jí)來(lái)測(cè)量數(shù)據(jù)，我們是從時(shí)間的角度來(lái)計(jì)算：每秒多少M(fèi)B、每小時(shí)多少GB或者每天多少TB。我們談?wù)摰氖撬俣纫约叭萘?，這是大數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)之間的核心差異。大數(shù)據(jù)不僅大，而且很快。
快速移動(dòng)的數(shù)據(jù)被轉(zhuǎn)儲(chǔ)到HDFS(分析型RDBMS)，大數(shù)據(jù)的好處就失去了，因?yàn)楫?dāng)事情發(fā)生時(shí)，我們將無(wú)法發(fā)出警報(bào)。大數(shù)據(jù)代表著活躍數(shù)據(jù)、即時(shí)狀態(tài)。而數(shù)據(jù)倉(cāng)庫(kù)則是通過(guò)分析歷史數(shù)據(jù)來(lái)了解過(guò)去和預(yù)測(cè)未來(lái)。
對(duì)數(shù)據(jù)進(jìn)行即時(shí)分析被認(rèn)為是昂貴且不切實(shí)際的，特別是在商用硬件上。而快數(shù)據(jù)的價(jià)值在于，重新規(guī)劃消息隊(duì)列和流媒體系統(tǒng)(例如開(kāi)源Kafka和Storm)，并通過(guò)引入開(kāi)源NoSQL和NewSQL產(chǎn)品，重新構(gòu)建數(shù)據(jù)庫(kù)的部署。
從快數(shù)據(jù)獲取價(jià)值
從輸入數(shù)據(jù)獲得價(jià)值的最好方法是在它達(dá)到的瞬間做出反應(yīng)。如果你在批量處理輸入數(shù)據(jù)，你已經(jīng)失去了最佳時(shí)機(jī)和數(shù)據(jù)中的價(jià)值。
為了處理以每秒數(shù)千到數(shù)百萬(wàn)事件的數(shù)據(jù)，你將需要兩種技術(shù)：首先，你需要能夠快速提供事件的流系統(tǒng);其次，能夠快速處理每個(gè)數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)。
快遞快數(shù)據(jù)
在過(guò)去幾年出現(xiàn)了兩個(gè)流行的流媒體：Apache Storm和Apache Kafka。Storm最初是由Twitter的工程團(tuán)隊(duì)開(kāi)發(fā)，它可以穩(wěn)定地處理每秒數(shù)百萬(wàn)的數(shù)據(jù)流。Kafka則是由LinkedIn的工程團(tuán)隊(duì)開(kāi)發(fā)，這是一個(gè)高度分布式消息隊(duì)列系統(tǒng)。這兩個(gè)流系統(tǒng)都解決了處理快數(shù)據(jù)的需求。不過(guò)，Kafka有些不同。
Kafka被設(shè)計(jì)為一個(gè)消息隊(duì)列，并能夠解決現(xiàn)有技術(shù)的已知問(wèn)題。這是具有無(wú)限可擴(kuò)展性、分布式部署、多租戶和強(qiáng)大持久性的雙重隊(duì)列。企業(yè)可以部署一個(gè)Kafka集群來(lái)滿足其所有消息隊(duì)列需求。在其核心，Kafka可以傳遞消息。它并不支持任何形式的處理或查詢。
處理快數(shù)據(jù)
消息傳遞只是解決方案的一部分。傳統(tǒng)關(guān)系型數(shù)據(jù)往往在性能方面受到限制，有些可能能夠以高速率存儲(chǔ)數(shù)據(jù)，但它們無(wú)法實(shí)時(shí)驗(yàn)證或操作數(shù)據(jù)。NoSQL系統(tǒng)可以提供集群和高性能，但犧牲了傳統(tǒng)SQL系統(tǒng)提供的動(dòng)力和安全性。對(duì)于基本的大數(shù)據(jù)處理，NoSQL解決方案可能會(huì)滿足你的業(yè)務(wù)需求。然而，如果你試圖執(zhí)行復(fù)雜的查詢和業(yè)務(wù)邏輯操作，內(nèi)存NewSQL解決方案可以滿足你的需求，無(wú)論是在性能還是事務(wù)的復(fù)雜性方面。
與Kafka一樣，一些NewSQL系統(tǒng)建立在無(wú)共享集群的基礎(chǔ)上。負(fù)載分布在集群節(jié)點(diǎn)之間，以確保性能。數(shù)據(jù)復(fù)制在集群節(jié)點(diǎn)之間復(fù)制，以確保安全性和可用性。為了處理增加的負(fù)載，節(jié)點(diǎn)可以透明地添加到集群。節(jié)點(diǎn)可能被刪除，或者出現(xiàn)故障，而其他集群可以繼續(xù)運(yùn)作。該數(shù)據(jù)庫(kù)和消息隊(duì)列并沒(méi)有單點(diǎn)故障。這些功能是可擴(kuò)展系統(tǒng)的特點(diǎn)。
此外，Kafka和一些NewSQL系統(tǒng)能夠利用集群和動(dòng)態(tài)拓?fù)鋪?lái)擴(kuò)展。Kafka提供消息排序保證，而一些內(nèi)存處理引擎則提供序列化一致性和ACID語(yǔ)義。這些系統(tǒng)都是用集群感知客戶端來(lái)提供更多功能或者簡(jiǎn)化配置。最后，它們都通過(guò)不同機(jī)器的磁盤(pán)來(lái)實(shí)現(xiàn)冗余耐用性，而不是RAID或其他本地存儲(chǔ)方案。
大數(shù)據(jù)工具包
對(duì)于處理大數(shù)據(jù)，你需要怎樣的系統(tǒng)?
具有本地?zé)o共享集群的冗余性和可擴(kuò)展含蓄優(yōu)勢(shì)的系統(tǒng)
依靠?jī)?nèi)存存儲(chǔ)和處理來(lái)實(shí)現(xiàn)每節(jié)點(diǎn)高吞吐量的系統(tǒng)
在數(shù)據(jù)輸入時(shí)處理數(shù)據(jù)的系統(tǒng)。系統(tǒng)是否能執(zhí)行條件邏輯?是否能夠查詢千兆字節(jié)或更多現(xiàn)有狀態(tài)來(lái)通知決策?
隔離操作以及對(duì)其操作作出有力保障的系統(tǒng)。這允許用戶編寫(xiě)更簡(jiǎn)單的代碼，專(zhuān)注于業(yè)務(wù)問(wèn)題，而不是處理并發(fā)問(wèn)題或數(shù)據(jù)分歧。有些系統(tǒng)提供一致性，但是極大地降低了系統(tǒng)性能。
具有這些特定的系統(tǒng)源自于NewSQL、NoSQL和Hadoop社區(qū)，但不同的系統(tǒng)會(huì)有自己的優(yōu)點(diǎn)和缺點(diǎn)。對(duì)于想要實(shí)時(shí)對(duì)數(shù)據(jù)采取行動(dòng)的企業(yè)，這些工具可以減少理解大量數(shù)據(jù)的復(fù)雜性。
Kafka提供了安全的高可用的方法來(lái)在不同生產(chǎn)者和消費(fèi)者之間移動(dòng)數(shù)據(jù)，同時(shí)提供了性能來(lái)讓管理員放心。內(nèi)存數(shù)據(jù)庫(kù)可以提供完整的關(guān)系型引擎，具有強(qiáng)大的事務(wù)邏輯、計(jì)數(shù)和聚合，都具有足夠的可擴(kuò)展性來(lái)滿足任何負(fù)載。這種系統(tǒng)不僅是作為一種關(guān)系型數(shù)據(jù)庫(kù)，這種系統(tǒng)還可以作為補(bǔ)充Kafka的消息基礎(chǔ)設(shè)施的處理引擎。 無(wú)論你的企業(yè)需求如何，這些工具可以幫助你更快地了解數(shù)據(jù)。
免責(zé)聲明：本站所使用的字體和圖片文字等素材部分來(lái)源于互聯(lián)網(wǎng)共享平臺(tái)。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的，皆為無(wú)意。如您是字體廠商、圖片文字廠商等版權(quán)方，且不允許本站使用您的字體和圖片文字等素材，請(qǐng)聯(lián)系我們，本站核實(shí)后將立即刪除！任何版權(quán)方從未通知聯(lián)系本站管理者停止使用，并索要賠償或上訴法院的，均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索，將不予任何的法律和經(jīng)濟(jì)賠償！敬請(qǐng)諒解！
粵公網(wǎng)安備 44030402000264號(hào)
