在Quantivo，Joe及其同事已經(jīng)“探索了許多方法來部署Hadoop用于回答分析型查詢”，直到最后，“它變得好像是用一個錘子來建造一個房屋的運動”，這并不是不可能，但是帶來了“不必要的痛苦和可笑的低效成本”。
Joe 從五個方面分析了為什么數(shù)據(jù)分析不使用Hadoop的理由：
1：“Hadoop是一個框架，不是一個解決方案”
他認(rèn)為在解決大數(shù)據(jù)分析的問題上人們誤認(rèn)為Hadoop可以立即有效工作，而實際上“對于簡單的查詢，它是可以的。但對于難一些的分析問題，Hadoop會迅速敗下陣來，因為需要你直接開發(fā)Map/Reduce代碼。出于這個原因，Hadoop更像是J2EE編程環(huán)境而不是商業(yè)分析解決方案。” 所謂框架意味著你一定要在之上做個性化和業(yè)務(wù)相關(guān)的開發(fā)和實現(xiàn)，而這些都需要成本。
2：“Hadoop的子項目Hive和Pig 都不錯，但不能逾越其架構(gòu)的限制。”
Joe提出“Hive 和Pig 都是幫助非專業(yè)工程師快速有效使用Hadoop的完善工具，用于把分析查詢轉(zhuǎn)換為常用的SQL或Java Map/Reduce 任務(wù)，這些任務(wù)可以部署在Hadoop環(huán)境中。”其中Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，它可以幫助實現(xiàn)數(shù)據(jù)匯總、即時查詢以及分析存儲在Hadoop兼容的文件系統(tǒng)的大型數(shù)據(jù)集等。而Pig是并行計算的高級數(shù)據(jù)流語言和執(zhí)行框架。但作者認(rèn)為“Hadoop的Map/Reduce框架的一些限制，會導(dǎo)致效率低下，尤其是在節(jié)點間通信的情況(這種場合需要排序和連接)。”
3：“部署是很方便，快捷而且免費，但在后期維護(hù)和開發(fā)方面成本很高 ”
Joe不否認(rèn)“工程師可以在一個小時內(nèi)下載、安裝并發(fā)布一個簡單的查詢，因此Hadoop是非常受歡迎的。而且作為沒有軟件成本的開源項目使得它是替代甲骨文和Teradata的一個非常有吸引力的選擇。但是就像很多通用開源框架一樣，它并不會完全適配你的業(yè)務(wù)，因此，要想把開源框架業(yè)務(wù)化，你就不得不投入開發(fā)和維護(hù)。”Joe 也認(rèn)為“一旦當(dāng)你進(jìn)入維護(hù)和開發(fā)階段，Hadoop的真正成本就會變得很明顯。”
4：“對于大數(shù)據(jù)流水線和匯總非常有效，但對應(yīng)用于特定的分析來說是非?？膳碌摹?rdquo;
“Hadoop擅長于大量數(shù)據(jù)的分析和匯總，或把原始數(shù)據(jù)轉(zhuǎn)化成對另一個應(yīng)用程序(如搜索或文本挖掘)更有效的東西‘流水線’- 這是它存在的意義。不過，如果你不知道要分析的問題，或如果你想探索數(shù)據(jù)的模式，Hadoop的很快變得不可收拾。“這再次回到了業(yè)務(wù)本身，框架是為業(yè)務(wù)服務(wù)的，即便是大數(shù)據(jù)的分析和匯總，也難以脫離其數(shù)據(jù)的業(yè)務(wù)特性。所以對于特定的分析，仍然不得不在編程和執(zhí)行MapReduce代碼上花很多時間才能達(dá)到目的。
5：“性能除了‘不好’的時候都很好。”
“當(dāng)你需要分析大量的數(shù)據(jù)時，Hadoop允許你通過數(shù)千個節(jié)點并行計算，這一點上其潛力很大。但是，并非所有的分析工作可以很容易地進(jìn)行并行處理，尤其是需要當(dāng)用戶交互驅(qū)動的分析。” 所以要想性能很好，你仍然需要專門為自己要解決的問題而設(shè)計和優(yōu)化相應(yīng)的Hadoop程序，否則會很慢。“因為每個Map/Reduce 任務(wù)都要等到之前的工作完成。”所以就像關(guān)鍵路徑一樣，Hadoop執(zhí)行性能的快慢會取決于其最慢的MapReduce任務(wù)。
Joe最后認(rèn)為：“Hadoop是一個用來做一些非常復(fù)雜的數(shù)據(jù)分析的杰出工具。但是具有諷刺意味的??是，它也是需要大量的編程工作才能得到這些問題的答案。” 這一點不止在數(shù)據(jù)分析應(yīng)用方面，它其實反映了目前使用開源框架時候不得不面對的選型平衡問題。當(dāng)你在選型開源框架或代碼的時候，既要考慮清楚它能夠幫到你多少，節(jié)省多少時間和成本，提高多少效率。也要知道由此而產(chǎn)生多少新增的成本，比如工程師的學(xué)習(xí)成本、開發(fā)和維護(hù)成本，以及未來的擴展性，包括如果使用的框架升級了，你和你的團(tuán)隊是否要做相應(yīng)的升級;甚至還要有安全性方面的考慮，畢竟開源框架的漏洞也是眾所周知的。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
