MapReduce和Spark主要解決哪些方面的問題?加米穀大資料2019-05-20 14:45:32

Hadoop MapReduce

一種程式設計模型,是面向大資料並行處理的計算模型、框架和平臺,用於

大規模資料集的並行運算

。MapReduce採用“分而治之”的思想,簡單地說,MapReduce就是“任務的分解與結果的彙總”。

Spark

專為大規模資料處理而設計的快速通用的計算引擎,一個專門用來對那些

分散式儲存的大資料進行處理

的工具。

Spark是借鑑了Mapreduce並在其基礎上發展起來的,擁有Hadoop MapReduce所具有的優點,Spark是MapReduce的替代方案,而且相容HDFS、Hive,可融入Hadoop的生態系統,以彌補MapReduce的不足。

加米穀大資料開發培訓,6月零基礎班預報名中,提前預報有驚喜!

相關:

大資料開發學習:Spark和Hadoop MapReduce有什麼區別?

https://www。toutiao。com/i6692992593413800456/