Hadoop MapReduce
:
一種程式設計模型,是面向大資料並行處理的計算模型、框架和平臺,用於
大規模資料集的並行運算
。MapReduce採用“分而治之”的思想,簡單地說,MapReduce就是“任務的分解與結果的彙總”。
Spark
:
專為大規模資料處理而設計的快速通用的計算引擎,一個專門用來對那些
分散式儲存的大資料進行處理
的工具。
Spark是借鑑了Mapreduce並在其基礎上發展起來的,擁有Hadoop MapReduce所具有的優點,Spark是MapReduce的替代方案,而且相容HDFS、Hive,可融入Hadoop的生態系統,以彌補MapReduce的不足。
加米穀大資料開發培訓,6月零基礎班預報名中,提前預報有驚喜!
相關:
大資料開發學習:Spark和Hadoop MapReduce有什麼區別?
https://www。toutiao。com/i6692992593413800456/