spark什麼時候誕生?修遠1232021-12-25 09:30:00

2009 年,Spark 誕生於計算機系統的學術聖地加州大學伯克利分校的 AMP Lab,最初是一個研究專案,後來於 2010 年正式開源,並在 2013 年貢獻給 Apache 基金會,翌年即畢業成為 Apache 基金會頂級專案。

對於一個具有相當技術門檻與複雜度的平臺,Spark 從誕生到正式版本成熟,整個過程僅僅花了五年時間。誕生之初,Spark 就致力於提供基於 RDD/DataFrame 的一體化解決方案,將批處理、流處理、SQL、機器學習、圖處理等模型統一到一個平臺下,並以一致的 API 公開,使得 Spark 在誕生後的十年間得以應用於更加廣泛的工程領域,快速成長為大資料處理引擎中的佼佼者。