大資料實時處理Spark Streaming和Storm到底有什麼區別?輕鬆學大資料2018-12-20 16:06:52

最重要的區別:Spark Streaming是微批處理,storm是按條處理。

舉個栗子:現在要實現個簡單的資訊流(新聞影片)實時推薦系統

1、spark Streaming 可以用來:每隔10s將這10s內的使用者瀏覽新聞、影片的日誌事件進行彙總,根據使用者點選的新聞、影片,根據之前協同過濾、或相似度計算得到的離線推薦結果給使用者算出這段時間內瀏覽的內容的相關內容,儲存到Hbase中,供使用者下次重新整理列表時使用。因為這個實時性要求沒那麼高,我不需要毫秒級內對使用者的瀏覽行為進行實時反饋。

2、storm可以用來,實時組裝使用者的推薦結果。使用者在重新整理列表時,將重新整理請求傳送到Kafka。storm實時處理這些請求,在毫秒級內完成使用者這次請求的結果集召回組裝排序。可以將組裝結果存放到使用者的redis私有佇列。使用者在重新整理請求時,在redis內獲取結果。