Streaming和Storm到底有什么區別?
最重要的區別:Spark Streaming是微批處理,storm是按條處理。
舉個栗子:現在要實現個簡單的信息流(新聞視頻)實時推薦系統
1、spark Streaming 可以用來:每隔10s將這10s內的用戶瀏覽新聞、視頻的日志事件進行匯總,根據用戶點擊的新聞、視頻,根據之前協同過濾、或相似度計算得到的離線推薦結果給用戶算出這段時間內瀏覽的內容的相關內容,保存到Hbase中,供用戶下次刷新列表時使用。因為這個實時性要求沒那么高,我不需要毫秒級內對用戶的瀏覽行為進行實時反饋。
2、storm可以用來,實時組裝用戶的推薦結果。用戶在刷新列表時,將刷新請求發送到Kafka。storm實時處理這些請求,在毫秒級內完成用戶這次請求的結果集召回組裝排序。可以將組裝結果存放到用戶的redis私有隊列。用戶在刷新請求時,在redis內獲取結果。
上一篇vr云臺是什么