flink和spark對比

1、技術理念不同：Spark的技術理念是使用微批來模擬流的計算，基于Micro-batch，數據流以時間為單位被切分為一個個批次，通過分布式數據集RDD進行批量處理，是一種偽實時。而Flink是基于事件驅動，它是一個面向流的處理框架，Flink基于每個事件一行一行地流式處理，是真正的流式計算。另外他也可以基于流來模擬批進行計算實現批處理，在技術上具有更好的擴展性。

推薦度：

點擊下載本文 文檔為doc格式

導讀1、技術理念不同：Spark的技術理念是使用微批來模擬流的計算，基于Micro-batch，數據流以時間為單位被切分為一個個批次，通過分布式數據集RDD進行批量處理，是一種偽實時。而Flink是基于事件驅動，它是一個面向流的處理框架，Flink基于每個事件一行一行地流式處理，是真正的流式計算。另外他也可以基于流來模擬批進行計算實現批處理，在技術上具有更好的擴展性。

1、技術理念不同：Spark的技術理念是使用微批來模擬流的計算，基于Micro-batch,數據流以時間為單位被切分為一個個批次，通過分布式數據集RDD進行批量處理，是一種偽實時。而Flink是基于事件驅動，它是一個面向流的處理框架， Flink基于每個事件一行一行地流式處理，是真正的流式計算。另外他也可以基于流來模擬批進行計算實現批處理，在技術上具有更好的擴展性。

2、時間機制：SparkStreaming只支持處理時間，折中地使用processing time來近似地實現event time相關的業務。使用processing time模擬event time必然會產生一些誤差，特別是在產生數據堆積的時候，誤差則更明顯，甚至導致計算結果不可用，Structured streaming 支持處理時間和事件時間，同時支持 watermark 機制處理滯后數據Flink 支持三種時間機制：事件時間、注入時間、處理時間、同時支持 watermark 機制處理遲到的數據，說明Flink在處理亂序大實時數據的時候，優勢比較大。