來源:北大青鳥總部 2020年12月10日 14:57
Lambda架構通過把數據分解為ServingLayer、SpeedLayer、BatchLayer三層來解決在不同數據集的數據需求。在Batch層主要是對離線數據進行處理,將接入的數據進行預處理、存儲,查詢的時候直接在預處理結果上查詢并不需要再進行完整的計算,最后以View層提供給到業(yè)務;在Speed層主要是對實時增量數據進行處理,每來一次新數據就不斷的更新View層,提供給到業(yè)務;在Serving層主要是響應用戶的請求,根據用戶需求把Batch層和Speed層的數據集合到一起,得到最終的數據集。Lambda架構優(yōu)點是將流處理和批處理分開,很好的結合了實時計算和流計算的優(yōu)點,架構穩(wěn)定,實時計算成本可控,提高了整個系統(tǒng)的容錯性、降低了復雜性。缺點是離線數據和實時數據很難保障數據的一致性,開發(fā)人員需要維護兩套系統(tǒng)。