實(shí)時(shí)流式計(jì)算，也就是RealTime,Streaming,Analyse,在不同的領(lǐng)域有不同的定義,這里我們說的是大數(shù)據(jù)領(lǐng)域的實(shí)時(shí)流式計(jì)算。
實(shí)時(shí)流式計(jì)算,或者是實(shí)時(shí)計(jì)算,流式計(jì)算,在大數(shù)據(jù)領(lǐng)域都是差不多的概念。那么，到底什么是實(shí)時(shí)流式計(jì)算呢？
谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到過實(shí)時(shí)流式計(jì)算的三個(gè)特征：
1、無限數(shù)據(jù)
2、無界數(shù)據(jù)處理
3、低延遲
無限數(shù)據(jù)指的是,一種不斷增長的，基本上無限的數(shù)據(jù)集。這些通常被稱為“流數(shù)據(jù)”，而與之相對的是有限的數(shù)據(jù)集。
無界數(shù)據(jù)處理,一種持續(xù)的數(shù)據(jù)處理模式,能夠通過處理引擎重復(fù)的去處理上面的無限數(shù)據(jù)，是能夠突破有限數(shù)據(jù)處理引擎的瓶頸的。
低延遲，延遲是多少并沒有明確的定義。但我們都知道數(shù)據(jù)的價(jià)值將隨著時(shí)間的流逝降低，時(shí)效性將是需要持續(xù)解決的問題。
現(xiàn)在大數(shù)據(jù)應(yīng)用比較火爆的領(lǐng)域，比如推薦系統(tǒng)在實(shí)踐之初受技術(shù)所限，可能要一分鐘，一小時(shí)，甚至更久對用戶進(jìn)行推薦，這遠(yuǎn)遠(yuǎn)不能滿足需要，我們需要更快的完成對數(shù)據(jù)的處理，而不是進(jìn)行離線的批處理。
但是這種模型肯定會帶來離線批處理所不存在的兩個(gè)問題：正確性與時(shí)間。
而這也正是實(shí)時(shí)流式計(jì)算的關(guān)鍵點(diǎn)：
1、正確性 一旦正確性有了保證，可以匹敵批處理。
2、時(shí)間推導(dǎo)工具 而一旦提供了時(shí)間推導(dǎo)的工具，變完全超過了批處理。
總結(jié)來說，我們得到的會是一條條的，隨著時(shí)間流逝不斷增長的數(shù)據(jù)，我們需要進(jìn)行實(shí)時(shí)的數(shù)據(jù)分析，我們要解決大數(shù)據(jù)量，災(zāi)備，時(shí)序，時(shí)間窗口，性能等等問題。
而實(shí)時(shí)，流式其實(shí)是相對的概念，現(xiàn)在的很多技術(shù)更應(yīng)該說是近實(shí)時(shí)，微批。但只要能不斷的優(yōu)化這些問題，實(shí)時(shí)流式的計(jì)算的價(jià)值就會越來越大。
由于大數(shù)據(jù)興起之初，Hadoop并沒有給出實(shí)時(shí)計(jì)算解決方案，隨后Storm，SparkStreaming，F(xiàn)link等實(shí)時(shí)計(jì)算框架應(yīng)運(yùn)而生，而Kafka，ES的興起使得實(shí)時(shí)計(jì)算領(lǐng)域的技術(shù)越來越完善，而隨著物聯(lián)網(wǎng)，機(jī)器學(xué)習(xí)等技術(shù)的推廣，實(shí)時(shí)流式計(jì)算將在這些領(lǐng)域得到充分的應(yīng)用。
下面簡單介紹目前常用的幾種應(yīng)用場景，未來將對Kafka，Storm，SparkStreaming，F(xiàn)link等相關(guān)技術(shù)做具體介紹。
主要應(yīng)用
1、日志分析
比如對網(wǎng)站的用戶訪問日志進(jìn)行實(shí)時(shí)的分析，計(jì)算訪問量，用戶畫像，留存率等等，實(shí)時(shí)的進(jìn)行數(shù)據(jù)分析，幫助企業(yè)進(jìn)行決策。
2、物聯(lián)網(wǎng)
比如對電力系統(tǒng)進(jìn)行實(shí)時(shí)的數(shù)據(jù)檢測，進(jìn)行報(bào)警，實(shí)時(shí)的顯示，或者根據(jù)歷史數(shù)據(jù)進(jìn)行實(shí)時(shí)的分析，預(yù)測。
3、車聯(lián)網(wǎng)
如今的車聯(lián)網(wǎng)已經(jīng)不限于物聯(lián)網(wǎng)，還包括對用戶，交通等等進(jìn)行分析的一個(gè)龐大的系統(tǒng)，改善用戶出行。
4、金融風(fēng)控
通過對交易等金融行為實(shí)時(shí)分析，預(yù)測出未知風(fēng)險(xiǎn)。
還有很多應(yīng)用的領(lǐng)域，而且未來會越來越多，在這個(gè)過程中具體的業(yè)務(wù)，以及與技術(shù)結(jié)合能產(chǎn)生什么樣的價(jià)值，還需要不斷的探索。
