工業(yè)大數(shù)據(jù)處理領(lǐng)域的“網(wǎng)紅”——Apache Spark
4. 可融合性
Spark可以運(yùn)行在standalone、YARN、Mesos、Kubernetes及EC2多種調(diào)度平臺上。其中Standalone模式不依賴第三方的資源管理器和調(diào)度器,這樣降低了Spark的使用門檻,使得所有人可以非常容易地部署和使用Spark。
Spark可以處理所有Hadoop支持的數(shù)據(jù),包括HDFS、Apach HBase、Apach Kudu、Apach Cassanda等。這對于已部署Hadoop集群的用戶特別重要,因?yàn)椴恍枰鋈魏螖?shù)據(jù)遷移就可以使用Spark強(qiáng)大的處理能力。
三、 Spark 相比MapReduce優(yōu)勢
Spark與MapReduce 同為計(jì)算框架,但作為后起之秀,Spark借鑒了MapReduce,并在其基礎(chǔ)上進(jìn)行了改進(jìn),使得算法性能明顯優(yōu)于MapReduce,下面大致總結(jié)一下兩者差異:
1) Spark把運(yùn)算的中間數(shù)據(jù)存放在內(nèi)存,迭代計(jì)算效率更高;MapReduce的中間結(jié)果需要落地到磁盤,磁盤io操作多,影響性能。
2) Spark容錯性高,它通過Lineage機(jī)制實(shí)現(xiàn)RDD算子的高效容錯,某一部分丟失或者出錯,可以通過整個數(shù)據(jù)集的計(jì)算流程的血緣關(guān)系來實(shí)現(xiàn)重建;MapReduce的話容錯可能只能重新計(jì)算了,成本較高。
3) Spark更加通用,Spark提供了transformation和action這兩大類的多個功能算子,操作更為方便;MapReduce只提供了map和reduce兩種操作。
4) Spark框架和生態(tài)更為復(fù)雜,首先有RDD、血緣lineage、執(zhí)行時的有向無環(huán)圖DAG、stage劃分等等,很多時候spark作業(yè)都需要根據(jù)不同業(yè)務(wù)場景的需要進(jìn)行調(diào)優(yōu)已達(dá)到性能要求;MapReduce框架及其生態(tài)相對較為簡單,對性能的要求也相對較弱,但是運(yùn)行較為穩(wěn)定,適合長期后臺運(yùn)行。
四、 Spark與工業(yè)互聯(lián)網(wǎng)平臺
工業(yè)互聯(lián)網(wǎng)帶來了工業(yè)數(shù)據(jù)的快速發(fā)展,對于日益增加的海量數(shù)據(jù),傳統(tǒng)單機(jī)因本身的軟硬件限制無法應(yīng)對海量數(shù)據(jù)的處理、分析以及深度挖掘,但作為分布式計(jì)算框架的Spark卻能輕松應(yīng)付這些場景。在工業(yè)互聯(lián)網(wǎng)平臺上,Spark 既能快速實(shí)現(xiàn)工業(yè)現(xiàn)場海量流數(shù)據(jù)的處理轉(zhuǎn)換,又能輕松應(yīng)對工業(yè)大數(shù)據(jù)平臺中海量數(shù)據(jù)的快速批處理分析,自身集成的機(jī)器學(xué)習(xí)框架能夠?qū)A抗I(yè)數(shù)據(jù)進(jìn)行深度挖掘分析,從而幫助管理者進(jìn)行決策分析。
基于Spark框架自身的優(yōu)良設(shè)計(jì)理念以及社區(qū)的蓬勃發(fā)展?fàn)顟B(tài),相信未來Spark會在工業(yè)互聯(lián)網(wǎng)平臺扮演越來越重要的角色。
本文作者: 黃歡,格創(chuàng)東智大數(shù)據(jù)工程師 (轉(zhuǎn)載請注明來源及作者)
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-11.30免費(fèi)預(yù)約申請>>> 燧石技術(shù)-紅外熱成像系列產(chǎn)品試用活動
-
11月25日立即預(yù)約>> 【上海線下】設(shè)計(jì),易如反掌—Creo 11發(fā)布巡展
-
11月30日立即試用>> 【有獎試用】愛德克IDEC-九大王牌安全產(chǎn)品
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
限時免費(fèi)下載立即下載 >>> 2024“機(jī)器人+”行業(yè)應(yīng)用創(chuàng)新發(fā)展藍(lán)皮書
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市