AI芯天下丨工業(yè)大數(shù)據(jù)挖掘的利器——Spark MLlib
一提到大數(shù)據(jù),人們首先會(huì)想到在互聯(lián)網(wǎng)和商業(yè)等環(huán)境中,利用大量的行為數(shù)據(jù)來(lái)分析用戶行為和預(yù)測(cè)市場(chǎng)趨勢(shì)等應(yīng)用。但是對(duì)工業(yè)大數(shù)據(jù)的定義和應(yīng)用卻很難直觀地理解和想象。工業(yè)大數(shù)據(jù)的挑戰(zhàn)和目的則要通過(guò)“3B” 和 “3C” 來(lái)理解。
工業(yè)大數(shù)據(jù)應(yīng)用的“3B”挑戰(zhàn):
· Bad Quality——在工業(yè)大數(shù)據(jù)中,數(shù)據(jù)質(zhì)量問(wèn)題一直是許多企業(yè)所面臨的挑戰(zhàn)。
· Broken——工業(yè)對(duì)于數(shù)據(jù)的要求并不僅在于量的大小,更在于數(shù)據(jù)的全面性。
· Below the Surface——除了對(duì)數(shù)據(jù)所反映出來(lái)的表面統(tǒng)計(jì)特征進(jìn)行分析以外,還應(yīng)該關(guān)注數(shù)據(jù)中所隱藏的相關(guān)性。
工業(yè)大數(shù)據(jù)分析的“3C”目的:
· Comparison(比較性)——從比較過(guò)程中獲取洞察,既包括比較相似性,也包括比較差異性。
· Correlation (相關(guān)性)——如果說(shuō)物聯(lián)網(wǎng)是可見(jiàn)世界的連接,那么所連接對(duì)象之間的相關(guān)性就是不可見(jiàn)世界的連接。
· Consequence (因果性)——數(shù)據(jù)分析的重要目的是進(jìn)行決策支持,在制定一個(gè)特定的決策時(shí),其所帶來(lái)的結(jié)果和影響應(yīng)該被同等地分析和預(yù)測(cè)。
為此,我們發(fā)現(xiàn)Spark MLlib是一款非常優(yōu)秀的工業(yè)大數(shù)據(jù)挖掘工具,擁有頂尖的數(shù)據(jù)處理、數(shù)據(jù)挖掘課數(shù)據(jù)可視化,是數(shù)據(jù)從業(yè)者必備的一把利器。Spark是一個(gè)開(kāi)源集群運(yùn)算框架,擅長(zhǎng)迭代計(jì)算。最初是由加州大學(xué)柏克利分校AMPLab所開(kāi)發(fā)。Spark使用了內(nèi)存內(nèi)運(yùn)算技術(shù),在內(nèi)存上的運(yùn)算速度比Hadoop MapReduce的運(yùn)算速度快上100倍,即便是在磁盤(pán)上運(yùn)行也能快10倍。Spark允許將數(shù)據(jù)加載至集群內(nèi)存,并多次對(duì)其進(jìn)行查詢,非常適合用于機(jī)器學(xué)習(xí)算法。
Spark MLlib 主要包括以下幾方面的內(nèi)容:
學(xué)習(xí)算法:分類、回歸、聚類和協(xié)同過(guò)濾;
特征處理:特征提取、變換、降維和選擇;
管道(Pipeline):用于構(gòu)建、評(píng)估和調(diào)整機(jī)器學(xué)習(xí)管道的工具;
持久性:保存和加載算法,模型和管道;
實(shí)用工具:線性代數(shù),統(tǒng)計(jì),最優(yōu)化,調(diào)參等工具。
上表總結(jié)了 Spark MLlib 支持的功能結(jié)構(gòu),可以看出Spark MLlib是一種高效、快速、可擴(kuò)展的分布式計(jì)算框架;實(shí)現(xiàn)了常用的機(jī)器學(xué)習(xí),如:聚類、分類、回歸等算法。
大數(shù)據(jù)能夠帶來(lái)巨大的商業(yè)價(jià)值已經(jīng)毋庸置疑,各行各業(yè)均已開(kāi)展了一場(chǎng)無(wú)形的較量,數(shù)據(jù)提供商、服務(wù)提供商都想在這片藍(lán)海強(qiáng)占先機(jī)。而目前,Spark已經(jīng)成為了現(xiàn)在大數(shù)據(jù)領(lǐng)域最火的開(kāi)源軟件,Spark也被許多企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)廣泛應(yīng)用到商業(yè)項(xiàng)目中,在國(guó)內(nèi)包括阿里、百度、騰訊、網(wǎng)易、搜狐等。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來(lái)最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 7 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來(lái)
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市