使用Python進(jìn)行異常檢測(cè)的解決方案
計(jì)算每個(gè)特征的平均值。這里我們只有兩個(gè)特征:0和1。s = np.sum(df, axis=0)
mu = s/m
mu
輸出:0 14.112226
1 14.997711
dtype: float64
根據(jù)上面“公式和過(guò)程”部分中描述的公式,讓我們計(jì)算方差:vr = np.sum((df - mu)**2, axis=0)
variance = vr/m
variance
輸出:0 1.832631
1 1.709745
dtype: float64
現(xiàn)在把它做成對(duì)角線形狀。正如我在概率公式后面的“公式和過(guò)程”一節(jié)中所解釋的,求和符號(hào)實(shí)際上是方差var_dia = np.diag(variance)
var_dia
輸出:array([[1.83263141, 0. ],
[0. , 1.70974533]])
計(jì)算概率:k = len(mu)
X = df - mu
p = 1/((2*np.pi)**(k/2)*(np.linalg.det(var_dia)**0.5))* np.exp(-0.5* np.sum(X @ np.linalg.pinv(var_dia) * X,axis=1))
p
訓(xùn)練部分已經(jīng)完成。下一步是找出閾值概率。如果概率低于閾值概率,則樣本數(shù)據(jù)為異常數(shù)據(jù),但我們需要為我們的特殊情況找出那個(gè)閾值。對(duì)于這一步,我們使用交叉驗(yàn)證數(shù)據(jù)和標(biāo)簽。對(duì)于你的案例,你只需保留一部分原始數(shù)據(jù)以進(jìn)行交叉驗(yàn)證,F(xiàn)在導(dǎo)入交叉驗(yàn)證數(shù)據(jù)和標(biāo)簽:cvx = pd.read_excel('ex8data1.xlsx', sheet_name='Xval', header=None)
cvx.head()
標(biāo)簽如下:cvy = pd.read_excel('ex8data1.xlsx', sheet_name='y', header=None)
cvy.head()
把'cvy'轉(zhuǎn)換成NumPy數(shù)組。y = np.a(chǎn)rray(cvy)
輸出:# 數(shù)組的一部分
array([[0],
[0],
[0],
[0],
[0],
[0],
[0],
[0],
[0],
這里,y值為0表示這是一個(gè)正常的樣本,y值為1表示這是一個(gè)異常的樣本。選擇閾值首先讓我們?cè)贆z查一下概率值。p.describe()
輸出:count 3.070000e+02
mean 5.905331e-02
std 2.324461e-02
min 1.181209e-23
25% 4.361075e-02
50% 6.510144e-02
75% 7.849532e-02
max 8.986095e-02
dtype: float64
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車(chē)
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
推薦專(zhuān)題
- 1 Intel宣布40年來(lái)最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣(mài)
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英偉達(dá)的麻煩在后頭?
- 9 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 10 智慧貨架管理引領(lǐng)零售新風(fēng)尚
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷(xiāo)售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷(xiāo)售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專(zhuān)家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市