異常檢測是異常值分析中的一項統(tǒng)計任務(wù)，但是如果我們開發(fā)一個機器學(xué)習(xí)模型來自動化地進行異常檢測，可以節(jié)省很多時間。

異常檢測有很多用例，包括信用卡欺詐檢測、故障機器檢測、基于異常特征的硬件系統(tǒng)檢測、基于醫(yī)療記錄的疾病檢測都是很好的例子，除此之外也還有很多的用例。在本文中，我們將使用Python從頭開始實現(xiàn)異常檢測算法。公式和過程與我之前解釋過的其他機器學(xué)習(xí)算法相比，我們使用的異常檢測算法要簡單得多。該算法使用均值和方差來計算每個訓(xùn)練數(shù)據(jù)的概率。如果一個訓(xùn)練實例的概率很高，則是正常的；如果某個訓(xùn)練實例的概率很低，那就可以是一個異常樣本。對于不同的訓(xùn)練集，高概率和低概率的定義是不同的，這個我們以后再討論。接下來我們來看一下異常檢測的工作過程。使用以下公式計算平均值：

這里m是數(shù)據(jù)集的長度或訓(xùn)練數(shù)據(jù)的數(shù)量，而是一個單獨的訓(xùn)練例子。如果你有多個訓(xùn)練特征，大多數(shù)情況下都需要計算每個特征的平均值。使用以下公式計算方差：

這里，mu是上一步計算的平均值�，F(xiàn)在，用這個概率公式來計算每個訓(xùn)練例子的概率。

不要被這個公式中的求和符號弄糊涂了！這實際上是Sigma方差。稍后我們實現(xiàn)該算法時，就會理解它了。現(xiàn)在我們需要找到概率的臨界值。正如我前面提到的，如果一個訓(xùn)練例子的概率很低，那這就是一個異常樣本。多大是低概率呢這沒有統(tǒng)一的標(biāo)準(zhǔn)，我們需要為我們的訓(xùn)練數(shù)據(jù)集找出這個閾值。我們從步驟3中得到的輸出中獲取一系列概率值，對于每個概率，通過閾值的設(shè)置來判斷數(shù)據(jù)是否異常然后計算一系列概率的精確度、召回率和f1分?jǐn)?shù)。精度可使用以下公式計算

召回率的計算公式如下：

在這里，True positives（真正例）是指是異常的且算法檢測到也是異常的樣本。False Positives（假正例）是指不是異常的但算法檢測到是異常的樣本。False Negative（假反例）是指不是異常的且算法檢測到也不是異常的樣本。從上面的公式你可以看出，更高的精確度和更高的召回率說明算法性能更好，因為這意味著我們有更多的真正的正例，但同時，假正例和假反例也起著至關(guān)重要的作用，這需要一個平衡點，根據(jù)你的行業(yè)，你需要決定哪一個對你來說是可以忍受的。一個好辦法是取平均數(shù)。計算平均值有一個獨特的公式，這就是f1分?jǐn)?shù)，f1得分公式為：

這里，P和R分別表示精確性和召回率。如果你對該公式感興趣的話，可以查看：https：／／towardsdatascience．com／a－complete－understanding－of－precision－recall－and－f－score－concepts－23dc44defef6根據(jù)f1分?jǐn)?shù)，你需要選擇你的閾值概率。異常檢測算法我們將使用Andrew Ng的機器學(xué)習(xí)課程的數(shù)據(jù)集，它具有兩個訓(xùn)練特征。我沒有在本文中使用真實的數(shù)據(jù)集，因為這個數(shù)據(jù)集非常適合學(xué)習(xí)，它只有兩個特征。在任何真實的數(shù)據(jù)集中，都不可能只有兩個特征。有兩個特性的好處是可以可視化數(shù)據(jù)，這對學(xué)習(xí)者非常有用。請從該鏈接下載數(shù)據(jù)集：https：／／github．com／rashida048／Machine－Learning－With－Python／blob／master／ex8data1．xlsx首先，導(dǎo)入必要的包import pandas as pd 

import numpy as np

導(dǎo)入數(shù)據(jù)集。這是一個excel數(shù)據(jù)集。在這里，訓(xùn)練數(shù)據(jù)和交叉驗證數(shù)據(jù)存儲在單獨的表中。df ＝ pd．read＿excel（＇ex8data1．xlsx＇， sheet＿name＝＇X＇， header＝None）

df．head（）

讓我們將第0列與第1列進行比較。plt．figure（）

plt．scatter（df［0］， df［1］）

plt．show（）

你可能通過看這張圖知道哪些數(shù)據(jù)是異常的。檢查此數(shù)據(jù)集中有多少個訓(xùn)練示例：m ＝ len（df）