FiftyOne和Jupyter

“ FiftyOne是什么？”。這是一個(gè)開放源代碼的CV ／ ML項(xiàng)目，希望解決工業(yè)和學(xué)術(shù)界的CV ／ ML研究人員面臨的許多實(shí)際問題和工具問題。這是我寫這篇文章的原因，也是我認(rèn)為計(jì)算notebook的歷史包含寶貴經(jīng)驗(yàn)的原因。作為FiftyOne的開發(fā)人員，我很欣賞它所鼓勵(lì)的研究質(zhì)量以及所允許的協(xié)作。我同意，最好在一個(gè)開放的論壇中取得最好的進(jìn)展。讓機(jī)器為我們做出智能和自動(dòng)化決策的機(jī)會(huì)促使我們進(jìn)行了大量的人工工作。前面概述的notebook和科學(xué)出版的簡要?dú)v史與當(dāng)今機(jī)器學(xué)習(xí)面臨的許多問題平行。具體而言，在計(jì)算機(jī)視覺領(lǐng)域。計(jì)算機(jī)視覺模型試圖對我們這個(gè)世界上非結(jié)構(gòu)化的，即圖像和視頻進(jìn)行觀察和決策。

在過去的十年中，為了追求訓(xùn)練和理解這些模型的性能，數(shù)以千計(jì)的圖像中的大型數(shù)據(jù)集已被數(shù)千名工人不完全注釋。讓機(jī)器為我們做出智能和自動(dòng)化決策的機(jī)會(huì)促使我們進(jìn)行了大量的人工工作。事實(shí)證明，最近在無需監(jiān)督而又費(fèi)力的人工標(biāo)注工作（例如OpenAI的CLIP）的計(jì)算機(jī)視覺任務(wù)的更無監(jiān)督的方法上的努力取得了豐碩的成果。但是性能仍然遠(yuǎn)遠(yuǎn)不夠完美。而且，理解模型性能總是需要針對可信的、真實(shí)值或黃金標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)行手動(dòng)驗(yàn)證。畢竟，這些模型并不是被送到樹林里去操作和推斷的。模型正被嵌入我們的日常生活中，它們的表現(xiàn)質(zhì)量可能會(huì)產(chǎn)生生死攸關(guān)的后果。我們用來分析計(jì)算機(jī)視覺模型的方法和工具的質(zhì)量，應(yīng)該與用于構(gòu)建它們的方法和工具的質(zhì)量相匹配。因此，可以肯定的是，我們用來分析計(jì)算機(jī)視覺模型的方法和工具的質(zhì)量應(yīng)該與用于構(gòu)建模型的方法和工具的質(zhì)量相匹配。而累積的，協(xié)作的和漸進(jìn)的問題解決仍至關(guān)重要。建立開放標(biāo)準(zhǔn)，使CV ／ ML社區(qū)不僅是在模型上，而且是在數(shù)據(jù)集上，以增量方式協(xié)同工作，這可能是在現(xiàn)代計(jì)算機(jī)視覺科學(xué)領(lǐng)域建立信任和進(jìn)步的唯一可行方法。FiftyOne希望能夠建立這種信任和進(jìn)步。

以下是FiftyOne當(dāng)前功能的一個(gè)小示例，重點(diǎn)是演示基本的API和UX，這些API和UX可以在Jupyter Notebook中高效地回答有關(guān)其數(shù)據(jù)集和模型的問題。與FiftyOne一起挖掘COCO按照此Colab Notebook中的說明進(jìn)行操作：https：／／colab．research．google．com／github／voxel51／fiftyone－examples／blob／master／examples／digging＿into＿coco．ipynbnotebook電腦提供了一種方便的方式來分析視覺數(shù)據(jù)集。代碼和可視化可以位于同一個(gè)地方，這正是CV ／ ML經(jīng)常需要的地方�？紤]到這一點(diǎn)，能夠在視覺數(shù)據(jù)集中發(fā)現(xiàn)問題是改進(jìn)它們的第一步。本節(jié)將引導(dǎo)我們深入挖掘圖像數(shù)據(jù)集中問題的每個(gè)“步驟”（即notebook單元）。我鼓勵(lì)你進(jìn)入Colab Notebook并親自體驗(yàn)：https：／／colab．research．google．com／github／voxel51／fiftyone－examples／blob／master／examples／digging＿into＿coco．ipynb首先，我們需要使用pip安裝fiftyone軟件包。

！pip install fiftyone

接下來，我們可以下載并加載我們的數(shù)據(jù)集。我們將使用COCO－2017驗(yàn)證拆分。我們還花點(diǎn)時(shí)間使用FiftyOne App可視化真實(shí)值檢測標(biāo)簽。以下代碼將為我們完成所有這些工作。import fiftyone as fo
import fiftyone．zoo as foz
dataset ＝ foz．load＿zoo＿dataset（＂coco－2017＂， split＝＂validation＂）
session ＝ fo．launch＿app（dataset）

具有真實(shí)值檢測功能的COCO－2017。我們已經(jīng)加載了驗(yàn)證數(shù)據(jù)集COCO－2017，現(xiàn)在讓我們下載并加載模型并將其應(yīng)用于驗(yàn)證數(shù)據(jù)集。我們將使用來自FiftyOne model zoo的預(yù)訓(xùn)練模型faster－rcnn－resnet50－fpn－coco－torch。讓我們將預(yù)測應(yīng)用于新的標(biāo)簽字段predictions，并將應(yīng)用范圍限制到置信度大于或等于0．6的檢測。FiftyOne Model zoo：https：／／voxel51．com／docs／fiftyone／user＿guide／model＿zoo／index．htmlmodel ＝ foz．load＿zoo＿model（＂faster－rcnn－resnet50－fpn－coco－torch＂）
dataset．a(chǎn)pply＿model（model， label＿field＝＂predictions＂， confidence＿thresh＝0．6）

讓我們專注于與車輛檢測有關(guān)的問題，并在真實(shí)值標(biāo)簽和我們的預(yù)測中考慮所有公共汽車，小汽車和卡車車輛，并忽略任何其他檢測。以下內(nèi)容將我們的數(shù)據(jù)集過濾到僅包含我們的車輛檢測數(shù)據(jù)的視圖，并在App中呈現(xiàn)該視圖。from fiftyone import ViewField as F
vehicle＿labels ＝ ［＂bus＂，＂car＂， ＂truck＂］
only＿vehicles ＝ F（＂label＂）．is＿in（vehicle＿labels）
vehicles ＝ （
   dataset
   ．filter＿labels（＂predictions＂， only＿vehicles， only＿matches＝True）
   ．filter＿labels（＂ground＿truth＂， only＿vehicles， only＿matches＝True）
）
session．view ＝ vehicles

僅使用車輛真實(shí)值情況和預(yù)測的檢測結(jié)果進(jìn)行的COCO－2017驗(yàn)證�，F(xiàn)在我們有了預(yù)測，我們可以評估模型了。我們將使用FiftyOne提供的使用COCO評估方法的實(shí)用方法evaluate＿detections（）。from fiftyone．utils．eval import evaluate＿detections
evaluate＿detections（vehicles， ＂predictions＂，  gt＿field＝＂ground＿truth＂， iou＝0．75）
evaluate＿detections（）已將有關(guān)評估的各種數(shù)據(jù)填充到我們的數(shù)據(jù)集中。值得注意的是有關(guān)哪些預(yù)測與真實(shí)值框不匹配的信息。下面的數(shù)據(jù)集視圖使我們僅查看那些不匹配的預(yù)測。我們也將按照置信值以降序排序。filter＿vehicles ＝ F（＂ground＿truth＿eval．matches．0＿75．gt＿id＂） ＝＝ －1
unmatched＿vehicles ＝ （
   vehicles
   ．filter＿labels（＂predictions＂， filter＿vehicles， only＿matches＝True）
   ．sort＿by（F（＂predictions．detections＂）．map（F（＂confidence＂））．max（）， reverse＝True）
）
session．view ＝ unmatched＿vehicles