FiftyOne是一個(gè)開源的可視化數(shù)據(jù)集分析工具，最近添加了Jupyter notebook支持，該功能是我實(shí)現(xiàn)的，并且是其技術(shù)主管。

完成后，我著手撰寫一篇文章，描述此功能的重要性——為什么自動(dòng)屏幕截圖非常適合與他人共享你的視覺(jué)發(fā)現(xiàn)，為什么將代碼及其通常的視覺(jué)輸出放在一個(gè)地方對(duì)于CV ／ ML如此重要，以及如何在notebook使用FiftyOne 可以開啟notebook為CV ／ ML工程師和研究人員建立的更多范例。

本文希望做到所有這些事情，但從本質(zhì)上講，當(dāng)我了解科學(xué)notebook的歷史時(shí)，它也朝著另一個(gè)方向發(fā)展。從科學(xué)研究本身開始的歷史。FiftyOne希望以此為基礎(chǔ)。CV ／ ML社區(qū)需要比Jupyter Notebook更多的東西來(lái)進(jìn)行視覺(jué)研究和分析。

本文的最后一部分是在notebook中使用FiftyOne的分步指南，可幫助你發(fā)現(xiàn)可視數(shù)據(jù)集的問(wèn)題。整個(gè)部分也可以通過(guò)Google的Colab找到。

Google’s Colab：https：／／colab．research．google．com／github／voxel51／fiftyone－examples／blob／master／examples／digging＿into＿coco．ipynb

我們將看到如何用很少的代碼行來(lái)確認(rèn)圖像檢測(cè)模型的常見故障模式并識(shí)別注釋錯(cuò)誤，同時(shí)在每一步的結(jié)果可視化的同時(shí)。但是在此之前，我會(huì)解釋為什么CV ／ ML社區(qū)需要比Jupyter Notebook更多的東西來(lái)進(jìn)行視覺(jué)研究和分析�？茖W(xué)狀態(tài)科學(xué)論文的協(xié)同效率已經(jīng)到達(dá)了瓶頸。

2018年4月，《大西洋》發(fā)表了一篇文章，宣布我們所知道的科學(xué)論文已經(jīng)過(guò)時(shí)。實(shí)際上，這可能只是一個(gè)故意的預(yù)測(cè)，或者至少是互聯(lián)網(wǎng)毫不客氣的一種夸張說(shuō)法。但是它勾勒出的科學(xué)出版歷史是無(wú)可爭(zhēng)議的。

在科學(xué)論文創(chuàng)建近400年之后，其協(xié)作效率已達(dá)到瓶頸。大量的科研人員在闡述該文章時(shí)取得了穩(wěn)定的進(jìn)步。現(xiàn)在已不適合時(shí)代�，F(xiàn)在，成百上千的研究人員在一個(gè)領(lǐng)域發(fā)表論文，而不是幾十人。結(jié)果往往不再是手工計(jì)算，而是由計(jì)算機(jī)、軟件和曾經(jīng)難以理解的數(shù)據(jù)集來(lái)計(jì)算。由于這種論文發(fā)表的規(guī)模，可重復(fù)性現(xiàn)在比以往任何時(shí)候都變得更加重要。但通常情況下，為使研究人員能夠重現(xiàn)自己的研究成果而采取的措施是不夠的。通常情況下，提供的代碼和數(shù)據(jù)是不完整的，如果提供了代碼和數(shù)據(jù)，并且使用豐富的動(dòng)態(tài)可視化語(yǔ)言描述復(fù)雜思想，這種動(dòng)態(tài)可視化語(yǔ)言是用抽象的語(yǔ)言和簡(jiǎn)化的靜態(tài)圖表來(lái)描述的。共享研究的方式與完成研究的方式不再匹配。

Wolfram的圍墻花園

現(xiàn)代研究的計(jì)算復(fù)雜性和規(guī)模一直是科學(xué)進(jìn)步和技術(shù)創(chuàng)新的福音。與科學(xué)研究論文的頑固形式（即PDF）并列在一起，幾十年來(lái)，這也是一個(gè)公認(rèn)的問(wèn)題。不過(guò)，一個(gè)解決方案已經(jīng)存在了數(shù)十年。一種以相同方式甚至相同形式完成研究并共享的解決方案。該解決方案誕生于1988年，當(dāng)時(shí)由史蒂芬·沃爾夫拉姆（Steven Wolfram）創(chuàng)立的沃爾夫拉姆研究中心（Wolfram Research）發(fā)布了Mathematica，成為了計(jì)算的“notebook” 。該界面由西奧多·格雷（Theodore Gray）牽頭，由早期的蘋果代碼編輯器提供了信息，并且部分由史蒂夫·喬布斯（Steve Jobs）協(xié)助制定。

Wolfram Mathematica的版本1，于1988年發(fā)布。由Stephen Wolfram Blog提供。三十多年來(lái)，Mathematica一直在增加它可以為你解答的問(wèn)題，可以可視化數(shù)據(jù)的數(shù)字方式以及可以使用的數(shù)據(jù)量。但是，自推出的第一個(gè)十年以來(lái)，增長(zhǎng)一直很緩慢。許可證價(jià)格昂貴，發(fā)布商不想使用它們，而Mathematica支持的功能始于Wolfram Research。這是一個(gè)美麗而功能強(qiáng)大的圍墻花園（Walled Garden）。

Python，Jupyter

隨著Mathematica繼續(xù)朝著追求完美的方向前進(jìn)，2001年初，物理學(xué)專業(yè)的研究生FernandoPérez發(fā)現(xiàn)自己對(duì)自己的研究能力已經(jīng)感到厭倦，即使Mathematica任其支配也是如此。在《大西洋彼岸一書中，他迷上了新的編程語(yǔ)言Python，并在另外兩名研究生的幫助下開始了一個(gè)名為IPython的項(xiàng)目，即 Jupyter 項(xiàng)目的基礎(chǔ)。Jupyter并非在“技術(shù)層面”上而是在“社會(huì)層面”上勝過(guò)Mathematica。如今，Jupyter Notebook電腦的核心是Jupyter Notebook電腦。像Mathematica一樣＊，＊ Jupyter Notebook鼓勵(lì)科學(xué)探索。但是與Mathematica不同＊，它是任何人都可以貢獻(xiàn)的開源項(xiàng)目。Jupyter并非在“技術(shù)層面”上而是在“社會(huì)層面”上勝過(guò)Mathematica＊，正如諾貝爾獎(jiǎng)獲得者Paul Romer所指出的那樣。Jupyter Notebooks的形式由活躍的開發(fā)人員和用戶社區(qū)決定。計(jì)算機(jī)視覺(jué)領(lǐng)域完全屬于科學(xué)研究領(lǐng)域。多年來(lái)，學(xué)術(shù)界和行業(yè)研究人員都在Jupyter Notebook電腦中發(fā)現(xiàn)了難以置信的價(jià)值。單個(gè)數(shù)據(jù)片段通常是圖像和視頻本身，需要對(duì)其進(jìn)行查看和觀看。notebook電腦提供了。可共享的可視化需要共享。notebook電腦提供了。Jupyter的開放生態(tài)系統(tǒng)允許開發(fā)人員輕松添加任何缺失的集成。

TensorBoard可以嵌入Jupyter Notebook中，用于對(duì)象檢測(cè)實(shí)驗(yàn)。像matplotlib和opencv這樣的軟件包可用于顯示需要檢查的圖像和視頻。在訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)，類似tensorboard的軟件包會(huì)提供示例可視化，將圖像檢查擴(kuò)展到實(shí)驗(yàn)跟蹤的范圍內(nèi)。matplotlib，opencv，tensorboard，和其他無(wú)數(shù)Python包與可視化功能都可以在Jupyter Notebook電腦中使用。理解數(shù)據(jù)質(zhì)量需要對(duì)數(shù)據(jù)趨勢(shì)有深刻的了解。但是，在CV ／ ML中，使用Jupyter Notebook時(shí)仍然存在一個(gè)明顯的問(wèn)題。數(shù)據(jù)質(zhì)量對(duì)于構(gòu)建出色的模型至關(guān)重要。要了解數(shù)據(jù)質(zhì)量，就需要對(duì)數(shù)據(jù)趨勢(shì)進(jìn)行明智的了解。僅僅看一個(gè)甚至十幾個(gè)圖像幾乎總是不足以了解模型的性能和故障模式。此外，在ground truth或gold standard標(biāo)簽中識(shí)別可能只在1，000張甚至100，000張圖像中出現(xiàn)的單個(gè)錯(cuò)誤，需要對(duì)數(shù)據(jù)集進(jìn)行快速切片和切割，以縮小問(wèn)題范圍。從根本上說(shuō)，目前還缺乏能夠自然地處理notebook中可視化數(shù)據(jù)集的工具來(lái)解決這類問(wèn)題。