目前當紅的人工智能（Artificial intelligence，AI）主要聚焦在深度學習（DeepLearning，DL）領域，想學習深度學習技術的人，第一步通常會遇到一大堆框架（Framework）卻不知如何選擇，而究竟什么是框架？框架如何用來表示模型？哪些才是主流框架？本文將會完整告訴你，協助找出最符合自己需求的框架。

何謂深度學習框架？

深度學習簡單示意圖

大家都知道只要準備一張紙和一只筆，加上源源不斷的靈感，就能將想法轉化成文字，創(chuàng)作出一篇令人感動的文章。但現在手寫創(chuàng)作的人越來越少，只好選用一項電子書寫（數字表達）的工具來創(chuàng)作。以Windows舉例，可能用的是Note Pad（筆記本）、Word或PDF Editor，如果是學術寫作的人可能較常用的是Latex，在網頁上創(chuàng)作則可能是Html。

文章的好壞并不會因為工具的改變而有所不同，卻會影響寫作效率以及排版美觀，改變讀者對這篇文章的評價。雖然文章內容（基本元素）可輕易的在不同工具中轉換，但遇到字體格式、圖片、公式等特殊排版需求時，可能出現檔案轉不過去等問題，同時難以用來表達音樂、影像、視頻。

在解決深度學習的問題中，較常見的是非時序性辨識問題，以及時序性的分析或預測問題。為了方便表達模型（Net ／Model）的結構、工作訓練以及推論流程，因此產生了框架，用來正確表達深度學習的模型，就像在Windows上寫文章需要有Note Pad、Word等，編輯影音內容要有威力導演、After Effect等一樣。

因此，許多學術單位、開源社群甚至Google、Microsoft、Facebook這類知名大公司也紛紛推出自家的框架，以確保在這場AI大戰(zhàn)中能占有一席之地。而有另一派人馬，想要產生另一種可輕易轉成各家的框架，例如微軟的Word可以另存網頁檔（＊．html）、可攜式文件格式（＊．pdf）、純文本檔（＊．txt）等。在介紹各家框架前，先來認識一下深度學習的模型究竟用了哪些元素？就像玩樂高積木前，要先知道有哪些模塊可用，后續(xù)在學習各個框架的表示語法時才不會一頭霧水。

常見深度學習模型介紹

首先介紹兩個較著名的模型，包括非時序性的卷積神經網絡（CNN） LeNet－5 ［1］以及時序性的遞歸神經網絡（RNN），方便說明模型中常用到的元素與流程，如何用深度學習框架來表示。

卷積神經網絡（CNN）

圖一卷積神經網絡（CNN） LeNet－5 ［1］

（圖一）為最知名的卷積神經網絡LeNet－5，主要是用來辨識手寫數字（MNIST數據庫），輸入為一張8bit灰階32×32像素的影像，而輸出為十個節(jié)點，分別表示影像為十個數字的機率，這個模型幾乎是所有研究深度學習的入門起手式。目前先不解釋這個模型為何能學會辨識圖像，而是單純就模型組成以及表示方法來進行說明。

首先，說明卷積特征圖 C1層，C1層上的紅點，是由輸入層（INPUT）紅色框（5×5個像素）乘上5×5的卷積核加總后而得，依序由輸入影像的左至右、上至下共享一個卷積核進行卷積，一次移動一個像素（Stride＝1），如此即可產生一張?zhí)卣鲌D，而C1層共享了六組卷積核，因此產生六張28×28像素的特征圖。再來將影像進行池化，較常見的方式就是把相鄰四點（如圖一綠色框所示）中最大的點當成新點，稱為Max Pooling，同時把影像長寬都減為一半，成為S2層。

接下來，對S2層以16組3×3卷積核進行卷積，產生C3層，共有16組10×10像素的特征圖。同樣地再對C3層進行池化產生S4層，變成16組5×5像素的特征圖，最后再以16組5×5卷積核把S4層的16個特征圖卷積變成16個輸入點，再以傳統(tǒng)全鏈接神經網絡進行鏈接。C5層就是以16個輸入點和隱藏層120點進行全連結，并依指定的激活函數將輸出傳到下一層，接下來再和下一組隱藏層F6的84點進行全連結，最后再和輸出層（OUTPUT）的十個輸出點進行全連結，并正規(guī)化輸出得到各輸出的機率，即完成整個LeNet－5模型（網絡）結構。

綜合上述內容可得知一個基本的卷積神經網絡會有輸入層、卷積層、池化層、全連結層及輸出層。卷積層要定義卷積核大小、移動距離、輸出特征圖數量。而池化層同樣需要定義核的大�。ㄒ话闶�2×2）、移動距離（一般是2）及池化方式（可以是取最大值或平均值）。全連結層部份則需要定義節(jié)點數量及激活函數類型（如：reLu、sigmoid等），最后輸出層除了要定義正規(guī)化機率值（如：Softmax）外，還要定義損失函數以作為訓練模型用。

前面提到的卷積神經網絡CNN是一種前饋（Forward）的單向網絡，其輸出結果不會影響輸入，但如果遇到如語音、翻譯、視頻這類時序問題時，CNN就搞不定了，此時就該輪到遞歸神經網絡（RNN）登場了。

遞歸神經網絡（RNN）

圖二  遞歸神經網絡（RNN）及型態(tài)

（圖二）左圖所示就是RNN最基本入門的模型，把此次輸出的結果經過加權后，再和下一次的輸入一起計算出下一次的輸出，以串起輸入數據的時序關連。從展開圖可更清楚看出其關連，當前輸出（ot）是由目前狀態(tài)（st）乘上權重（U）加上前一狀態(tài)（st－1）輸出乘上權重（W）后，經過雙曲正切（tanh）函數并乘上輸出權重（V），最后取Softmax算式得出，依此類推可展開成任意級數的網絡。

（圖二）右圖所示，RNN可以有很多種輸出型態(tài)，一對一就等于單純的前饋網絡沒有時序關系，另外也可以一對多、多對一、多對多等不同的輸出方式，應用于時序性內容分類，例如語句情緒意圖、音樂曲風、視頻動作分析、影像加注標題等，或是型態(tài)移轉（Style Transfer），例如語言翻譯、文章音樂創(chuàng)作等。

對RNN而言，需要定義展開的級數、隱含層（或稱為狀態(tài)S）到隱含層權重矩陣（W）、輸入層到隱含層權重（U）、隱含層到輸出層權重（V）、激活函數（例如：tanh等）類型，以及輸出層機率正規(guī)化方式（例如：Softmax等）。

常見深度學習框架及選用考慮

圖三  常見深度學習框架

許多人準備開始進入深度學習世界時，最常問的問題就是到底要挑選哪一種框架來入門？有如（圖三） 、（表格一）所示，從最大的開源社群Github上，就可找到二十種星星數超過一千的深度學習框架，包括TensorFlow、Keras、Caffe、PyTorch、CNTK、MXNet、DL4J、Theano、Torch7、Caffe2、Paddle、DSSTNE、tiny－dnn、Chainer、neon、ONNX、BigDL、DyNet、brainstorm、CoreML等，而排名第一名的TensorFlow更有近十萬個星星。由此可知，深度學習非常受到大家重視，當選擇深度框架時可以從好幾個面向來考慮，以下將會分別介紹。

1． 程序語言

首先是開發(fā)時所使用的程序語言，如果要執(zhí)行「訓練」及「推論」效率好些，則可能要用C＋＋。若要上手容易、支持性強，則要考慮Python，從（表格一）中可看出有3／4的框架都支援Python。

若習慣使用Java開發(fā)程序，那大概就只有TensorFlow、DL4J和MXNet可選了。目前有一些框架（如TensorFlow、Caffe等）底層是C＋＋，應用層API是用Python，這類框架能取得不錯的開發(fā)及執(zhí)行效率。

若想改善底層效率時，還要考慮依不同硬件，學會OpenCL或Nvidia的CUDA／cuDNN等平行加速程序寫法。

2． 執(zhí)行平臺

再來考慮的是可執(zhí)行的操作系統(tǒng)及硬件（CPU、GPU）平臺，目前大多數的框架都是在Linux CPU＋GPU的環(huán)境下執(zhí)行，部份有支持單機多CPU（多線程）或多GPU協同計算以加速運行時間，甚至像TensorFlow、CNTK、DL4J、MXNet等框架還有支持叢集（Cluster）運算。

許多云端服務商（Google、Amazon、Microsoft等）也是采取這類組合，方便布署開發(fā)好的應用程序。另外也有些非主流的框架（如：tiny－dnn）只支持CPU而不支持GPU，這類框架的好處就是移植性較強，但工作效率很差，較適合小型系統(tǒng)。

如果是用Windows的人，英特爾（Intel）及微軟（Microsoft）也分別有提供BigDL及CNTK，若使用Mac系統(tǒng)則要考慮使用CoreML。不過最近Google的TensorFlow為了吃下所有的市場，已經可以支持Linux、Windows、Mac甚至是Android，因此成為開源排行榜第一名。

3． 模型支持

目前常見的深度學習模型包含監(jiān)督型（如CNN）、時序型（如RNN／LSTM）、增強學習（如Q－Learning）、轉移學習、對抗生成（GAN）等，但不是每個框架都能全部支持。

舉例來說：老牌的Caffe適合做監(jiān)督型學習，但對于時序型學習就不太合適，遇到對抗生成模型時就更使不上力。若不清楚那些框架可支持的模型類型，可參考（表格一）的對應網址，前往各官網了解使用上的限制。

4． 框架轉換

如果遇到需要串接不同平臺或框架時，則要考慮選用具有提供跨框架功能。目前有幾大陣營，像Keras可支持TensorFlow、Theano、MXNet、DL4J、CNTK，而微軟和臉書聯盟推的ONNX可支持Caffe2、CNTK、PyTorch等，但Google的TensorFlow卻不愿加入該聯盟。

另外，雖然框架之間可以轉換，但不代表轉換后的執(zhí)行效率會和直接使用某個框架一樣好，此時只能依實際需求來取舍是否拿彈性換取效能。

5． 社群支援

最后要考慮選用的框架社群是否活躍，是否很久沒有維護（升級），甚至被預告即將淘汰，像Theano雖然功能強大也有很多人在用，但目前確定已不再更新版本，因此建議不要再跳坑了。另外對于英文不好的朋友，選用框架的社群討論區(qū)、文字教程、操作視頻等是否有中文支持也是很重要的，以免遇到問題不知向誰求救。

表格一  深度學習框架比較表

總結

對于新手來說，目前用Python＋Keras＋TensorFlow是最多人的選擇，網絡上也可取得最多資源（包含中文），可支持的操作系統(tǒng)、硬件平臺、模型以及數學函式庫也是最豐富的。特色是彈性大，相對容易開發(fā)，也是最容易布署在云端的解決方案。

但這樣的組合并非完全沒有缺點，例如CNTK的執(zhí)行效率相較于MXNet略差，而Python需占用較多內存，不利于布署在本地端（或嵌入式系統(tǒng)）進行邊緣計算，因此如何選擇合適的框架，有賴于大家多花點心思了。

作者：許哲豪