這篇文章描述了如何在Amazon SageMaker中使用TensorFlow對(duì)象檢測(cè)模型API來(lái)實(shí)現(xiàn)這一點(diǎn)。

首先，基于AWS示例筆記本，將解釋如何使用SageMaker端點(diǎn)在單個(gè)圖像上運(yùn)行模型。對(duì)于較小的圖像，這種方法可行，但對(duì)于較大的圖像，我們會(huì)遇到問(wèn)題。

為了解決這些問(wèn)題，改用批處理轉(zhuǎn)換作業(yè)。

起點(diǎn)：使用SageMaker TensorFLow對(duì)象檢測(cè)API進(jìn)行模型推斷

AWS提供了一些關(guān)于GitHub如何使用SageMaker的好例子。

使用此示例使用TensorFlow對(duì)象檢測(cè)API對(duì)對(duì)象檢測(cè)模型進(jìn)行預(yù)測(cè)：

將模型部署為端點(diǎn)時(shí)，可以通過(guò)調(diào)用端點(diǎn)，使用該模型一次推斷一個(gè)圖像。此代碼取自示例筆記本，顯示了如何定義TensorFlowModel并將其部署為模型端點(diǎn)：

import cv2

import sagemaker

from sagemaker．utils import name＿from＿base

from sagemaker．tensorflow import TensorFlowModel

role ＝ sagemaker．get＿execution＿role（）

model＿artefact ＝ ＇＜your－model－s3－path＞＇

model＿endpoint ＝ TensorFlowModel（

   name＝name＿from＿base（＇tf2－object－detection＇），

   model＿data＝model＿artefact，

   role＝role，

   framework＿version＝＇2．2＇，

）

predictor ＝ model＿endpoint．deploy（initial＿instance＿count＝1， instance＿type＝＇ml．m5．large＇）

然后，將圖像加載為NumPy數(shù)組，并將其解析為列表，以便將其傳遞給端點(diǎn)：

def image＿file＿to＿tensor（path）：

   cv＿img ＝ cv2．imread（path，1）．a(chǎn)stype（＇uint8＇）

   cv＿img ＝ cv2．cvtColor（cv＿img， cv2．COLOR＿BGR2RGB）

   return cv＿img

img ＝ image＿file＿to＿tensor（＇test＿images／22673445．jpg＇）

input ＝ ｛

 ＇instances＇： ［img．tolist（）］

｝

最后，調(diào)用端點(diǎn)：

detections ＝ predictor．predict（input）［＇predictions＇］［0］

問(wèn)題：端點(diǎn)請(qǐng)求負(fù)載大小太大

這在使用小圖像時(shí)很好，因?yàn)锳PI調(diào)用的請(qǐng)求負(fù)載足夠小。然而，當(dāng)使用較大的圖片時(shí)，API返回413錯(cuò)誤。這意味著有效負(fù)載超過(guò)了允許的大小，即6 MB。

當(dāng)然，我們可以在調(diào)用端點(diǎn)之前調(diào)整圖像的大小，但我想使用批處理轉(zhuǎn)換作業(yè)。

解決方案：改用批處理轉(zhuǎn)換作業(yè)

使用SageMaker批量轉(zhuǎn)換作業(yè)，你可以定義自己的最大負(fù)載大小，這樣我們就不會(huì)遇到413個(gè)錯(cuò)誤。其次，這些作業(yè)可用于一次性處理全套圖像。

圖像需要存儲(chǔ)在S3存儲(chǔ)桶中。所有圖像都以批處理模式（名稱(chēng)中的內(nèi)容）進(jìn)行處理，預(yù)測(cè)也存儲(chǔ)在S3上。

為了使用批處理轉(zhuǎn)換作業(yè)，我們?cè)俅味�義了TensorFlowModel，但這次我們還定義了入口點(diǎn)和源目錄：

model＿batch ＝ TensorFlowModel（

   name＝name＿from＿base（＇tf2－object－detection＇），

   model＿data＝model＿artifact，

   role＝role，

   framework＿version＝＇2．2＇，

   entry＿point＝＇inference．py＇，

   source＿dir＝＇．＇，

）

inference．py代碼轉(zhuǎn)換模型的輸入和輸出數(shù)據(jù)，如文檔中所述。此代碼需要將請(qǐng)求負(fù)載（圖像）更改為NumPy數(shù)組，并將其解析為列表對(duì)象。

從這個(gè)示例開(kāi)始，我更改了代碼，使其加載圖像并將其轉(zhuǎn)換為NumPy數(shù)組。inference．py中input＿h(yuǎn)andler函數(shù)更改為以下內(nèi)容：

import io

import json

import numpy as np

from PIL import Image

def input＿h(yuǎn)andler（data， context）：

   ＂＂＂ Pre－process request input before it is sent to TensorFlow Serving REST API

   Args：

       data （obj）： the request data， in format of dict or string

       context （Context）： an object containing request and configuration details

   Returns：

      （dict）： a JSON－serializable dict that contains request body and headers

  ＂＂＂

   if context．request＿content＿type ＝＝ ＂application／x－image＂：

       payload ＝ data．read（）              
       image ＝ Image．open（io．BytesIO（payload））        
       array ＝ np．a(chǎn)sarray（image）
       return json．dumps（｛＇instances＇： ［array．tolist（）］｝）
   raise ValueError（＇｛｛＂error＂： ＂unsupported content type ｛｝＂｝｝＇．format（
       context．request＿content＿type or ＂unknown＂））

注意，在上面的代碼中排除了output＿h(yuǎn)andler函數(shù)。

此函數(shù)需要Python包NumPy和Pillow，它們未安裝在運(yùn)行批處理推斷作業(yè)的機(jī)器上。

我們可以創(chuàng)建自己的鏡像并使用該鏡像（在TensorFlowModel對(duì)象初始化時(shí)使用image＿uri關(guān)鍵字）。

也可以提供requirements．txt并將其存儲(chǔ)在筆記本所在的文件夾中（稱(chēng)為source＿dir＝“．”）。該文件在鏡像引導(dǎo)期間用于使用pip安裝所需的包。內(nèi)容為：

numpy

pillow

首先，想使用OpenCV（就像在endpoint示例中一樣），但該軟件包不太容易安裝。

我們現(xiàn)在使用模型創(chuàng)建transformer對(duì)象，而不是將模型部署為模型端點(diǎn)：

input＿path ＝ ＂s3：／／bucket／input＂

output＿path ＝ ＂s3：／／bucket／output＂

tensorflow＿serving＿transformer ＝ model＿batch．transformer（

   instance＿count＝1，

   instance＿type＝＂ml．m5．large＂，

   max＿concurrent＿transforms＝1，

   max＿payload＝5，

   output＿path＝output＿path，

）

最后，使用transform：

tensorflow＿serving＿transformer．transform（

   input＿path，

   content＿type＝＂application／x－image＂，

）

圖像由模型處理，結(jié)果將作為JSON文件最終在output＿path bucket中。命名等于輸入文件名，后跟．out擴(kuò)展名。你還可以調(diào)整和優(yōu)化實(shí)例類(lèi)型、最大負(fù)載等。

最后

這很可能不是最具成本效益的方法，因?yàn)槲覀儗�圖像作為NumPy數(shù)組傳遞給轉(zhuǎn)換器。

此外，我們還可以在inference．py中調(diào)整output＿h(yuǎn)andler函數(shù)壓縮并存儲(chǔ)在S3上的JSON，或僅返回相關(guān)檢測(cè)。

       原文標(biāo)題 : SageMaker TensorFlow對(duì)象檢測(cè)模型