デベロッパー

Google Cloud 上の PyTorch: Vertex AI に PyTorch モデルをデプロイする方法

2021年9月29日

Google Cloud Japan Team

※この投稿は米国時間 2021 年 9 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。

この記事は、Vertex AI を使用した Google Cloud 上の PyTorch を紹介するシリーズの一部です。前回の記事では、感情分類タスク用のHugging Face Transformers モデルを、Vertex Training サービスで PyTorch を使用して微調整しました。この投稿では、Vertex Prediction サービスで PyTorch モデルをデプロイし、トレーニングされたモデルアーティファクトから予測を提供する方法を紹介します。

では早速、TorchServe をカスタムコンテナとして使用する PyTorch モデルのデプロイとして、モデルアーティファクトを Vertex Endpoint にデプロイする例を見てみましょう。このブログ投稿の内容に関連するコードは、GitHub リポジトリと Jupyter Notebook で確認できます。

Vertex Prediction サービスに PyTorch モデルをデプロイする

Vertex Prediction サービスは、Google Cloud のマネージドモデル提供プラットフォームです。マネージドサービスであるこのプラットフォームは、インフラストラクチャのセットアップ、メンテナンス、管理を行います。Vertex Prediction は、CPU による推論と GPU による推論の両方をサポートしており、Compute Engine でさまざまな n1-standard マシンの形状を提供しています。このため、お客様は要件に合わせてスケールユニットをカスタマイズできます。Vertex Prediction サービスは、次の理由により、モデルをデプロイして予測を提供するのに最も効率的な方法となっています。

シンプル: Vertex Prediction サービスは、予測用の事前構築されたコンテナによりモデルサービスを簡素化します。お客様の側で必要な作業は、モデルアーティファクトの保存場所を指定することだけです。
柔軟: カスタムコンテナを使用する場合、Vertex Prediction は抽象化レベルを下げることで柔軟性を提供します。このため、お客様は ML フレームワーク、モデルサーバー、前処理、後処理を必要に応じて自由に選択できます。
アシスト: モデルのパフォーマンスをトラッキングし、予測を説明または理解するためのツールが組み込まれています。

TorchServe は、本番環境で PyTorch モデルをデプロイするためのおすすめのフレームワークです。TorchServe の CLI により、ローカルに PyTorch モデルをデプロイしやすくなります。また、Vertex Prediction サービスによりスケールアウト可能なコンテナとしてパッケージ化することもできます。Vertex Prediction のカスタムコンテナ機能は、TorchServe モデルサーバーを実行する環境を定義するための柔軟な方法を提供します。

このブログ投稿では、TorchServe モデルサーバーを Vertex Prediction サービスで実行してコンテナをデプロイし、感情分類タスク用に微調整された Hugging Face の Transformer モデルから予測を提供します。その後、Vertex Endpoint にテキストで入力リクエストを送信すると、感情がポジティブかネガティブかを分類できます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image3_urDYHlo.max-500x500.max-500x500.png

図 1: Vertex Prediction サービスのカスタムコンテナで提供

Vertex Prediction に PyTorch モデルをデプロイする手順は次のとおりです。

トレーニング済みのモデルアーティファクトをダウンロードします。
Torch Model Archiver ツールを使ってアーカイブファイルを作成し、デフォルトまたはカスタムハンドラを含めてトレーニング済みのモデルアーティファクトをパッケージ化します。
Vertex Prediction サービスに適合するカスタムコンテナ（Docker）をビルドし、TorchServe を使ってモデルを提供します。
モデルをカスタムコンテナのイメージとともに Vertex Model のリソースとしてアップロードします。
Vertex Endpoint を作成し、エンドポイントにモデルリソースをデプロイして予測を提供します。

1. トレーニング済みのモデルアーティファクトをダウンロードする

モデルアーティファクトは、予測の提供に必要なトレーニングアプリケーションコードにより作成されます。TorchServe は、モデルアーティファクトが保存されたモデルバイナリ（.bin）形式またはトレースされたモデル（.pth か .pt）形式のどちらかであることを前提としています。以前の投稿では、Vertex Training サービスで Hugging Face Transformer をトレーニングし、.save_model() メソッドを呼び出してモデルをモデルバイナリ（.bin）として保存して、Cloud Storage バケットにモデルアーティファクトを保存しました。

読み込んでいます...

トレーニングジョブの名前に基づき、Cloud Console または gcloud ai custom-jobs describe コマンドを使用して Vertex Training からモデルアーティファクトの場所を取得してから、Cloud Storage バケットからアーティファクトをダウンロードします。

読み込んでいます...

2. カスタムモデルハンドラを作成して予測リクエストを処理する

TorchServe はベースハンドラモジュールを使って、入力を前処理してからモデルに送信する、またはモデル出力を後処理してから予測レスポンスを送信します。TorchServe には、画像分類、オブジェクト検知、セグメンテーション、テキスト分類などの一般的なユースケース向けに、デフォルトのハンドラが用意されています。感情分析タスクでは、カスタムハンドラを作成します。トレーニング / サービングスキューを避けるために、トレーニング時に使用されたのと同じトークナイザを使用して入力テキストをトークン化する必要があるからです。

このカスタムハンドラは次のことを行います。

トレーニング中に使用されたのと同じ Hugging Face Transformers Tokenizer クラスを使用して入力テキストを前処理してから、テキストを推論用のモデルに送信する
推論用のモデルを呼び出す
モデルの出力を後処理してからレスポンスを送り返す

読み込んでいます...

class TransformersClassifierHandler(BaseHandler):
    """
    The handler takes an input string and returns the classification text 
    based on the serialized transformers checkpoint.
    """
    def __init__(self):
        super(TransformersClassifierHandler, self).__init__()
        self.initialized = False

def initialize(self, ctx):
        """ Loads the model.pt file and initializes the model object.
        Instantiates Tokenizer for preprocessor to use
        Loads labels to name mapping file for post-processing inference response
        """
        self.manifest = ctx.manifest

properties = ctx.system_properties
        model_dir = properties.get("model_dir")
        self.device = torch.device("cuda:" + str(properties.get("gpu_id")) if torch.cuda.is_available() else "cpu")

# Read model serialize/pt file
        serialized_file = self.manifest["model"]["serializedFile"]
        model_pt_path = os.path.join(model_dir, serialized_file)
        if not os.path.isfile(model_pt_path):
            raise RuntimeError("Missing the model.pt or pytorch_model.bin file")
        
        # Load model
        self.model = AutoModelForSequenceClassification.from_pretrained(model_dir)
        self.model.to(self.device)
        self.model.eval()
        logger.debug('Transformer model from path {0} loaded successfully'.format(model_dir))
        
        # Ensure to use the same tokenizer used during training
        self.tokenizer = AutoTokenizer.from_pretrained('bert-base-cased')

# Read the mapping file, index to object name
        mapping_file_path = os.path.join(model_dir, "index_to_name.json")

if os.path.isfile(mapping_file_path):
            with open(mapping_file_path) as f:
                self.mapping = json.load(f)
        else:
            logger.warning('Missing the index_to_name.json file. Inference output will not include class name.')

self.initialized = True
 def preprocess(self, data):
        """ Preprocessing input request by tokenizing
            Extend with your own preprocessing steps as needed
        """
        text = data[0].get("data")
        if text is None:
            text = data[0].get("body")
        sentences = text.decode('utf-8')
        logger.info("Received text: '%s'", sentences)

# Tokenize the texts
        tokenizer_args = ((sentences,))
        inputs = self.tokenizer(*tokenizer_args,
                                padding='max_length',
                                max_length=128,
                                truncation=True,
                                return_tensors = "pt")
        return inputs

def inference(self, inputs):
        """ Predict the class of a text using a trained transformer model.
        """
        prediction = self.model(inputs['input_ids'].to(self.device))[0].argmax().item()

if self.mapping:
            prediction = self.mapping[str(prediction)]

logger.info("Model predicted: '%s'", prediction)
        return [prediction]

def postprocess(self, inference_output):
        return inference_output

3. TorchServe を使ってカスタムコンテナイメージを作成し、予測を提供する

Vertex Prediction サービスに PyTorch をデプロイする際は、HTTP サーバーを実行するカスタムコンテナイメージ（この場合 TorchServe など）を使用する必要があります。カスタムコンテナイメージは、Vertex Prediction サービスに適合するための要件を満たしている必要があります。カスタムコンテナイメージの要件を満たすベースイメージとして TorchServe を使用した Dockerfile を作成し、次の手順を行います。

カスタムハンドラがモデル推論リクエストを処理するために必要な依存関係をインストールします。たとえば、ユースケースの Transformers パッケージです。
トレーニング済みのモデルアーティファクトを、コンテナイメージの /home/model-server/ ディレクトリにコピーします。イメージのビルド時にモデルアーティファクトが使用可能であることを前提としています。ノートブックでは、トレーニング済みのモデルアーティファクトを、ハイパーパラメータ調整を試行した際に保存された Cloud Storage バケットからダウンロードしています。
コンテナイメージの /home/model-server/ ディレクトリにカスタムハンドラのスクリプトを追加します。
/home/model-server/config.properties を作成し、ヘルスチェックや予測リスナーポートなどの提供構成を定義します。
Torch Model Archiver ツールを実行して、イメージ /home/model-server/ にコピーされたファイルからモデルアーカイブファイルを作成します。モデルアーカイブは /home/model-server/model-store/ に保存され、名前は <model-name>.mar と同じです
Torchserve HTTP サーバーを起動し、構成プロパティを参照するモデルとモデルアーカイブファイルの提供を有効化します。

読み込んでいます...

FROM pytorch/torchserve:latest-cpu

# install dependencies
RUN pip3 install transformers

# copy model artifacts, custom handler and other dependencies
COPY ./custom_text_handler.py /home/model-server/
COPY ./index_to_name.json /home/model-server/
COPY ./model/$APP_NAME/ /home/model-server/

# create torchserve configuration file
USER root
RUN printf "\nservice_envelope=json" >> /home/model-server/config.properties
RUN printf "\ninference_address=http://0.0.0.0:7080" >> /home/model-server/config.properties
RUN printf "\nmanagement_address=http://0.0.0.0:7081" >> /home/model-server/config.properties
USER model-server

# expose health and prediction listener ports from the image
EXPOSE 7080
EXPOSE 7081

# create model archive file packaging model artifacts and dependencies
RUN torch-model-archiver -f \
  --model-name=$APP_NAME \
  --version=1.0 \
  --serialized-file=/home/model-server/pytorch_model.bin \
  --handler=/home/model-server/custom_text_handler.py \
  --extra-files "/home/model-server/config.json,/home/model-server/tokenizer.json,/home/model-server/training_args.bin,/home/model-server/tokenizer_config.json,/home/model-server/special_tokens_map.json,/home/model-server/vocab.txt,/home/model-server/index_to_name.json" \
  --export-path=/home/model-server/model-store

# run Torchserve HTTP serve to respond to prediction requests
CMD ["torchserve", \
     "--start", \
     "--ts-config=/home/model-server/config.properties", \
     "--models", \
     "$APP_NAME=$APP_NAME.mar", \
     "--model-store", \
     "/home/model-server/model-store"]

次に、これらのステップにおける TorchServe と Torch Model Archiver ツールの機能について説明します。

Torch Model Archiver

TorchServe には、PyTorch モデルをデプロイ用にパッケージ化するためのモデルアーカイブユーティリティが用意されています。生成されたモデルのアーカイブファイルは提供時に TorchServe により使用されます。以下は、テキスト分類モデル向けにモデルのアーカイブファイルを生成するために Dockerfile に追加する torch-model-archiver コマンドです。

読み込んでいます...

モデルバイナリ（--serialized-file parameter）: モデルバイナリはシリアル化された Pytorch モデルで、保存されたモデルバイナリ（.bin）ファイルまたはTorchScript - Torch Just In Time（JIT）コンパイラを使用して生成するトレースされたモデル（.pth）ファイルのいずれかとなります。この例では、保存されたモデルバイナリを使用します。これは、前回の投稿で事前トレーニング済みの Hugging Face Transformer モデルを微調整して生成したものです。

注: JIT コンパイラのトレースでは、出力にデバイス依存のオペレーションが含まれることがあります。そのため、モデルのデプロイ先と同じ環境でトレースを生成することをおすすめします。

モデルハンドラ（--handler パラメータ）: モデルハンドラは、TorchServe のデフォルトのハンドラ、またはモデル入力の前処理もしくはモデル出力の後処理を行えるカスタムの TorchServe 推論ロジックをハンドルする Python ファイルへのパスとなります。カスタムハンドラについては、この投稿の前のセクションで定義しました。
追加ファイル（--extra-files パラメータ）: 追加ファイルにより、モデルハンドラが参照する追加ファイルをパッケージ化できます。例として、コマンドに登場するファイルの一部を以下に示します。

index_to_name.json: 先ほど定義したカスタムハンドラでは、後処理のステップで予測ターゲットのインデックスを人間が読めるラベルにマッピングするために index_to_name JSON ファイルが使用されます。
config.json: モデルの読み込みに、AutoModelForSequenceClassification.from_pretrained メソッドに必要です
vocab.txt: トークナイザが使用する vocab ファイルです

TorchServe

TorchServe は、PyTorch モデルを HTTP ウェブサーバーが提供する一連の REST API へとラッピングします。torchserve コマンドを CMD またはカスタムコンテナの ENTRYPOINTに追加すると、このサーバーが起動します。この記事では、予測とヘルスチェックの API のみを紹介します。Vertex エンドポイントの PyTorch 用の Explainable AI API は、現在表形式データのみでサポートされています。

TorchServe Config（--ts-config parameter）: TorchServe config により、推論アドレスと管理ポートをカスタマイズできます。また、service_envelop フィールドを json に構成して、TorchServe の予想される入力形式を表しています。その他のパラメータの構成については、TorchServe ドキュメントをご覧ください。config.properties ファイルを作成し、TorchServe config として渡します。

読み込んでいます...

● モデルストア（--model-store parameter）: ローカルまたはデフォルトのモデルを読み込むことができるモデルストアの場所です

● モデルアーカイブ（--models parameter）: [model_name=]model_location 形式を使用して TorchServe が読み込むモデルです。モデルの場所はモデルストアのモデルアーカイブファイルです。

4. カスタムコンテナイメージをビルドおよび push する

● 次のコマンドを実行して、Dockerfile に基づいてコンテナイメージをビルドし、Container Registry リポジトリと互換性がある名前でタグ付けします。

読み込んでいます...

イメージを Container Registry に push する前に、入力リクエストを docker 内で実行中のローカルの TorchServe デプロイに送信することで、docker イメージをローカルでテストできます。

コンテナイメージをコンテナとしてローカルで実行するには、次のコマンドを実行します。

読み込んでいます...

コンテナのサーバーにヘルスチェックを送信するには、次のコマンドを実行します。

読み込んでいます...

このリクエストではテスト文を使用します。成功すると、サーバーは次の形式で予測を返します。

読み込んでいます...

レスポンスの検証後、サーバーはカスタムハンドラ、モデルのパッケージ、TorchServe config が予想どおりに動作していることを確認します。コンテナを停止すると、TorchServe のローカルサーバーを停止できます。

読み込んでいます...

次に、Container Registry にカスタムコンテナイメージを push します。これは、その次の手順で Vertex Endpoint にデプロイされます。

読み込んでいます...

注: カスタムコンテナイメージは、Container Registry リポジトリでなく Artifact Registry リポジトリに push することもできます。

5. 提供コンテナを Vertex Endpoint にデプロイする

ここまでで、モデルをパッケージ化して提供コンテナイメージをビルドしました。次の手順では、これを Vertex Endpoint にデプロイします。オンライン予測の提供に使用するには、モデルをエンドポイントにデプロイする必要があります。モデルのデプロイでは、少ないレイテンシでオンライン予測を提供できるように、モデルに物理リソースを関連付けます。モデルをアップロードしてエンドポイントにデプロイするには、Vertex SDK for Python を使用します。次の手順は、Vertex Training サービスや、オンプレミスなどの他の場所でトレーニングされたすべてのモデルに適用できます。

モデルをアップロードする

モデルアーティファクトを Vertex AI にアップロードし、デプロイ用にモデルリソースを作成します。この例では、アーティファクトは提供コンテナイメージの URI です。この手順では、predict および health ルート（必須ルート）とコンテナポートも指定する点に注目してください。

読み込んでいます...

モデルのアップロード後は、Google Cloud Console の Vertex AI セクションの [モデル] ページでモデルを確認できます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_LC5PaZs.max-900x900.max-900x900.png

図 2: Google Cloud Console の Vertex AI セクションの [モデル] ページ

エンドポイントを作成する

サービスエンドポイントを作成してモデルをデプロイします。エンドポイントにより、予測リクエストが送信されるサービス URL が提供されます。モデルを既存のエンドポイントにデプロイする場合は、この手順をスキップできます。

読み込んでいます...

エンドポイントが作成されたら、Google Cloud Console の Vertex AI セクションの [エンドポイント] ページでエンドポイントを確認できます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image5_poBVxnv.max-500x500.max-500x500.png

図 3: Google Cloud Console の Vertex AI セクションの [エンドポイント] ページ

モデルをエンドポイントにデプロイする

最後の手順として、モデルをエンドポイントにデプロイします。デプロイメソッドによりモデルがデプロイされ、マシンタイプ、最小および最大のレプリカ数のスケーリング、トラフィック分割などのパラメータが計算されるエンドポイントを指定するためのインターフェースが提供されます。

読み込んでいます...

モデルをエンドポイントにデプロイした後は、Google Cloud Console の Vertex AI セクションの [エンドポイント] ページで、デプロイされたモデルを管理およびモニタリングできます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image4_rQ6YjQB.max-1100x1100.max-1100x1100.png

図 4: Google Cloud Console の Vertex AI セクションの [エンドポイント] でデプロイされたモデルを、管理およびモニタリングする

デプロイをテストする

モデルがデプロイされたので、endpoint.predict() メソッドを使って base64 encoded テキストを予測リクエストに送信すると、レスポンスで予測された感情を取得できます。

読み込んでいます...

または、Vertex Endpoint を呼び出し、gcloud beta ai endpoints predict コマンドを使って予測することもできます。コード全体については、Jupyter Notebook をご覧ください。

環境をクリーンアップする

テストが終了したら、Notebooks インスタンスを停止または削除できます。さらなる料金が発生しないようにするには、Notebook インスタンスを削除します。作業内容を保存する場合は、削除の代わりに、インスタンスの停止も選択できます。

この投稿および前回の投稿で作成したすべての Google Cloud リソースをクリーンアップするには、作成したリソースを個別に削除します。

トレーニングジョブ
モデル
エンドポイント
Cloud Storage バケット
コンテナイメージ

Jupyter Notebook のクリーンアップセクションに沿って、個々のリソースを削除します。

次のステップ

Vertex AI の PyTorch ベースのテキスト分類モデルのトレーニングとハイパーパラメータの調整の続きとして、Vertex Prediction サービスでの PyTorch モデルのデプロイを紹介しました。Vertex Prediction サービスで TorchServe モデルサーバーを実行してカスタムコンテナをデプロイし、トレーニング済みのモデルアーティファクトから予測を提供しました。次のステップとして、Vertex AI のこちらの例を学習してみてください。あるいは、自分の PyTorch モデルを 1 つデプロイしてみてもよいでしょう。

参考資料

このシリーズの次の記事では、Vertex Pipelines を使って機械学習のワークフローをオーケストレートし、トレーニング、ハイパーパラメータの調整、PyTorch モデルのデプロイなどの、これまで紹介した個々のステップを続けて行う方法について学習します。これは、Google Cloud Platform 上での機械学習モデルの CI/CD（継続的インテグレーション / 継続的デリバリー）の基盤となります。

今後の情報にご注目ください。ご精読ありがとうございました。質問がある場合やチャットを希望する場合は、こちらで著者をお探しください。Rajesh [Twitter | LinkedIn] および Vaibhav [LinkedIn]。

記事の作成と推敲に協力してくれた Karl Weinmeister と Jordan Totten に感謝します。

- Cloud カスタマーエンジニア、機械学習スペシャリスト Rajesh Thallam

- Cloud カスタマーエンジニア、機械学習スペシャリスト Vaibhav Singh

投稿先