Hugging Face モデルを使用する

HuggingFace には、事前トレーニング済みモデル、ファインチューニング スクリプト、開発 API が用意されており、LLM の作成と検出が容易になります。Model Garden は、HuggingFace でサポートされているテキスト エンベディング推論通常の Pytorch 推論テキスト生成推論モデルをサービングできます。

Hugging Face モデルのデプロイ オプション

サポートされている Hugging Face モデルは、Vertex AI または Google Kubernetes Engine(GKE)にデプロイできます。選択するデプロイ オプションは、使用しているモデルと、ワークロードをどの程度制御するかによって異なります。

Vertex AI にデプロイする

Vertex AI は、社内の MLOps の専門知識がなくても、ML プロジェクトを構築してスケーリングできるマネージド プラットフォームを提供します。Vertex AI は、Hugging Face モデルを提供するダウンストリーム アプリケーションとして使用できます。エンドツーエンドの MLOps 機能、付加価値のある ML 機能、開発の合理化に役立つサーバーレス エクスペリエンスが必要な場合は、Vertex AI を使用することをおすすめします。

  1. Vertex AI でサポートされている Hugging Face モデルをデプロイするには、Model Garden に移動します。

    Model Garden に移動

  2. [Hugging Face のオープンソース モデル] セクションに移動し、[もっと見る] をクリックします。

  3. デプロイするモデルを見つけて選択します。

  4. 省略可: [デプロイ環境] で [Vertex AI] を選択します。

  5. 省略可: デプロイの詳細を指定します。

  6. [デプロイ] をクリックします。

使用を開始するには、次の例をご覧ください。

GKE にデプロイする

Google Kubernetes Engine(GKE)は、拡張性、セキュリティ、復元力、費用対効果に優れたマネージド Kubernetes 向けの Google Cloud ソリューションです。既存の Kubernetes への投資があり、組織内に独自の MLOps 専門知識が存在しているか、独自のセキュリティ、データ パイプライン、リソース管理要件に従って複雑な AI / ML ワークロードをきめ細かく制御する必要がある場合は、このオプションをおすすめします。

  1. GKE でサポートされている Hugging Face モデルをデプロイするには、Model Garden に移動します。

    Model Garden に移動

  2. [Hugging Face のオープンソース モデル] セクションに移動し、[もっと見る] をクリックします。

  3. デプロイするモデルを見つけて選択します。

  4. [デプロイ環境] で [GKE] を選択します。

  5. デプロイ手順に沿って操作します。

使用を開始するには、次の例をご覧ください。