HuggingFace には、事前トレーニング済みモデル、ファインチューニング スクリプト、開発 API が用意されており、LLM の作成と検出が容易になります。Model Garden は、HuggingFace でサポートされているすべてのテキスト生成推論モデルをサポートしています。
導入について
テキスト生成推論でサポートされているモデルは、Vertex AI または Google Kubernetes Engine（GKE）にデプロイできます。Hugging Face テキスト生成モデルをデプロイするには、Model Garden に移動して、[DEPLOY FROM HUGGING FACE] をクリックします。
Vertex AI にデプロイする
Vertex AI は、社内の MLOps の専門知識がなくても、ML プロジェクトを構築してスケーリングできるマネージド プラットフォームを提供します。Vertex AI は、Hugging Face モデルを提供するダウンストリーム アプリケーションとして使用できます。エンドツーエンドの MLOps 機能、付加価値のある ML 機能、開発の合理化に役立つサーバーレス エクスペリエンスが必要な場合は、Vertex AI を使用することをおすすめします。
使用を開始するには、次の例をご覧ください。
- モデルの中には、詳細なモデルカードと検証済みのデプロイ設定を持つものもあります（google/gemma-7b-it、meta-llama/Llama-2-7b-chat-hf、mistralai/Mistral-7B-v0.1 など）。
- デプロイ設定は検証されているものの、詳細なモデルカード（NousResearch/Genstruct-7B など）がないモデルもあります。
- ai4bharat/Airavata のように、自動的に計算された未検証のデプロイ設定を持っているモデルもあります。
GKE にデプロイする
Google Kubernetes Engine（GKE）は、拡張性、セキュリティ、復元力、費用対効果に優れたマネージド Kubernetes 向けの Google Cloud ソリューションです。既存の Kubernetes への投資があり、組織内に独自の MLOps 専門知識が存在しているか、独自のセキュリティ、データ パイプライン、リソース管理要件に従って複雑な AI / ML ワークロードをきめ細かく制御する必要がある場合は、このオプションをおすすめします。
使用を開始するには、次の例をご覧ください。
- モデルの中には、詳細なモデルカードと検証済みのデプロイ設定を持つものもあります（google/gemma-7b-it、meta-llama/Llama-2-7b-chat-hf、mistralai/Mistral-7B-v0.1 など）。
- デプロイ設定は検証されているものの、詳細なモデルカード（NousResearch/Genstruct-7B など）がないモデルもあります。