Vertex AI Jupyter ノートブック チュートリアル

このドキュメントでは、Vertex AI Jupyter ノートブックのチュートリアルの一覧を示します。これらは、データの前処理、トレーニング、デプロイ、推論でのモデルの使用方法を説明するエンドツーエンドのチュートリアルです。

Jupyter ノートブックをホストできる環境は数多くあります。次のことが可能です。

  • GitHub からダウンロードしてローカルマシンで実行する
  • GitHub からダウンロードして、ローカル ネットワークの Jupyter または JupyterLab サーバーで実行する
  • Colaboratory(Colab)Vertex AI Workbench などのサービスを使用してクラウドで実行する

Colab

簡単に始めるには、Colab で Jupyter ノートブックを実行します。

Colab でノートブックのチュートリアルを開くには、ノートブックの一覧にある Colab のリンクをクリックします。Colab は、必要なすべての依存関係を含む VM インスタンスを作成し、Colab 環境を起動して、ノートブックを読み込みます。

Vertex AI Workbench

ユーザー管理のノートブックを使用してノートブックを実行することもできます。Vertex AI Workbench を使用してユーザー管理ノートブック インスタンスを作成する場合は、ホスト側の VM を完全に制御できます。ホスト側の VM の構成と環境を指定できます。

Vertex AI Workbench インスタンスでノートブックのチュートリアルを開くには:

  1. ノートブックの一覧にある Vertex AI Workbench のリンクをクリックします。リンクをクリックすると、Vertex AI Workbench コンソールが開きます。
  2. [ノートブックへのデプロイ] 画面で、新しい Vertex AI Workbench インスタンスの名前を入力して [作成] をクリックします。
  3. インスタンスの起動後に表示される [ノートブックを開く準備ができました] ダイアログで、[開く] をクリックします。
  4. [Confirm deployment to notebook server] ページで、[Confirm] を選択します。
  5. ノートブックを実行する前に、[Kernel] [Restart Kernel] と [Clear all Outputs] を選択します。

ノートブックの一覧

サービス 説明 開始
表形式データの分類
AutoML 表形式トレーニングと予測
表形式のデータセットに基づいて AutoML モデルをトレーニングして予測する方法を学習します。表形式データの分類についても学習します。

チュートリアルのステップ

  • Vertex AI モデル トレーニング ジョブを作成する。
  • AutoML の表形式モデルをトレーニングする。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • データを送信して予測を行う。
  • Model リソースのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
テキストデータの分類
AutoML テキスト分類モデルの作成、トレーニング、デプロイ
AutoML を使用してテキスト分類モデルをトレーニングする方法を学習します。テキストデータの分類についても学習します。

チュートリアルのステップ

  • Vertex AI データセットを作成する。
  • AutoML テキスト分類 Model リソースをトレーニングする。
  • Model リソースの評価指標を取得する。
  • Endpoint リソースを作成する。
  • Endpoint リソースに Model リソースをデプロイする。
  • オンライン予測を行う。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
画像分類モデルから予測を取得する
AutoML トレーニングで画像分類モデルを使用してバッチ予測を行う
このチュートリアルでは、Python スクリプトから AutoML 画像分類モデルを作成し、Vertex AI SDK を使用してバッチ予測を行います。画像分類モデルからの予測の取得についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
画像分類モデルから予測を取得する
AutoML トレーニングで画像分類モデルを使用してオンライン予測を行う
このチュートリアルでは、Vertex AI SDK を使用して Python スクリプトから AutoML 画像分類モデルを作成し、オンライン予測用にデプロイします。画像分類モデルからの予測の取得についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • Model のデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
AutoML
AutoML トレーニングで画像オブジェクト検出モデルをエッジにエクスポートする
このチュートリアルでは、Vertex AI SDK を使用して Python スクリプトから AutoML 画像オブジェクト検出モデルを作成し、そのモデルを TFLite 形式で Edge モデルとしてエクスポートします。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • Model リソースから Cloud Storage に Edge モデルをエクスポートする。
  • モデルをローカルにダウンロードする。
  • ローカルで予測を行う。
Colab
GitHub
Vertex AI Workbench
画像データのオブジェクト検出
AutoML トレーニングで画像オブジェクト検出モデルを使用してオンライン予測を行う
このチュートリアルでは、Vertex AI SDK を使用して Python スクリプトから AutoML 画像オブジェクト検出モデルを作成してデプロイし、オンライン予測を行います。画像データのオブジェクト検出についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • Model のデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
E2E AutoML の表形式ワークフロー
AutoML 表形式ワークフロー パイプライン
Google Cloud Pipeline コンポーネントからダウンロードした Vertex AI Pipelines を使用して 2 つの回帰モデルを作成する方法を学習します。E2E AutoML の表形式ワークフローについても学習します。

チュートリアルのステップ

  • 時間を節約するために、検索スペースがデフォルトよりも少なくなるようにトレーニング パイプラインを作成する。
  • 前のパイプラインのアーキテクチャ検索結果を再利用して、時間を節約するトレーニング パイプラインを作成する。
Colab
GitHub
Vertex AI Workbench
テキストデータのエンティティ抽出
AutoML トレーニングでテキスト エンティティ抽出モデルを使用してバッチ予測を行う
このチュートリアルでは、Python スクリプトから AutoML テキスト エンティティ抽出モデルを作成し、Vertex AI SDK を使用してバッチ予測を行います。テキストデータのエンティティ抽出についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
AutoML
AutoML トレーニングでテキスト感情分析モデルを使用してバッチ予測を行う
このチュートリアルでは、Python スクリプトから AutoML テキスト感情分析モデルを作成し、Vertex AI SDK を使用してバッチ予測を行います。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
AutoML トレーニング
AutoML トレーニングを使ってみる
AutoML を使用して Vertex AI でトレーニングを行う方法を学習します。AutoML トレーニングについても学習します。

チュートリアルのステップ

  • 画像モデルをトレーニングする。
  • 画像モデルをエッジモデルとしてエクスポートする。
  • 表形式モデルをトレーニングする。
  • 表形式のモデルをクラウドモデルとしてエクスポートする。
  • テキストモデルをトレーニングする。
  • 動画モデルをトレーニングする。
Colab
GitHub
Vertex AI Workbench
表形式データの階層予測
AutoML トレーニングで階層予測モデルを使用してバッチ予測を行う
このチュートリアルでは、AutoML 階層予測モデルを作成し、Vertex AI SDK for Python を使用してバッチ予測用にデプロイします。表形式データの階層予測についても学習します。

チュートリアルのステップ

  • Vertex AI TimeSeriesDataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
画像データのオブジェクト検出
AutoML トレーニングで画像オブジェクト検出モデルを使用してバッチ予測を行う
このチュートリアルでは、Python スクリプトから AutoML 画像オブジェクト検出モデルを作成し、Vertex AI SDK を使用してバッチ予測を行います。画像データのオブジェクト検出についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
表形式データの予測
バッチ予測用の AutoML 表形式予測モデル
Python スクリプトから AutoML 表形式の予測モデルを作成し、Vertex AI SDK を使用してバッチ予測を行う方法を学習します。表形式データの予測についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • AutoML 表形式予測の Model リソースをトレーニングする。
  • Model リソースの評価指標を取得する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
表形式データの回帰
AutoML トレーニングで表形式回帰モデルを作成し、BigQuery を使用してバッチ予測を行う
AutoML 表形式の回帰モデルを作成し、Vertex AI SDK for Python を使用してバッチ予測用にデプロイする方法を学習します。表形式データの回帰についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • Model のデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
表形式データの回帰
AutoML トレーニングで表形式回帰モデルを作成し、BigQuery を使用してオンライン予測を行う
Python スクリプトから AutoML 表形式の回帰モデルを作成し、Vertex AI SDK を使用してオンライン予測用にデプロイする方法を学習します。表形式データの回帰についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • Model のデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
テキストデータのエンティティ抽出
AutoML トレーニングでテキスト エンティティ抽出モデルを使用してオンライン予測を行う
AutoML テキスト エンティティ抽出モデルを作成し、Vertex AI SDK for Python を使用して Python スクリプトからバッチ予測用にモデルをデプロイします。テキストデータのエンティティ抽出についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • Model のデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
テキストデータの感情分析
AutoML テキスト感情分析モデルをオンライン予測用にトレーニングする
Vertex AI SDK を使用して Python スクリプトから AutoML テキスト感情分析モデルを作成し、オンライン予測用にデプロイする方法を学習します。テキストデータの感情分析についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • データセットの AutoML モデルのトレーニング ジョブを作成する。
  • モデルの評価指標を表示する。
  • サービスを提供する Vertex AI Endpoint に Vertex AI Model リソースをデプロイする。
  • デプロイされたモデルに予測リクエストを送信する。
  • エンドポイントからモデルのデプロイを解除する。
  • クリーンアップ プロセスを実行する。
Colab
GitHub
Vertex AI Workbench
動画データの動作認識
AutoML トレーニングでのバッチ予測用の動画動作認識モデル
Python スクリプトから AutoML 動画動作認識モデルを作成し、Vertex AI SDK を使用してバッチ予測を行う方法を学習します。動画データの動作認識についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
動画データの分類
AutoML トレーニングで動画分類モデルを使用してバッチ予測を行う
Python スクリプトから AutoML 動画分類モデルを作成し、Vertex AI SDK を使用してバッチ予測を行う方法を学習します。動画データの分類についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
動画データのオブジェクト トラッキング
AutoML トレーニングでのバッチ予測用の動画オブジェクト トラッキング モデル
Python スクリプトから AutoML 動画オブジェクト トラッキング モデルを作成し、Vertex AI SDK を使用してバッチ予測を行う方法を学習します。動画データのオブジェクト トラッキングについても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
BigQuery ML
BigQuery ML トレーニングを使ってみる
BigQuery ML を使用して Vertex AI でトレーニングを行う方法を学習します。BigQuery ML についても学習します。

チュートリアルのステップ

  • プロジェクトにローカル BigQuery テーブルを作成する
  • BigQuery ML モデルをトレーニングする
  • BigQuery ML モデルを評価する
  • BigQuery ML モデルをクラウドモデルとしてエクスポートする
  • Vertex AI Model リソースとしてモデルをアップロードする
  • Vertex AI Vizier を使用して BigQuery ML モデルのハイパーパラメータをチューニングする
  • BigQuery ML モデルを Vertex AI Model Registry に自動的に登録する
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
Vertex AI Prediction
FastAPI と Vertex AI カスタム コンテナ サービスを使用した Iris 検出モデルのデプロイ
Vertex AI でカスタム分類モデルを作成、デプロイ、提供する方法を学習します。カスタム トレーニングについても学習します。Vertex AI Prediction についても学習します。

チュートリアルのステップ

  • 花の測定値を入力として使用し、アヤメの種類を予測するモデルをトレーニングする。
  • モデルとシリアル化されたプリプロセッサを保存する。
  • 予測とヘルスチェックを処理する FastAPI サーバーを構築する。
  • モデル アーティファクトを使用してカスタム コンテナをビルドする。
  • カスタム コンテナをアップロードして Vertex AI エンドポイントにデプロイする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
BigQuery データでの TensorFlow モデルのトレーニング
Vertex AI SDK for Python を使用して Docker コンテナで Python スクリプトからカスタム トレーニング済みモデルを作成し、データを送信してデプロイ済みモデルから予測を取得する方法を学習します。Vertex AI Training についても学習します。

チュートリアルのステップ

  • モデルをトレーニングするための Vertex AI カスタム TrainingPipeline を作成する。
  • TensorFlow モデルをトレーニングする。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • Model リソースのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
カスタム トレーニング コンテナを使用したカスタム トレーニングとモデルの自動登録
このチュートリアルでは、Vertex AI SDK を使用してカスタム Docker コンテナで Python スクリプトからカスタムモデルを作成し、Vertex AI Model Registry にモデルを自動的に登録します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • カスタム コンテナを使用して TensorFlow モデルをトレーニングして登録する。
  • Vertex AI Model Registry から登録済みモデルのリストを取得する。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard Profiler
Profiler を使用してモデルのトレーニング パフォーマンスのプロファイルを作成する
カスタム トレーニング ジョブで Vertex AI TensorBoard Profiler を有効にする方法を学習します。Vertex AI TensorBoard Profiler についても学習します。

チュートリアルのステップ

  • サービス アカウントと Cloud Storage バケットを設定する
  • Vertex AI TensorBoard インスタンスを作成する
  • カスタム トレーニング ジョブを作成して実行する
  • Vertex AI TensorBoard Profiler ダッシュボードを表示する
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
XGBoost 用 Vertex AI Training を使ってみる
Vertex AI Training を使用して XGBoost カスタムモデルをトレーニングする方法を学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • Python パッケージを使用してトレーニングを行う。
  • ハイパーパラメータ チューニングの実行中に精度を報告する。
  • Cloud StorageFuse を使用して、モデル アーティファクトを Cloud Storage に保存する。
  • Vertex AI Model リソースを作成する。
Colab
GitHub
Vertex AI Workbench
デプロイ間の共有リソース
Endpoint と共有 VM を使ってみる
モデルのデプロイにデプロイ リソースプールを使用する方法を学習します。デプロイ間の共有リソースについても学習します。

チュートリアルのステップ

  • 事前トレーニング済みの画像分類モデルを Model リソース(モデル A)としてアップロードする。
  • 事前トレーニング済みのテキスト センテンス エンコーダ モデルを Model リソース(モデル B)としてアップロードする。
  • 共有 VM デプロイ リソースプールを作成する。
  • 共有 VM デプロイ リソースプールを一覧表示する。
  • 2 つの Endpoint リソースを作成する。
  • デプロイ リソースプールを使用して、最初のモデル(モデル A)を最初の Endpoint リソースにデプロイする。
  • デプロイ リソースプールを使用して、2 番目のモデル(モデル B)を 2 番目の Endpoint リソースにデプロイする。
  • 最初にデプロイされたモデル(モデル A)を使用して予測リクエストを行う。
  • 2 番目にデプロイされたモデル(モデル B)を使用して予測リクエストを行う。
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
Vertex AI Batch Prediction
カスタム トレーニングとバッチ予測
Vertex AI Training を使用してカスタム トレーニングされたモデルを作成し、Vertex AI Batch Prediction を使用してトレーニング済みモデルに対するバッチ予測を行う方法を学習します。カスタム トレーニングについても学習します。Vertex AI Batch Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニング済みモデルのアーティファクトを Model リソースとしてアップロードする。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
Vertex AI Prediction
カスタム トレーニングとオンライン予測
Vertex AI Training を使用して Docker コンテナで Python スクリプトからカスタム トレーニング モデルを作成する方法と、データを送信して Vertex AI Prediction でデプロイ済みモデルに対して予測を行う方法を学習します。カスタム トレーニングについても学習します。Vertex AI Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニング済みモデルのアーティファクトを Model リソースにアップロードする。
  • サービスを提供する Endpoint リソースを作成する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • Model リソースのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
BigQuery データセット
BigQuery ユーザー用 Vertex AI
BigQuery データセットを使ってみる
Vertex AI でトレーニング用データセットとして BigQuery を使用する方法を学習します。BigQuery データセットについても学習します。BigQuery ユーザー用 Vertex AI についても学習します。

チュートリアルのステップ

  • AutoML トレーニングと互換性のある BigQuery テーブルから Vertex AI Dataset リソースを作成する。
  • AutoML またはカスタム トレーニングと互換性のある Cloud Storage 内の CSV ファイルに、BigQuery からデータセットのコピーを抽出する。
  • BigQuery データセットから、カスタム トレーニングと互換性のある Pandas DataFrame に変換する行を選択する。
  • BigQuery データセットから、カスタム トレーニングの TensorFlow モデルと互換性のある tf.data.Dataset に変換する行を選択する。
  • 抽出された CSV ファイルから、カスタム トレーニングの TensorFlow モデルと互換性のある tf.data.Dataset に変換する行を選択する。
  • CSV ファイルから BigQuery データセットを作成する。
  • BigQuery テーブルから、カスタム トレーニングの XGBoost モデルと互換性のある DMatrix にデータを抽出する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Data Labeling
Vertex AI Data Labeling を使ってみる
Vertex AI Data Labeling サービスの使用方法を学習します。Vertex AI Data Labeling についても学習します。

チュートリアルのステップ

  • データラベラー用のスペシャリスト プールを作成する。
  • データラベル付けジョブを作成する。
  • データラベル付けジョブを送信する。
  • データラベル付けジョブの一覧を取得する。
  • データラベル付けジョブをキャンセルする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
Vertex ML Metadata
カスタム トレーニング用の Vertex AI Experiment リネージを構築する
Vertex AI のテストに前処理コードを統合する方法を学習します。Vertex AI Experiments についても学習します。Vertex ML Metadata についても学習します。

チュートリアルのステップ

  • データ前処理のモジュールを実行する
  • データセット アーティファクトを作成する
  • パラメータをログに記録する
  • モデルをトレーニングするためのモジュールを実行する
  • パラメータをログに記録する
  • モデル アーティファクトを作成する
  • データセット、モデル、パラメータにトラッキング リネージを割り当てる
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
ローカルでトレーニングされたモデルのパラメータと指標を追跡する
Vertex AI Experiments を使用してモデルのテストを比較し、評価する方法を学習します。Vertex AI Experiments についても学習します。

チュートリアルのステップ

  • モデル パラメータをログに記録する
  • 各エポックの損失と指標を Vertex AI TensorBoard に記録する
  • 評価指標をログに記録する
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
Vertex AI Pipelines
Vertex AI Experiments でパイプライン実行を比較する
Vertex AI Experiments を使用してパイプライン ジョブを記録し、さまざまなパイプライン ジョブを比較する方法を学習します。Vertex AI Experiments についても学習します。Vertex AI Pipelines についても学習します。

チュートリアルのステップ

  • トレーニング コンポーネントを形式化する
  • トレーニング パイプラインを構築する
  • 複数のパイプライン ジョブを実行し、結果をログに記録する
  • さまざまなパイプライン ジョブを比較する
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Vertex AI TensorBoard で古いテストを削除する
不要なストレージ コストを回避するため、古い Vertex AI TensorBoard テストを削除する方法を学習します。Vertex AI Tensorboard についても学習します。

チュートリアルのステップ

  • 事前定義された Key-Value ラベルペア <label_key, label_value=""></label_key,> を使用して TB のテストを削除する方法
  • create_time より前に作成された TB テストを削除する方法
  • update_time より前に作成された TB テストを削除する方法
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
カスタム トレーニングの自動ロギング - ローカル スクリプト
Vertex AI Experiments との統合を使用して、Vertex AI Training で実行する ML テストのパラメータと指標を自動ロギングする方法を学習します。Vertex AI Experiments についても学習します。

チュートリアルのステップ

  • スクリプトでモデルのテストを形式化する
  • Vertex AI Training でローカル スクリプトを使用してモデル トレーニングを実行する
  • Vertex AI Experiments で ML のテスト パラメータと指標を確認する
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
Vertex ML Metadata
カスタム トレーニング
Vertex AI Experiments を使ってみる
Vertex AI でトレーニングする際に Vertex AI Experiments を使用する方法を学習します。Vertex AI Experiments についても学習します。Vertex ML Metadata についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • ローカル(ノートブック)トレーニング
  • テストを作成する
  • テストの初回実行を作成する
  • パラメータと指標をログに記録する
  • アーティファクト リネージを作成する
  • テスト結果を可視化する
  • 2 回目の実行を行う
  • テストで 2 つの実行を比較する
  • クラウド(Vertex AI)トレーニング
  • トレーニング スクリプト内
Colab
GitHub
Vertex AI Workbench
Vertex AI Experiments
自動ロギング
Vertex AI 自動ロギングの使用方法を学習します。

チュートリアルのステップ

  • Vertex AI SDK で自動ロギングを有効にする。
  • scikit-learn モデルをトレーニングし、Vertex AI Experiments に自動ロギングされた指標とパラメータで実行されたテスト結果を確認する(テストの実行は設定しません)。
  • TensorFlow モデルをトレーニングし、aiplatform.start_run() と aiplatform.end_run() でテスト実行を手動で設定して、Vertex AI Experiments に自動ロギングされた指標とパラメータを確認する。
  • Vertex AI SDK で自動ロギングを無効にして PyTorch モデルをトレーニングし、パラメータや指標がログに記録されていないことを確認する。
Colab
GitHub
Vertex AI Workbench
表形式データの分類
Vertex Explainable AI
AutoML トレーニングでのバッチ説明用の表形式バイナリ分類モデル
AutoML を使用して Python スクリプトから表形式のバイナリ分類モデルを作成し、Vertex AI Batch Prediction を使用して説明付きの予測を行う方法を学習します。表形式データの分類についても学習します。Vertex Explainable AIについても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • AutoML 表形式バイナリ分類モデルをトレーニングする。
  • トレーニングされたモデルのモデル評価指標を表示する。
  • 説明付きのバッチ予測リクエストを行う。
Colab
GitHub
Vertex AI Workbench
表形式データの分類
Vertex Explainable AI
AutoML トレーニングでのオンライン説明用の表形式分類モデル
AutoML を使用して Python スクリプトから表形式のバイナリ分類モデルを作成し、Vertex AI Online Porediction を使用して説明付きのオンライン予測を行う方法を学習します。表形式データの分類についても学習します。Vertex Explainable AIについても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • AutoML 表形式バイナリ分類モデルをトレーニングする。
  • トレーニングされたモデルのモデル評価指標を表示する。
  • サービスを提供する Endpoint リソースを作成する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 説明付きのオンライン予測リクエストを行う。
  • Model リソースのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Batch Prediction
カスタム トレーニングでの説明付きバッチ予測用の画像分類モデル
Vertex AI Training と Explainable AI を使用して説明付きのカスタム画像分類モデルを作成し、Vertex AI Batch Prediction を使用して説明付きのバッチ予測リクエストを行う方法を学習します。Vertex Explainable AIについても学習します。Vertex AI Batch Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニングされたモデルのモデル評価を表示する。
  • モデルがデプロイされたときの説明パラメータを設定する。
  • トレーニング済みモデルのアーティファクトと説明パラメータを Model リソースとしてアップロードする。
  • 説明付きのバッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
カスタム トレーニングでの説明付きオンライン予測用の画像分類モデル
Vertex AI Training と Explainable AI を使用して説明付きのカスタム画像分類モデルを作成し、Vertex AI Prediction を使用して説明付きのオンライン予測リクエストを行う方法を学習します。Vertex Explainable AIについても学習します。Vertex AI Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニングされたモデルのモデル評価を表示する。
  • モデルがデプロイされたときの説明パラメータを設定する。
  • トレーニング済みモデルのアーティファクトと説明を Model リソースとしてアップロードする。
  • サービスを提供する Endpoint リソースを作成する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 説明付きの予測を行います。
  • Model リソースのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Batch Prediction
説明付きのバッチ予測用の表形式回帰モデルのカスタム トレーニング
Vertex AI Training と Explainable AI を使用して説明付きのカスタム画像分類モデルを作成し、Vertex AI Batch Prediction を使用して説明付きのバッチ予測リクエストを行う方法を学習します。Vertex Explainable AIについても学習します。Vertex AI Batch Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニングされたモデルのモデル評価を表示する。
  • モデルがデプロイされたときの説明パラメータを設定する。
  • トレーニング済みモデルのアーティファクトと説明を Model リソースとしてアップロードする。
  • 説明付きのバッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
説明付きのオンライン予測に使用する表形式回帰モデルのカスタム トレーニング
Vertex AI Training と Explainable AI を使用して説明付きのカスタム画像分類モデルを作成し、Vertex AI Prediction を使用して説明付きのオンライン予測リクエストを行う方法を学習します。Vertex Explainable AIについても学習します。Vertex AI Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニングされたモデルのモデル評価を表示する。
  • モデルがデプロイされたときの説明パラメータを設定する。
  • トレーニング済みモデルのアーティファクトと説明を Model リソースとしてアップロードする。
  • サービスを提供する Endpoint リソースを作成する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 説明付きの予測を行います。
  • Model リソースのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
get_metadata を使用した説明付きのオンライン予測用の表形式回帰モデルのカスタム トレーニング
Vertex AI SDK を使用して Google のビルド済み Docker コンテナで Python スクリプトからカスタムモデルを作成し、データを送信してデプロイ済みモデルに対する予測を行う方法を学習します。Vertex Explainable AIについても学習します。Vertex AI Prediction についても学習します。

チュートリアルのステップ

  • モデルのトレーニング用の Vertex カスタムジョブを作成する。
  • TensorFlow モデルをトレーニングする。
  • モデル アーティファクトを取得して読み込む。
  • モデルの評価を表示する。
  • 説明パラメータを設定する。
  • モデルを Vertex AI Model リソースとしてアップロードする。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 説明付きの予測を行います。
  • Model リソースのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex AI Prediction
Vertex Explainable AI で画像分類を説明する
事前トレーニング済みの画像分類モデルで特徴ベースの説明を構成し、説明付きのオンライン予測とバッチ予測を行う方法を学習します。Vertex Explainable AIについても学習します。Vertex AI Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow Hub から事前トレーニング済みモデルをダウンロードする
  • デプロイするモデルをアップロードする
  • オンライン予測用のモデルをデプロイする
  • 説明付きのオンライン予測を行う
  • 説明付きのバッチ予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex Explainable AI
Vertex Explainable AI でテキスト分類を説明する
説明付きのオンライン予測用の TensorFlow テキスト分類モデルで、サンプリングされた Shapley 方式を使用して特徴ベースの説明を構成する方法を学習します。Vertex Explainable AIについても学習します。

チュートリアルのステップ

  • TensorFlow テキスト分類モデルの構築とトレーニングを行う
  • デプロイするモデルをアップロードする
  • オンライン予測用のモデルをデプロイする
  • 説明付きのオンライン予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
ストリーミング インポート SDK
Vertex AI SDK の write_feature_values メソッドを使用して、Pandas DataFrame から Vertex AI Feature Store に特徴をインポートする方法を学習します。Vertex AI Feature Store についても学習します。

チュートリアルのステップ

  • featurestore を作成する。
  • featurestore に新しいエンティティ タイプを作成する。
  • Pandas DataFrame から featurestore のエンティティ タイプに特徴値をインポートする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Vertex AI Feature Store を使用した BigQuery データのオンライン特徴サービングと取得
オンラインの Feature Store インスタンスを作成して使用し、特徴値のサービングと取得を行うユーザー ジャーニーのエンドツーエンド ワークフローで、Vertex AI Feature Store を使用して BigQuery でデータをホストして提供する方法を学習します。Vertex AI Feature Store についても学習します。

チュートリアルのステップ

  • データをホストして提供するためのオンライン特徴ストア インスタンスをプロビジョニングする。
  • オンライン特徴ストア インスタンスで BigQuery ビューを登録し、同期ジョブを設定する。
  • オンライン サーバーを使用して、オンライン予測の特徴値を取得する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Vertex AI Feature Store Optimized Serving を使用した BigQuery データのオンライン特徴サービングと取得
オンラインの Feature Store インスタンスを作成して使用し、特徴値のサービングと取得を行うエンドツーエンド ワークフローで、Vertex AI Feature Store を使用して BigQuery でデータをホストして提供する方法を学習します。Vertex AI Feature Store についても学習します。

チュートリアルのステップ

  • パブリックまたはプライベートのエンドポイントで、最適化されたオンライン サービングを使用して、データをホストして提供するオンライン特徴ストア インスタンスをプロビジョニングする。
  • オンライン特徴ストア インスタンスで BigQuery ビューを登録し、同期ジョブを設定する。
  • オンライン サーバーを使用して、オンライン予測の特徴値を取得する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Vertex AI Feature Store を使用した BigQuery データのオンライン特徴サービングとベクトル取得
オンラインの Feature Store インスタンスを作成して使用し、特徴サービングとベクトル取得を行うユーザー ジャーニーのエンドツーエンド ワークフローで、Vertex AI Feature Store を使用して BigQuery でデータをホストして提供する方法を学習します。Vertex AI Feature Store についても学習します。

チュートリアルのステップ

  • データをホストして提供するためのオンライン特徴ストア インスタンスをプロビジョニングする。
  • BigQuery テーブルを提供するオンライン特徴ストア インスタンスを作成する。
  • オンライン サーバーを使用して最近傍を探索する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Pandas Dataframe で Vertex AI Feature Store(従来版)を使用する
Pandas Dataframe で Vertex AI Feature Store を使用する方法を学習します。Vertex AI Feature Store についても学習します。

チュートリアルのステップ

  • Featurestore、EntityType、Feature リソースを作成する。
  • Pandas DataFrame からエンティティ タイプに特徴値をインポートする。
  • オンライン特徴ストアから Pandas DataFrame にエンティティの特徴値を読み取る。
  • featurestore から Pandas DataFrame に特徴値をバッチ サービングする。
  • 更新された特徴値を使用してオンライン サービングを行う。
  • トレーニング用の特徴値を取得するための現時点で訂正を行う。
Colab
GitHub
Vertex AI Workbench
Vertex AI Feature Store
Vertex AI Feature Store(従来版)を使用したオンライン予測とバッチ予測
Vertex AI Feature Store を使用して特徴データをインポートし、オンライン サービングとオフライン タスク(トレーニングなど)の両方の特徴データにアクセスする方法を学習します。Vertex AI Feature Store についても学習します。

チュートリアルのステップ

  • Featurestore、EntityType、Feature リソースを作成する。
  • 特徴データを Featurestore リソースにインポートする。
  • インポートされた特徴を使用してオンラインの予測リクエストを処理する。
  • オフラインのジョブ(トレーニング ジョブなど)でインポートされた特徴にアクセスする。
  • ストリーミング インポートを使用して少量のデータをインポートする。
Colab
GitHub
Vertex AI Workbench
Vertex AI での生成 AI に関するサポートの概要
Vertex AI LLM 評価とバッチ推論
Vertex AI を使用して大規模言語モデルを評価する方法を学習します。Vertex AI での Generi AI サポートの概要についても学習します。

チュートリアルのステップ

  • 一括推論用の事前定義テンプレートを使用して、Vertex AI Pipeline ジョブを作成する。
  • Vertex AI Pipelines を使用してパイプラインを実行する。
  • 与えられたデータセットのモデルに対して予測結果を生成する。
GitHub
Vertex AI Workbench
RLHF チューニングでテキストモデルを調整する
Vertex AI LLM の人間からのフィードバックを用いた強化学習
このチュートリアルでは、Vertex AI RLHF を使用して大規模言語モデルのモデルをチューニングし、デプロイします。RLHF チューニングを使用したテキストモデルのチューニングについても学習します。

チュートリアルのステップ

  • モデルのチューニング ステップの数を設定する。
  • チューニング用の事前定義テンプレートを使用して、Vertex AI Pipeline ジョブを作成する。
  • Vertex AI Pipelines を使用してパイプラインを実行する。
  • チューニングしたモデルでオンライン予測を実行する。
Colab
GitHub
Vertex AI Workbench
テキスト エンベディング
エンベディングを使用したセマンティック検索
このチュートリアルでは、テキストから生成されたエンベディングを作成し、セマンティック検索を行う方法を学習します。テキスト エンベディングについても学習します。

チュートリアルのステップ

  • インストールとインポート
  • エンべディング データセットを作成する
  • インデックスを作成する
  • インデックスをクエリする
Colab
GitHub
Vertex AI Workbench
テキスト エンベディング API
テキスト エンベディングの新しい API
テキスト エンベディングの最新 API を 2 つの新しいモデル(textembedding-gecko@002 と textembedding-gecko-multilingual@001)で呼び出す方法を学習します。 テキスト エンベディング API についても学習します。

チュートリアルのステップ

  • インストールとインポート
  • エンべディングを生成する
Colab
GitHub
Vertex AI Workbench
教師ありチューニングを使用してテキストモデルをチューニングする
Vertex AI チューニング PEFT モデル
Vertex AI LLM を使用して PEFT 大規模言語モデルのチューニングとデプロイを行う方法を学習します。教師ありチューニングを使用したテキストモデルのチューニングについても学習します。

チュートリアルのステップ

  • Vertex AI LLM モデルを取得する。
  • モデルをチューニングする。
  • これにより、Vertex AI エンドポイントが自動的に作成され、モデルがデプロイされます。
  • Vertex AI LLM を使用して予測を行う。
  • Vertex AI Prediction を使用して予測を行う。
Colab
GitHub
Vertex AI Workbench
PaLM API
大規模言語モデルで Vertex AI SDK を使用する
Vertex AI で利用可能な大規模言語モデルにテキスト入力を提供し、生成 AI 言語モデルのテスト、調整、デプロイを行う方法を学習します。PaLM API についても学習します。

チュートリアルのステップ

  • Vertex AI PaLM API の予測エンドポイントを使用して、メッセージに対する生成 AI のレスポンスを受け取る。
  • テキスト エンベディング エンドポイントを使用して、メッセージのベクトル表現を受け取る。
  • 入出力トレーニング データに基づいて、LLM の迅速なチューニングを行う。
Colab
GitHub
Vertex AI Workbench
ベクトル検索
Vertex AI マルチモーダル エンベディングとベクトル検索の使用
カスタム テキストのエンベディングをエンコードし、近似最近傍インデックスを作成して、インデックスに対してクエリを実行する方法を学習します。

チュートリアルのステップ

  • 画像データセットをエンベディングに変換する
  • インデックスを作成する
  • エンベディングをインデックスにアップロードする
  • インデックス エンドポイントを作成する
  • インデックスをインデックス エンドポイントにデプロイする
  • オンライン クエリを実行する
Colab
GitHub
Vertex AI Workbench
ベクトル検索
StackOverflow の質問にベクトル検索を使用する
カスタム テキストのエンベディングをエンコードし、近似最近傍インデックスを作成して、インデックスに対してクエリを実行する方法を学習します。ベクトル検索についても学習します。

チュートリアルのステップ

  • ANN インデックスを作成する
  • VPC ネットワークでインデックス エンドポイントを作成する
  • ANN インデックスをデプロイする
  • オンライン クエリを実行する
Colab
GitHub
Vertex AI Workbench
ベクトル検索
テキスト用の Vertex AI エンベディング
StackOverflow 質問のテキストにベクトル検索と Vertex AI エンべディングを使用する
テキストのエンベディングをエンコードし、近似最近傍インデックスを作成して、インデックスに対してクエリを実行する方法を学習します。ベクトル検索についても学習します。テキスト用の Vertex AI エンべディングについても学習します。

チュートリアルのステップ

  • BigQuery データセットをエンベディングに変換する
  • インデックスを作成する
  • エンベディングをインデックスにアップロードする
  • インデックス エンドポイントを作成する
  • インデックスをインデックス エンドポイントにデプロイする
  • オンライン クエリを実行する
Colab
GitHub
Vertex AI Workbench
ベクトル検索
ベクトル検索インデックスを作成する
近似最近傍インデックスを作成し、インデックスに対してクエリを実行して、インデックスのパフォーマンスを検証する方法を学習します。ベクトル検索についても学習します。

チュートリアルのステップ

  • ANN インデックスとブルート フォース インデックスを作成する
  • VPC ネットワークで IndexEndpoint を作成する
  • ANN インデックスとブルート フォース インデックスをデプロイする
  • オンライン クエリを実行する
  • 再現率を計算する
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
画像データの分類
AutoML の画像分類
AutoML を使用して画像モデルをトレーニングし、Vertex AI Prediction と Vertex AI Batch Prediction を使用してオンライン予測とバッチ予測を行う方法を学習します。Vertex AI への移行についても学習します。画像データの分類についても学習します。

チュートリアルのステップ

  • AutoML 画像分類モデルをトレーニングする
  • バッチ予測を行う。
  • エンドポイントにモデルをデプロイする
  • オンライン予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
画像データのオブジェクト検出
AutoML 画像オブジェクト検出
AutoML を使用して画像モデルをトレーニングし、Vertex AI Prediction と Vertex AI Batch Prediction を使用してオンライン予測とバッチ予測を行う方法を学習します。Vertex AI への移行についても学習します。画像データのオブジェクト検出についても学習します。

チュートリアルのステップ

  • AutoML オブジェクト検出モデルをトレーニングする。
  • バッチ予測を行う。
  • エンドポイントにモデルをデプロイする
  • オンライン予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
動画データのオブジェクト トラッキング
AutoML 動画オブジェクト トラッキング
AutoML を使用して動画モデルをトレーニングし、Vertex AI Batch Prediction を使用してバッチ予測を行う方法を学習します。Vertex AI への移行についても学習します。動画データのオブジェクト トラッキングについても学習します。

チュートリアルのステップ

  • AutoML 動画オブジェクト トラッキング モデルをトレーニングする。
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
表形式データの分類
AutoML 表形式のバイナリ分類
このチュートリアルでは、Vertex AI SDK を使用して Python スクリプトから AutoML 表形式バイナリ分類モデルを作成し、オンライン予測用にデプロイします。Vertex AI への移行についても学習します。表形式データの分類についても学習します。

チュートリアルのステップ

  • Vertex AI Dataset リソースを作成する。
  • モデルをトレーニングする。
  • モデルの評価を表示する。
  • サービスを提供する Endpoint リソースに Model リソースをデプロイする。
  • 予測を行う。
  • モデルのデプロイを解除する。
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
テキストデータの分類
AutoML テキスト分類
このノートブックの目的は、AutoML テキスト分類モデルを構築することです。Vertex AI への移行についても学習します。テキストデータの分類についても学習します。

チュートリアルのステップ

  • タスク名と Cloud Storage 接頭辞を設定する
  • マネージド データセットを作成するために AutoML テキストデモのトレーニング データをコピーする
  • Vertex AI でデータセットを作成する。
  • トレーニング ジョブを構成する
  • Vertex AI でトレーニング ジョブを起動してモデルを作成する
  • バッチ予測ジョブを作成するために AutoML テキストデモ予測データをコピーする
  • モデルでバッチ予測ジョブを実行する
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
テキストデータのエンティティ抽出
AutoML テキスト エンティティ抽出
このノートブックの目的は、AutoML テキスト エンティティ抽出モデルを構築することです。Vertex AI への移行についても学習します。テキストデータのエンティティ抽出についても学習します。

チュートリアルのステップ

  • タスク名と Cloud Storage 接頭辞を設定する
  • マネージド データセットを作成するために AutoML 動画デモのトレーニング データをコピーする
  • Vertex AI でデータセットを作成する。
  • トレーニング ジョブを構成する
  • Vertex AI でトレーニング ジョブを起動してモデルを作成する
  • バッチ予測ジョブを作成するために AutoML 動画デモ予測データをコピーする
  • モデルでバッチ予測ジョブを実行する
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
テキストデータの感情分析
AutoML テキスト感情分析
このノートブックの目的は、AutoML テキスト感情分析モデルを構築することです。Vertex AI への移行についても学習します。テキストデータの感情分析についても学習します。

チュートリアルのステップ

  • マネージド データセットを作成するために AutoML 動画デモのトレーニング データをコピーする
  • Vertex AI でデータセットを作成する。
  • トレーニング ジョブを構成する
  • Vertex AI でトレーニング ジョブを起動してモデルを作成する
  • バッチ予測ジョブを作成するために AutoML 動画デモ予測データをコピーする
  • モデルでバッチ予測ジョブを実行する
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
動画データの分類
AutoML 動画分類
AutoML を使用して動画モデルをトレーニングし、Vertex AI Batch Prediction を使用してバッチ予測を行う方法を学習します。Vertex AI への移行についても学習します。動画データの分類についても学習します。

チュートリアルのステップ

  • AutoML 動画分類モデルをトレーニングする
  • バッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
カスタム トレーニング
カスタム トレーニング コンテナを使用したカスタム画像分類
カスタム コンテナと Vertex AI Training を使用して TensorFlow 画像分類モデルをトレーニングする方法を学習します。Vertex AI への移行についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • トレーニング コードを Python アプリケーションにパッケージ化する。
  • Cloud Build と Artifact Registry を使用してトレーニング アプリケーションをコンテナ化する。
  • Vertex AI でカスタム コンテナ トレーニング ジョブを作成して実行する。
  • トレーニング ジョブから生成されたモデルを評価する。
  • Vertex AI Model Registry でトレーニング済みモデルのモデルリソースを作成する。
  • Vertex AI のバッチ予測ジョブを実行する。
  • モデルリソースを Vertex AI Endpoint にデプロイする。
  • モデルリソースに対してオンライン予測ジョブを実行する。
  • 作成したリソースをクリーンアップする。
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
カスタム トレーニング
ビルド済みトレーニング コンテナを使用したカスタム画像分類
ビルド済みコンテナと Vertex AI Training を使用して TensorFlow 画像分類モデルをトレーニングする方法を学習します。Vertex AI への移行についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • トレーニング コードを Python アプリケーションにパッケージ化する。
  • Cloud Build と Artifact Registry を使用してトレーニング アプリケーションをコンテナ化する。
  • Vertex AI でカスタム コンテナ トレーニング ジョブを作成して実行する。
  • トレーニング ジョブから生成されたモデルを評価する。
  • Vertex AI Model Registry でトレーニング済みモデルのモデルリソースを作成する。
  • Vertex AI のバッチ予測ジョブを実行する。
  • モデルリソースを Vertex AI Endpoint にデプロイする。
  • モデルリソースに対してオンライン予測ジョブを実行する。
  • 作成したリソースをクリーンアップする。
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
カスタム トレーニング
ビルド済みトレーニング コンテナを使用したカスタム Scikit-Learn モデル
Vertex AI Training を使用してカスタム トレーニングされたモデルを作成し、Vertex AI Batch Prediction を使用してトレーニング済みモデルに対するバッチ予測を行う方法を学習します。Vertex AI への移行についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • scikitlearn モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニング済みモデルのアーティファクトを Model リソースとしてアップロードする。
  • バッチ予測を行う。
  • エンドポイントにモデルをデプロイする
  • オンライン予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
カスタム トレーニング
ビルド済みトレーニング コンテナを使用したカスタム XGBoost モデル
Vertex AI Training を使用してカスタム トレーニングされたモデルを作成し、Vertex AI Batch Prediction を使用してトレーニング済みモデルに対するバッチ予測を行う方法を学習します。Vertex AI への移行についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • scikitlearn モデルのトレーニング用の Vertex AI カスタムジョブを作成する。
  • トレーニング済みモデルのアーティファクトを Model リソースとしてアップロードする。
  • バッチ予測を行う。
  • エンドポイントにモデルをデプロイする
  • オンライン予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex AI への移行
カスタム トレーニング
ハイパーパラメータ チューニング
Vertex AI ハイパーパラメータを使用して、カスタム トレーニング モデルを作成およびチューニングする方法を学習します。Vertex AI への移行についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • TensorFlow モデルをトレーニングするための Vertex AI ハイパーパラメータ チューニング ジョブを作成する。
Colab
GitHub
Vertex AI Workbench
Google Artifact Registry のドキュメント
Google Artifact Registry を使ってみる
Google Artifact Registry の使用方法を学習します。Google Artifact Registry のドキュメントについても学習します。

チュートリアルのステップ

  • 限定公開 Docker リポジトリを作成する。
  • 限定公開 Docker リポジトリに固有のコンテナ イメージにタグを付ける。
  • コンテナ イメージを限定公開 Docker リポジトリに push する。
  • 限定公開 Docker リポジトリからコンテナ イメージを pull する。
  • 限定公開 Docker リポジトリを削除する。
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
カスタム トレーニング
Vertex AI Experiments
カスタム トレーニング ジョブのパラメータと指標を追跡する
Vertex AI SDK for Python の使用方法を学習します。 Vertex ML Metadata についても学習します。カスタム トレーニングについても学習します。Vertex AI Experiments についても学習します。

チュートリアルのステップ

  • カスタム トレーニング ジョブのトレーニング パラメータと予測指標を追跡する。
  • Experiment 内のすべてのパラメータと指標を抽出して分析する。
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
ローカルでトレーニングされたモデルのパラメータと指標を追跡する
Vertex ML Metadata を使用してトレーニング パラメータと評価指標を追跡する方法を学習します。Vertex ML Metadata についても学習します。

チュートリアルのステップ

  • ローカルでトレーニングしたモデルのパラメータと指標を追跡する。
  • Experiment 内のすべてのパラメータと指標を抽出して分析する。
Colab
GitHub
Vertex AI Workbench
Vertex ML Metadata
Vertex AI Pipelines
Vertex ML Metadata を使用して、Vertex AI Pipelines の実行全体でアーティファクトと指標を追跡する
Vertex AI Pipeline の実行で Vertex ML Metadata を使用してアーティファクトと指標を追跡する方法を学習します。Vertex ML Metadata についても学習します。Vertex AI Pipelines についても学習します。

チュートリアルのステップ

  • Kubeflow Pipelines SDK を使用して Vertex AI で動作する ML パイプラインを構築する
  • パイプラインがデータセットを作成し、scikitlearn モデルをトレーニングして、そのモデルをエンドポイントにデプロイします。
  • アーティファクトとメタデータを生成するカスタム パイプライン コンポーネントを作成する
  • Cloud コンソールとプログラムの両方で Vertex AI Pipelines の実行を比較する
  • パイプライン生成アーティファクトのリネージを追跡する
  • パイプライン実行メタデータをクエリする
Colab
GitHub
Vertex AI Workbench
Vertex AI モデル評価
表形式データの分類
AutoML 表形式分類モデルからのバッチ予測結果を評価する
Vertex AI AutoML Tabular 分類モデルをトレーニングし、google_cloud_pipeline_components を使用して Vertex AI パイプライン ジョブで評価する方法を学習します。 Vertex AI モデル評価についても学習します。表形式データの分類についても学習します。

チュートリアルのステップ

  • Vertex AI データセットを作成する。
  • Dataset リソースで Automl 表形式分類モデルをトレーニングする。
  • トレーニング済みの AutoML モデルのリソースをパイプラインにインポートする。
  • バッチ予測ジョブを実行する。
  • 分類評価コンポーネントを使用して AutoML モデルを評価する。
  • 分類指標を AutoML モデルリソースにインポートする。
Colab
GitHub
Vertex AI Workbench
Vertex AI モデル評価
表形式データの回帰
AutoML 表形式回帰モデルからバッチ予測を評価する
google_cloud_pipeline_components を使用して Vertex AI パイプライン ジョブで Vertex AI モデルリソースを評価する方法を学習します。 Vertex AI モデル評価についても学習します。表形式データの回帰についても学習します。

チュートリアルのステップ

  • Vertex AI データセットを作成する
  • AutoMLTabularTrainingJob を構成する
  • モデルを返す AutoMLTabularTrainingJob を実行する
  • 事前トレーニング済みの AutoML モデルリソースをパイプラインにインポートする
  • パイプラインでバッチ予測ジョブを実行する
  • 分類評価コンポーネントを使用して AutoML モデルを評価する
  • 分類指標を AutoML モデルリソースにインポートする
Colab
GitHub
Vertex AI Workbench
Vertex AI モデル評価
テキストデータの分類
google-cloud-pipeline-components を使用した AutoML テキスト分類パイプライン
Vertex AI Pipelines と Google Cloud Pipeline コンポーネントを使用して、AutoML テキスト分類モデルを構築し、評価する方法を学習します。Vertex AI モデル評価についても学習します。テキストデータの分類についても学習します。

チュートリアルのステップ

  • Vertex AI データセットを作成する。
  • Dataset リソースで Automl テキスト分類モデルをトレーニングする。
  • トレーニング済みの AutoML モデルのリソースをパイプラインにインポートする。
  • バッチ予測ジョブを実行する。
  • 分類評価コンポーネントを使用して AutoML モデルを評価する。
  • 評価指標を AutoML モデルリソースにインポートする。
Colab
GitHub
Vertex AI Workbench
Vertex AI モデル評価
動画データの分類
AutoML Video 分類モデルからのバッチ予測結果を評価する
Vertex AI AutoML Video 分類モデルをトレーニングし、google_cloud_pipeline_components を使用して Vertex AI パイプライン ジョブで評価する方法を学習します。 Vertex AI モデル評価についても学習します。動画データの分類についても学習します。

チュートリアルのステップ

  • Vertex AI データセットを作成する。
  • Vertex AI Dataset リソースで Automl Video Classification モデルをトレーニングする。
  • トレーニング済みの AutoML Vertex AI Model リソースをパイプラインにインポートする。
  • パイプライン内でバッチ予測ジョブを実行する。
  • 分類評価コンポーネントを使用して AutoML モデルを評価する。
  • 分類指標を AutoML Vertex AI Model リソースにインポートする。
Colab
GitHub
Vertex AI Workbench
Vertex AI モデル評価
Vertex AI Training
カスタム表形式分類モデルから BatchPrediction 結果を評価する
このチュートリアルでは、scikit-learn RandomForest モデルをトレーニングして Vertex AI Model Registry に保存し、google_cloud_pipeline_components を使用して Vertex AI パイプライン ジョブで評価する方法を学習します。Vertex AI モデル評価についても学習します。Vertex AI Training についても学習します。

チュートリアルのステップ

  • 一般公開ソースからデータセットを取得する。
  • データをローカルで前処理し、テストデータを BigQuery に保存する。
  • scikitlearn Python パッケージを使用して、RandomForest 分類モデルをローカルでトレーニングする。
  • 予測用のカスタム コンテナを Artifact Registry に作成する。
  • Vertex AI Model Registry にモデルをアップロードする。
  • Vertex AI パイプラインを作成して実行する。
Colab
GitHub
Vertex AI Workbench
Vertex AI モデル評価
カスタム トレーニング
カスタム表形式回帰モデルからのバッチ予測結果を評価する
google_cloud_pipeline_components を使用して Vertex AI パイプライン ジョブで Vertex AI モデルリソースを評価する方法を学習します。 Vertex AI モデル評価についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • モデルをトレーニングするための Vertex AI CustomTrainingJob を作成する。
  • CustomTrainingJob を実行する。
  • モデル アーティファクトを取得して読み込む。
  • モデルの評価を表示する。
  • モデルを Vertex AI Model リソースとしてアップロードする。
  • 事前トレーニング済みの Vertex AI モデルリソースをパイプラインにインポートする。
  • パイプラインでバッチ予測ジョブを実行する。
  • 回帰評価コンポーネントを使用してモデルを評価する。
  • 回帰指標を Vertex AI モデルリソースにインポートする。
Colab
GitHub
Vertex AI Workbench
Vertex AI でのモデル評価
Vertex AI Model Registry にカスタムモデル評価をインポートする
カスタムモデル評価を作成してアップロードし、カスタムモデル評価を Vertex AI Model Registry の Model リソース エントリにアップロードする方法を学習します。Vertex AI でのモデル評価についても学習します。

チュートリアルのステップ

  • 事前トレーニング済み(blessed)モデルを Vertex AI Model Registry にインポートする。
  • カスタムモデル評価を作成する。
  • Vertex AI Model Registry 内の対応モデルにモデル評価指標をインポートする。
  • Vertex AI Model Registry 内の対応モデルのモデル評価を一覧表示する。
  • 2 番目のカスタムモデル評価を作成する。
  • 2 番目のモデル評価指標を Vertex AI Model Registry 内の対応するモデルにインポートする。
  • Vertex AI Model Registry 内の対応モデルの 2 番目のモデル評価を一覧表示する。
Colab
GitHub
Vertex AI Workbench
バッチ予測用の Vertex AI Model Monitoring
Model Monitoring を使用した Vertex AI Batch Prediction
Vertex AI Model Monitoring サービスを使用して、バッチ予測のドリフトと異常値を検出する方法を学習します。バッチ予測用の Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 事前トレーニング済みのモデルを Vertex AI Model リソースとしてアップロードする。
  • バッチ予測リクエストを生成する。
  • モデル モニタリング機能で報告された統計、可視化、その他のデータを解釈する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
AutoML 表形式モデル用の Vertex AI Model Monitoring
AutoML 表形式モデル用に Vertex AI Model Monitoring サービスを使用して、入力予測リクエストの特徴のスキューとドリフトを検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • AutoML モデルをトレーニングする。
  • Endpoint リソースに Model リソースをデプロイする。
  • モデル モニタリング用のエンドポイント リソースを構成する。
  • スキューの合成予測リクエストを生成する。
  • ドリフトの合成予測リクエストを生成する。
  • メール通知アラートの通知が届くまで待つ。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
AutoML 画像モデルでのバッチ予測用の Vertex AI Model Monitoring
AutoML 画像分類モデルに Vertex AI Model Monitoring と Vertex AI Batch Prediction を使用して、分布外の画像を検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 1. AutoML 画像分類モデルをトレーニングする
  • 2. 分布外と分布内の画像の両方を含むバッチ予測を送信する。
  • 3. Model Monitoring を使用して、各画像の異常スコアを計算する。
  • 4. バッチ予測リクエスト内で分布外の画像を特定する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
AutoML 画像モデルでのオンライン予測用の Vertex AI Model Monitoring
AutoML 画像分類モデルで Vertex AI Model Monitoring と Vertex AI Online Prediction を使用して、分布外の画像を検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 1. AutoML 画像分類モデルをトレーニングする
  • 2. エンドポイントを作成する
  • 3. エンドポイントにモデルをデプロイして、モデルのモニタリングを構成する。
  • 4. 分布外と分布内の画像の両方を含むオンライン予測を送信する。
  • 5. Model Monitoring を使用して、各画像の異常スコアを計算する。
  • 6. オンライン予測リクエスト内で分布外の画像を特定する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
カスタム表形式モデル用の Vertex AI Model Monitoring
カスタム表形式モデルに Vertex AI Model Monitoring サービスを使用して、入力予測リクエストの特徴のスキューとドリフトを検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 事前トレーニング済みのカスタム表形式モデルをダウンロードする。
  • 事前トレーニング済みモデルを Model リソースとしてアップロードする。
  • Endpoint リソースに Model リソースをデプロイする。
  • モデル モニタリング用のエンドポイント リソースを構成する。
  • スキューの合成予測リクエストを生成する。
  • メール通知アラートの通知が届くまで待つ。
  • ドリフトの合成予測リクエストを生成する。
  • メール通知アラートの通知が届くまで待つ。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
TensorFlow Serving コンテナを使用したカスタム表形式モデル用の Vertex AI Model Monitoring
カスタム表形式モデルにカスタム開発コンテナと Vertex AI Model Monitoring サービスを使用して、入力予測リクエストの特徴のスキューとドリフトを検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 事前トレーニング済みのカスタム表形式モデルをダウンロードする。
  • 事前トレーニング済みモデルを Model リソースとしてアップロードする。
  • TensorFlow Serving サービング バイナリを使用して、Endpoint リソースに Model リソースをデプロイする。
  • モデル モニタリング用のエンドポイント リソースを構成する。
  • スキューの合成予測リクエストを生成する。
  • メール通知アラートの通知が届くまで待つ。
  • ドリフトの合成予測リクエストを生成する。
  • メール通知アラートの通知が届くまで待つ。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
表形式モデルの設定用の Vertex AI Model Monitoring
Vertex AI Model Monitoring サービスを設定して、入力予測リクエストの特徴のスキューとドリフトを検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 事前トレーニング済みのカスタム表形式モデルをダウンロードする。
  • 事前トレーニング済みモデルを Model リソースとしてアップロードする。
  • Endpoint リソースに Model リソースをデプロイする。
  • モデル モニタリング用のエンドポイント リソースを構成する。
  • 特徴入力のスキューとドリフトを検出する。
  • 特徴アトリビューションのスキューとドリフトを検出する。
  • 1,000 件の予測リクエストを送信して、入力スキーマを自動生成する。
  • モニタリング ジョブを一覧表示、一時停止、再開、削除する。
  • 事前定義された入力スキーマを使用してモニタリング ジョブを再起動する。
  • ログに記録されたモニタリング対象データを表示する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
XGBoost モデルに対する Vertex AI Model Monitoring
XGBoost モデルに Vertex AI Model Monitoring サービスを使用して、入力予測リクエストの特徴のスキューとドリフトを検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 事前トレーニング済みの XGBoost モデルをダウンロードする。
  • 事前トレーニング済みモデルを Model リソースとしてアップロードする。
  • Endpoint リソースに Model リソースをデプロイする。
  • モデル モニタリング用のエンドポイント リソースを構成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Monitoring
Explainable AI の特徴アトリビューションを使用した Vertex AI Model Monitoring
Vertex AI Model Monitoring サービスを使用して、デプロイされた Vertex AI Model リソースからの予測リクエストでドリフトと異常値を検出する方法を学習します。Vertex AI Model Monitoring についても学習します。

チュートリアルのステップ

  • 事前トレーニング済みのモデルを Vertex AI Model リソースとしてアップロードする。
  • Vertex AI Endpoint リソースを作成する。
  • Endpoint リソースに Model リソースをデプロイする。
  • モデル モニタリング用のエンドポイント リソースを構成する。
  • モデルのモニタリング用にベースライン分布を初期化する。
  • 合成予測リクエストを生成する。
  • モデル モニタリング機能で報告された統計、可視化、その他のデータの解釈方法を理解する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Model Registry
Vertex AI Model Registry を使ってみる
Vertex AI Model Registry を使用してモデルの複数のバージョンを作成し、登録する方法を学習します。Vertex AI Model Registry についても学習します。

チュートリアルのステップ

  • モデルの最初のバージョンを作成して Vertex AI Model Registry に登録する。
  • モデルの 2 番目のバージョンを作成して Vertex AI Model Registry に登録する。
  • デフォルト(blessed)のモデル バージョンを更新する。
  • モデル バージョンを削除する。
  • 次のモデル バージョンを再トレーニングする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML コンポーネント
表形式データの分類
google-cloud-pipeline-components を使用した AutoML 表形式のパイプライン
Vertex AI Pipelines と Google Cloud Pipeline コンポーネントを使用して、AutoML 表形式分類モデルを構築する方法を学習します。Vertex AI Pipelines についても学習します。AutoML コンポーネントについても学習します。表形式データの分類についても学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI でのモデル評価
本番環境へのモデルのデプロイに対する Challenger 対 Blessed 手法
Vertex AI パイプラインを作成して、モデルの新しい challenger バージョンをトレーニングし、そのモデルを評価して、この challenger モデルが本番環境内で置き換わる blessed モデルになるどうかを判断するために、本番環境に存在する blessed モデルの評価を比較する方法を学習します。Vertex AI Pipelines についても学習します。Vertex AI でのモデル評価についても学習します。

チュートリアルのステップ

  • 事前トレーニング済み(blessed)モデルを Vertex AI Model Registry にインポートする。
  • 合成モデル評価指標を対応する(blessed)モデルにインポートする。
  • Vertex AI Endpoint リソースを作成する。
  • blessed モデルを Endpoint リソースにデプロイする。
  • Vertex AI Pipelines でパイプラインを作成する。
  • blessed モデルを取得する。
  • 事前トレーニング済みモデルの別のインスタンス(challenger)をインポートする。
  • 事前トレーニング済み(challenger)モデルを既存のモデルの新しいバージョンとして登録する。
  • 合成モデルの評価を作成する。
  • 対応する challenger モデルに合成モデルの評価指標をインポートする。
  • 評価を比較し、blessed または challenger をデフォルトとして設定する。
  • 新しい blessed モデルをデプロイする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
KFP SDK を使用したパイプライン制御構造
KFP SDK を使用して、ループと条件を使用するパイプライン(ネストされた例を含む)を構築する方法を学習します。Vertex AI Pipelines についても学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
カスタム トレーニング コンポーネント
ビルド済み Google Cloud パイプライン コンポーネントを使用したカスタム トレーニング
Vertex AI Pipelines と Google Cloud Pipeline コンポーネントを使用してカスタムモデルを構築する方法を学習します。Vertex AI Pipelines についても学習します。カスタム トレーニング コンポーネントについても学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Batch Prediction コンポーネント
BigQuery のソースと宛先を使用してカスタム表形式の分類モデルのトレーニングとバッチ予測を行う
このチュートリアルでは、scikit-learn 表形式分類モデルをトレーニングし、google_cloud_pipeline_components を使用して Vertex AI パイプラインでバッチ予測ジョブを作成します。Vertex AI Pipelines についても学習します。Vertex AI Batch Prediction コンポーネントについても学習します。

チュートリアルのステップ

  • BigQuery でデータセットを作成する
  • バッチ予測用にソース データセット以外のデータをいくつか設定する。
  • トレーニング アプリケーション用のカスタム Python パッケージを作成する。
  • Python パッケージを Cloud Storage にアップロードする。
  • Vertex AI パイプラインを作成する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Hyperparameter Tuning
Vertex AI Hyperparameter Tuning パイプラインのコンポーネントを使ってみる
Vertex AI Hyperparameter Tuning にビルド済み Google Cloud Pipeline コンポーネントを使用する方法を学習します。Vertex AI Pipelines についても学習します。Vertex AI Hyperparameter Tuning についても学習します。

チュートリアルのステップ

  • パイプラインを構築する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Pipelines のマシン管理を使ってみる
自己完結型のカスタム トレーニング コンポーネントを Vertex AI CustomJob に変換する方法を学習します。

チュートリアルのステップ

  • 自己完結型のトレーニング ジョブを持つカスタム コンポーネントを作成する。
  • マシンリソースのコンポーネント レベルの設定を使用してパイプラインを実行する
  • 自己完結型のトレーニング コンポーネントを Vertex AI CustomJob に変換する。
  • マシンリソースの customjoblevel 設定を使用してパイプラインを実行する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML コンポーネント
google-cloud-pipeline-components を使用した AutoML 画像分類パイプライン
Vertex AI Pipelines と Google Cloud Pipeline コンポーネントを使用して AutoML 画像分類モデルを構築する方法を学習します。Vertex AI Pipelines についても学習します。AutoML コンポーネントについても学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML コンポーネント
表形式データの回帰
google-cloud-pipeline-components を使用した AutoML 表形式の回帰パイプライン
Vertex AI Pipelines と Google Cloud Pipeline コンポーネントを使用して、AutoML 表形式回帰モデルを構築する方法を学習します。Vertex AI Pipelines についても学習します。AutoML コンポーネントについても学習します。表形式データの回帰についても学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
AutoML コンポーネント
google-cloud-pipeline-components を使用した AutoML テキスト分類パイプライン
Vertex AI Pipelines と Google Cloud Pipeline コンポーネントを使用して AutoML テキスト分類モデルを構築する方法を学習します。Vertex AI Pipelines についても学習します。AutoML コンポーネントについても学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
BigQuery ML コンポーネント
Swivel、BigQuery ML、Vertex AI Pipelines を使用して獲得予測モデルをトレーニングする
記事のテキスト エンベディングを計算して「企業買収」カテゴリに分類するために、Vertex AI パイプラインを使用してシンプルな BigQuery ML パイプラインを構築する方法を学習します。Vertex AI Pipelines についても学習します。BigQuery ML コンポーネントについても学習します。

チュートリアルのステップ

  • BigQuery にデータを取り込む Dataflow ジョブのコンポーネントを作成する。
  • BigQuery のデータに対して実行する前処理ステップ用のコンポーネントを作成する。
  • BigQuery ML を使用してロジスティック回帰モデルをトレーニングするためのコンポーネントを作成する。
  • 作成したすべてのコンポーネントを使用して Kubeflow DSL パイプラインを構築し、構成する。
  • Vertex AI Pipelines でパイプラインをコンパイルして実行する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
カスタム トレーニング コンポーネント
Google Cloud Pipeline コンポーネントを使用して、モデルをトレーニング、アップロード、デプロイする
Vertex AI Pipelines と Google Cloud Pipeline コンポーネントを使用して、カスタムモデルをビルドしてデプロイする方法を学習します。Vertex AI Pipelines についても学習します。カスタム トレーニング コンポーネントについても学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
Vertex AI Model コンポーネント
google-cloud-pipeline-components を使用してモデルのアップロード、予測、評価を行う
google_cloud_pipeline_components と独自にビルドしたカスタム パイプライン コンポーネントで構成されているパイプラインを使用して、カスタムモデルを評価する方法を学習します。Vertex AI Pipelines についても学習します。Vertex AI Model コンポーネントについても学習します。

チュートリアルのステップ

  • 事前トレーニング済みモデルを Model リソースとしてアップロードする。
  • グラウンド トゥルースのデータを使用して、Model リソースで BatchPredictionJob を実行する。
  • モデルリソースに関する評価指標アーティファクトを生成する。
  • 評価指標をしきい値と比較する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
KFP 2.x を使用した Vertex AI Pipelines
Vertex AI Pipelines と KFP 2 の使用方法を学習します。

チュートリアルのステップ

  • KFP パイプラインを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
軽量の Python 関数ベースのコンポーネント、コンポーネント I/O
KFP SDK を使用して軽量の Python 関数ベースのコンポーネントを構築してから、Vertex AI Pipelines を使用してパイプラインを実行する方法を学習します。Vertex AI Pipelines についても学習します。

チュートリアルのステップ

  • Python 関数ベースの KFP コンポーネントを構築する。
  • KFP パイプラインを構築する。
  • パス参照と値の両方で、コンポーネント間でアーティファクトとパラメータを渡す。
  • kfp.dsl.importer メソッドを使用する。
  • KFP パイプラインをコンパイルする。
  • Vertex AI Pipelines を使用して KFP パイプラインを実行する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
指標の可視化と KFP SDK を使用した比較の実行
KFP SDK を使用して評価指標を生成するパイプラインを構築する方法を学習します。Vertex AI Pipelines についても学習します。

チュートリアルのステップ

  • KFP コンポーネントを作成する
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
本番環境にモデルをデプロイする際の Multicontender 手法と Champion 手法
Vertex AI パイプラインを作成して、デプロイされたモデルからの新しい本番環境データを他のバージョンのモデルと比較して評価し、contender モデルが本番環境で置き換わる champion モデルになるかどうかを判断する方法を学習します。

チュートリアルのステップ

  • 事前トレーニング済み(champion)モデルを Vertex AI Model Registry にインポートする。
  • 合成モデル トレーニングの評価指標を対応する(champion)モデルにインポートする。
  • Vertex AI Endpoint リソースを作成する。
  • champion モデルを Endpoint リソースにデプロイする。
  • デプロイしたモデルの追加(contender)バージョンをインポートする。
  • 合成モデル トレーニングの評価指標を対応する(contender)モデルにインポートする。
  • Vertex AI Pipelines でパイプラインを作成する。
  • champion モデルを取得する。
  • (架空の)本番環境データで champion モデルをファインチューニングする。
  • champion モデルの合成トレーニングと本番環境の評価指標をインポートする。
  • contender モデルを取得する。
  • (架空の)本番環境データで contender モデルをファインチューニングする。
  • contender モデルの合成トレーニングと本番環境の評価指標をインポートする。
  • contender の評価を champion と比較し、新しい champion をデフォルトとして設定する。
  • 新しい champion モデルをデプロイする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Pipelines
KFP 向けパイプラインの概要
KFP SDK を使用して評価指標を生成するパイプラインを構築する方法を学習します。Vertex AI Pipelines についても学習します。

チュートリアルのステップ

  • Vertex AI パイプラインを定義してコンパイルする。
  • パイプラインの実行に使用するサービス アカウントを指定する。
Colab
GitHub
Vertex AI Workbench
AutoML コンポーネント
BigQuery ML コンポーネント
BigQuery ML と AutoML - Vertex AI を使用したテスト
Vertex AI Prediction を使用してモデルの迅速なプロトタイピングを行う方法を学習します。AutoML コンポーネントについても学習します。BigQuery ML コンポーネントについても学習します。

チュートリアルのステップ

  • BigQuery と Vertex AI Training データセットを作成する。
  • BigQuery ML と AutoML モデルをトレーニングする。
  • BigQuery ML モデルと AutoML モデルから評価指標を抽出する。
  • 最適なトレーニング済みモデルを選択する。
  • 最適なトレーニング済みモデルをデプロイする。
  • デプロイされたモデル インフラストラクチャをテストする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Batch Prediction
特徴フィルタリングを使用したカスタムモデルのバッチ予測
Vertex AI SDK for Python を使用して Docker コンテナで Python スクリプトからカスタム トレーニングされたモデルを作成し、特徴リストを追加または除外してバッチ予測ジョブを実行する方法について学習します。Vertex AI Batch Prediction についても学習します。

チュートリアルのステップ

  • モデルをトレーニングするための Vertex AI カスタム TrainingPipeline を作成する。
  • TensorFlow モデルをトレーニングする。
  • バッチ予測ジョブを送信する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Prediction
NVIDIA Triton サーバーを使ってみる
オンライン予測を行うために、Vertex AI Model リソースを含む Nvidia Triton Server を実行するコンテナを Vertex AI Endpoint にデプロイする方法を学習します。Vertex AI Prediction についても学習します。

チュートリアルのステップ

  • TensorFlow Hub からモデル アーティファクトをダウンロードする。
  • モデルの Triton サービング構成ファイルを作成する。
  • モデルのデプロイ用に Triton サービング イメージを含むカスタム コンテナをビルドする。
  • モデルを Vertex AI Model リソースとしてアップロードする。
  • Vertex AI Model リソースを Vertex AI Endpoint リソースにデプロイする。
  • 予測リクエストを行う
  • Model リソースのデプロイを解除して Endpoint を削除する
Colab
GitHub
Vertex AI Workbench
未加工の予測
Vertex AI Raw Prediction で TensorFlow サービング関数を使ってみる
Vertex AI Endpoint リソースで Vertex AI Raw Prediction 使用する方法を学習します。未加工の予測についても学習します。

チュートリアルのステップ

  • TensorFlow 1.x Estimator の事前トレーニング済み表形式分類モデルのアーティファクトをダウンロードする。
  • TensorFlow Estimator モデルを Vertex AI Model リソースとしてアップロードする。
  • Endpoint リソースを作成する。
  • Model リソースを Endpoint リソースにデプロイする。
  • Endpoint リソースにデプロイされた Model リソース インスタンスに対して、オンラインの未加工予測を行う。
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング モデルからの予測の取得
Vertex AI Prediction で TensorFlow Serving を使ってみる
TensorFlow Serving のサービング バイナリを使用して Vertex AI Endpoint リソースで Vertex AI Prediction を使用する方法を学習します。カスタム トレーニングされたモデルからの予測の取得についても学習します。

チュートリアルのステップ

  • TensorFlow Hub から事前トレーニング済み画像分類モデルをダウンロードする。
  • 圧縮画像データを受け取り、モデル入力用に分解された前処理済みデータを出力するサービング関数を作成する。
  • TensorFlow Hub モデルとサービング関数を Vertex AI Model リソースとしてアップロードする。
  • Endpoint リソースを作成する。
  • TensorFlow Serving サービング バイナリを使用して、Endpoint リソースに Model リソースをデプロイする。
  • Endpoint リソースにデプロイされた Model リソース インスタンスに対して、オンライン予測を行う。
  • Model リソース インスタンスに対するバッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
Private Endpoints
Vertex AI Private Endpoints を使ってみる
Vertex AI Private Endpoint リソースの使用方法について学習します。Private Endpoints についても学習します。

チュートリアルのステップ

  • Private Endpoint リソースを作成する。
  • VPC ピアリング接続を構成する。
  • Private Endpoint リソースにデプロイするための Model リソースのサービング バイナリを構成する。
  • Private Endpoint リソースに Model リソースをデプロイする。
  • Private Endpoint に予測リクエストを送信する。
Colab
GitHub
Vertex AI Workbench
Vertex AI 言語モデル
Vertex AI LLM とストリーミング予測
Vertex AI LLM を使用して、事前トレーニング済みの LLM モデルをダウンロードし、予測を行ってモデルをファインチューニングする方法を学習します。Vertex AI 言語モデルについても学習します。

チュートリアルのステップ

  • 事前トレーニング済みのテキスト生成モデルを読み込む。
  • 非ストリーミング予測を行う。
  • ストリーミングをサポートする事前トレーニング済みのテキスト生成モデルを読み込む。
  • ストリーミング予測を行う。
  • 事前トレーニング済みのチャットモデルを読み込む。
  • ローカルでのインタラクティブなチャット セッションを開始する。
  • テキスト生成モデルを使用してバッチ予測を行う。
  • テキスト エンベディング モデルを使用してバッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
予測用のビルド済みコンテナ
Vertex AI でビルド済みコンテナを使用して PyTorch モデルを提供する
オンライン予測とバッチ予測を提供するために、TorchServe でビルド済みの Vertex AI コンテナを使用して、PyTorch 画像分類モデルをパッケージ化してデプロイする方法を学習します。トレーニング用の事前ビルドコンテナについても学習します。

チュートリアルのステップ

  • PyTorch から事前トレーニング済み画像モデルをダウンロードする
  • カスタム モデルハンドラを作成する
  • モデル アーカイブ ファイルにモデル アーティファクトをパッケージ化する
  • デプロイするモデルをアップロードする
  • 予測用のモデルをデプロイする
  • オンライン予測を行う
  • バッチ予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex AI Prediction
Vertex AI でビルド済みコンテナを使用して PyTorch モデルをトレーニングし、デプロイする
カスタム トレーニングと予測用のビルド済みコンテナを使用して PyTorch 画像分類モデルを構築、トレーニング、デプロイする方法を学習します。

チュートリアルのステップ

  • トレーニング アプリケーションを Python ソース ディストリビューションにパッケージ化する
  • ビルド済みコンテナでトレーニング ジョブを構成して実行する
  • モデル アーカイブ ファイルにモデル アーティファクトをパッケージ化する
  • デプロイするモデルをアップロードする
  • 予測にビルド済みコンテナを使用してモデルをデプロイする
  • オンライン予測を行う
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
Vertex AI Reduction Server
Vertex AI Reduction Server を使用した PyTorch 分散トレーニング
PyTorch 分散トレーニング フレームワークとツールを使用する PyTorch 分散トレーニング ジョブを作成し、Reduction Server を使用して Vertex AI Training サービスでトレーニング ジョブを実行する方法を学習します。Vertex AI Training についても学習します。Vertex AI Reduction Server についても学習します。

チュートリアルのステップ

  • PyTorch 分散トレーニング アプリケーションを作成する
  • トレーニング アプリケーションをビルド済みコンテナにパッケージ化する
  • Reduction Server を使用して Vertex AI でカスタムジョブを作成する
  • ジョブを送信してモニタリングする
Colab
GitHub
Vertex AI Workbench
動画データの分類
AutoML Video Classification の例
このノートブックの目的は、AutoML 動画分類モデルの構築です。動画データの分類についても学習します。

チュートリアルのステップ

  • タスク名と Cloud Storage 接頭辞を設定する
  • マネージド データセットを作成するために AutoML 動画デモのトレーニング データをコピーする
  • Vertex AI でデータセットを作成する。
  • トレーニング ジョブを構成する
  • Vertex AI でトレーニング ジョブを起動してモデルを作成する
  • バッチ予測ジョブを作成するために AutoML 動画デモ予測データをコピーする
  • モデルでバッチ予測ジョブを実行する
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
Python パッケージ、マネージド テキスト データセット、TF Serving コンテナを使用したカスタム トレーニング
カスタム Python パッケージ トレーニングを使用してカスタムモデルを作成する方法と、オンライン予測に TensorFlow Serving コンテナを使用してモデルを提供する方法を学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • Vertex AI マネージド データセットを作成するために、データをダウンロードして CSV ファイルを準備するユーティリティ関数を作成する
  • データをダウンロードする
  • マネージド データセット作成用の CSV ファイルを準備する
  • カスタム トレーニング Python パッケージを作成する
  • TensorFlow Serving コンテナを作成する
  • マネージド テキスト データセットを使用してカスタム Python パッケージ トレーニングを実行する
  • モデルをデプロイし、Vertex AI で Endpoint を作成する
  • Endpoint で予測を行う
  • Model でバッチ予測ジョブを作成する
Colab
GitHub
Vertex AI Workbench
TabNet の表形式ワークフロー
TabNet モデルを使用した Vertex AI Explanations
TabNet の出力を可視化するためのサンプル プロットツールを提供する方法を学習します。これはアルゴリズムの説明に役立ちます。TabNet 用の表形式のワークフローについても学習します。

チュートリアルのステップ

  • プロジェクトをセットアップする。
  • Syn2 データの事前トレーニング モデルの予測データをダウンロードする
  • マスク出力に基づいて特徴の重要度を可視化して理解する。
  • このチュートリアルで作成したリソースをクリーンアップする。
Colab
GitHub
Vertex AI Workbench
TabNet の表形式ワークフロー
表形式のモデルをトレーニングするための TabNet 組み込みアルゴリズムを使ってみる
表形式のカスタムモデルをトレーニングするために Vertex AI TabNet で構築されたアルゴリズムを実行する方法を学習します。TabNet 用の表形式のワークフローについても学習します。

チュートリアルのステップ

  • トレーニング データを取得する。
  • Vertex AI TabNet コンテナのトレーニング パラメータを構成する。
  • Vertex AI Training で CSV データを使用してモデルをトレーニングする。
  • モデルを Vertex AI Model リソースとしてアップロードする。
  • Vertex AI Model リソースを Vertex AI Endpoint リソースにデプロイする。
  • デプロイしたモデルで予測を行う。
  • Vertex AI TabNet モデルのハイパーパラメータ調整を行う。
Colab
GitHub
Vertex AI Workbench
TabNet の表形式ワークフロー
Vertex AI TabNet
Vertex AI で TabNet モデルを実行する方法を学習します。TabNet 用の表形式のワークフローについても学習します。

チュートリアルのステップ

  • 1. 設定
Colab
GitHub
Vertex AI Workbench
Google Cloud Pipeline コンポーネント
表形式データの Prophet
Vertex AI 表形式ワークフローを使用して Prophet モデルをトレーニングする
Google Cloud Pipeline コンポーネントからトレーニング Vertex AI パイプラインを使用して複数の Prophet モデルを作成し、対応する予測パイプラインを使用してバッチ予測を行う方法を学習します。Google Cloud Pipeline コンポーネントについても学習します。表形式データの Prophet についても学習します。

チュートリアルのステップ

  • 1. Prophet モデルをトレーニングする。
  • 1. 評価指標を表示する。
  • 1. Prophet モデルでバッチ予測を行う。
Colab
GitHub
Vertex AI Workbench
TabNet の表形式ワークフロー
TabNet パイプライン
2 つの Vertex AI TabNet の表形式ワークフローを使用して、表形式データに対して分類モデルを作成する方法を学習します。TabNet 用の表形式のワークフローについても学習します。

チュートリアルのステップ

  • TabNet CustomJob を作成する。これは、トレーニングに使用するハイパーパラメータがわかっている場合に最適なオプションです。
  • TabNet HyperparameterTuningJob を作成する。これにより、データセットに最適なハイパーパラメータのセットを取得できます。
Colab
GitHub
Vertex AI Workbench
ワイド & ディープの表形式ワークフロー
ワイド & ディープ パイプライン
Vertex AI のワイド & ディープの表形式ワークフローを使用して 2 つの分類モデルを作成する方法を学習します。ワイド & ディープの表形式ワークフローについても学習します。

チュートリアルのステップ

  • ワイド & ディープの CustomJob を作成する。これは、トレーニングに使用するハイパーパラメータがわかっている場合に最適なオプションです。
  • ワイド & ディープの HyperparameterTuningJob を作成する。これにより、データセットに最適なハイパーパラメータのセットを取得できます。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
カスタム トレーニング
カスタム コンテナを使用した Vertex AI TensorBoard カスタム トレーニング
カスタム コンテナを使用してカスタム トレーニング ジョブを作成し、ほぼリアルタイムで Vertex AI TensorBoard のトレーニング プロセスをモニタリングする方法を学習します。Vertex AI Tensorboard についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • Docker リポジトリと構成ファイルを作成する。
  • カスタマイズしたトレーニング コードを使用してカスタム コンテナ イメージを作成する。
  • サービス アカウントと Google Cloud Storage バケットを設定する。
  • カスタム コンテナでカスタム トレーニング ジョブを作成し、起動する。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
カスタム トレーニング
ビルド済みコンテナを使用した Vertex AI TensorBoard カスタム トレーニング
ビルド済みのコンテナを使用してカスタム トレーニング ジョブを作成し、ほぼリアルタイムで Vertex AI TensorBoard のトレーニング プロセスをモニタリングする方法を学習します。Vertex AI Tensorboard についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • サービス アカウントと Google Cloud Storage バケットを設定する。
  • カスタマイズされたトレーニング コードを記述する。
  • トレーニング コードをパッケージ化して Google Cloud Storage にアップロードする。
  • ほぼリアルタイムのモニタリング用に有効にした Vertex AI TensorBoard を使用してカスタム トレーニング ジョブを作成し、起動する。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
HParams ダッシュボードを使用した Vertex AI TensorBoard ハイパーパラメータ チューニング
このチュートリアルでは、TensorFlow でハイパーパラメータのテスト結果をログに記録し、Vertex AI TensorBoard の Hparams ダッシュボードで結果を可視化する方法を学習します。Vertex AI Tensorboard についても学習します。

チュートリアルのステップ

  • TensorFlow を実行して、ハイパーパラメータと指標をログに記録する。
  • 実行を開始し、それらすべてを 1 つの親ディレクトリに記録する。
  • Vertex AI TensorBoard の HParams ダッシュボードで結果を可視化する。
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard Profiler
Vertex AI TensorBoard プロファイラを使用してモデルのトレーニング パフォーマンスのプロファイルを作成する
カスタム トレーニング ジョブで Vertex AI TensorBoard Profiler を有効にする方法を学習します。Vertex AI TensorBoard Profiler についても学習します。

チュートリアルのステップ

  • サービス アカウントと Cloud Storage バケットを設定する
  • Vertex AI TensorBoard インスタンスを作成する
  • Vertex AI TensorBoard Profiler を有効にするカスタム トレーニング ジョブを作成して実行する
  • Vertex AI TensorBoard Profiler ダッシュボードを表示してモデルのパフォーマンスをデバッグする
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard Profiler
ビルド済みコンテナを使用したカスタム トレーニングで、Vertex AI TensorBoard Prifiler を使用してモデルのトレーニング パフォーマンスのプロファイルを作成する
ビルド済みのコンテナを使用して、カスタム トレーニング ジョブで Vertex AI の Vertex AI TensorBoard Profiler を有効にする方法を学習します。Vertex AI TensorBoard Profiler についても学習します。

チュートリアルのステップ

  • カスタム トレーニング コードを準備し、トレーニング コードを Python パッケージとしてビルド済みコンテナに読み込む
  • Vertex AI TensorBoard Profiler を有効にするカスタム トレーニング ジョブを作成して実行する
  • Vertex AI TensorBoard Profiler ダッシュボードを表示してモデルのパフォーマンスをデバッグする
Colab
GitHub
Vertex AI Workbench
Vertex AI TensorBoard
Vertex AI Pipelines
Vertex AI TensorBoard と Vertex AI Pipelines の統合
KFP SDK を使用してトレーニング パイプラインを作成し、Vertex AI Pipelines でパイプラインを実行して、Vertex AI TensorBoard でトレーニング プロセスをほぼリアルタイムでモニタリングする方法を学習します。Vertex AI Tensorboard についても学習します。Vertex AI Pipelines についても学習します。

チュートリアルのステップ

  • サービス アカウントと Google Cloud Storage バケットを設定する。
  • カスタム トレーニング コードを使用して KFP パイプラインを構築する。
  • ほぼリアルタイムでのモニタリングのために有効にした Vertex AI TensorBoard を使用して、Vertex AI Pipelines で KFP パイプラインをコンパイルして実行する。
Colab
GitHub
Vertex AI Workbench
Vertex AI: ハイパーパラメータのチューニング
分散 Vertex AI ハイパーパラメータ チューニング
このノートブックでは、Docker コンテナの Python スクリプトからカスタム トレーニング モデルを作成します。Vertex AI Hyperparameter Tuning についても学習します。

チュートリアルのステップ

  • Python パッケージを使用してトレーニングを行う。
  • ハイパーパラメータ チューニングの実行中に精度を報告する。
  • Cloud StorageFuse を使用して、モデル アーティファクトを Cloud Storage に保存する。
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
LightGBM 用 Vertex AI Training を使ってみる
Vertex AI Training を使用して LightGBM カスタムモデルをトレーニングする方法を学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • Python パッケージを使用してトレーニングを行う。
  • Cloud StorageFuse を使用して、モデル アーティファクトを Cloud Storage に保存する。
  • FastAPI 予測サーバーを構築する。
  • Dockerfile デプロイ イメージを作成する。
  • デプロイ イメージをローカルでテストする。
  • Vertex AI Model リソースを作成する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Distributed Training
Vertex AI Distributed Training を使ってみる
Vertex AI でトレーニングする際に Vertex AI Distributed Training を使用する方法を学習します。Vertex AI Distributed Training についても学習します。

チュートリアルのステップ

  • MirroredStrategy
Colab
GitHub
Vertex AI Workbench
Vertex AI: ハイパーパラメータのチューニング
TensorFlow モデルのハイパーパラメータ チューニングを行う
TensorFlow モデルの Vertex AI ハイパーパラメータ チューニング ジョブを実行する方法を学習します。Vertex AI Hyperparameter Tuning についても学習します。

チュートリアルのステップ

  • 自動でハイパーパラメータ調整を行うように、トレーニング アプリケーションのコードを変更する。
  • トレーニング アプリケーション コードをコンテナ化する。
  • Vertex AI Python SDK を使用して、ハイパーパラメータ チューニング ジョブを構成して起動する。
Colab
GitHub
Vertex AI Workbench
Vertex AI: ハイパーパラメータのチューニング
XGBoost 用の Vertex AI ハイパーパラメータ チューニング
Vertex AI ハイパーパラメータ チューニングを使用して XGBoost カスタムモデルをトレーニングする方法を学習します。Vertex AI Hyperparameter Tuning についても学習します。

チュートリアルのステップ

  • Python パッケージを使用してトレーニングを行う。
  • ハイパーパラメータ チューニングの実行中に精度を報告する。
  • Cloud StorageFuse を使用して、モデル アーティファクトを Cloud Storage に保存する。
  • Vertex AI Model リソースを作成する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
カスタム コンテナと Vertex Training を使用して CPU で PyTorch 画像分類マルチノード分散データ並列トレーニングを行う
Vertex AI SDK for Python とカスタム コンテナを使用して、分散 PyTorch トレーニング ジョブを作成する方法を学習します。Vertex AI Training についても学習します。

チュートリアルのステップ

  • Google Cloud プロジェクトの設定
Colab
GitHub
Vertex AI Workbench
Vertex AI Training
カスタム コンテナと Vertex Training を使用して CPU で PyTorch 画像分類マルチノード NCCL 分散データ並列トレーニングを行う
Vertex AI SDK for Python とカスタム コンテナを使用して、分散 PyTorch トレーニング ジョブを作成する方法を学習します。Vertex AI Training についても学習します。

チュートリアルのステップ

  • Artifact Registry と Docker を使用してカスタム コンテナをビルドする
  • Vertex AI のテストを保存する Vertex AI TensorBoard インスタンスを作成する
  • Vertex AI SDK CustomContainerTrainingJob を実行する
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
Vertex AI での PyTorch テキスト感情分類モデルのトレーニング、チューニング、デプロイ
Vertex AI で PyTorch モデルの構築、トレーニング、チューニング、デプロイを行う方法を学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • テキスト分類モデル用のトレーニング パッケージを作成する。
  • Vertex AI でカスタム トレーニングを使用してモデルをトレーニングする。
  • 作成されたモデル アーティファクトを確認する。
  • 予測用のカスタム コンテナを作成する。
  • 予測用のカスタム コンテナを使用して、トレーニング済みモデルを Vertex AI Endpoint にデプロイする。
  • デプロイされたモデルにオンライン予測リクエストを送信し、検証する。
  • このノートブックで作成したリソースをクリーンアップする。
Colab
GitHub
Vertex AI Workbench
Vertex AI の PyTorch 統合
Cloud Storage のデータで Vertex AI の PyTorch モデルをトレーニングする
PyTorch と Cloud Storage に保存されたデータセットを使用してトレーニング ジョブを作成する方法を学習します。Vertex AI での PyTorch 統合についても学習します。

チュートリアルのステップ

  • トレーニング用とテスト用のデータセットを作成して、モデルをトレーニングするカスタム トレーニング スクリプトを作成する。
  • Vertex AI SDK CustomTrainingJob を実行する。
Colab
GitHub
Vertex AI Workbench
分散トレーニング
PyTorch Torchrun を使用して、カスタム コンテナを使用したマルチノード トレーニングを簡素化する
このチュートリアルでは、PyTorch の Torchrun を使用して複数のノードで Imagenet モデルをトレーニングする方法を学習します。分散トレーニングについても学習します。

チュートリアルのステップ

  • マスターノードで ETCD クラスタを起動するシェル スクリプトを作成する
  • PyTorch Elastic の GitHub リポジトリのコードを使用してトレーニング スクリプトを作成する
  • データをダウンロードするコンテナを作成し、ホストで ETCD クラスタを起動する
  • GPU で複数のノードを使用してモデルをトレーニングする
Colab
GitHub
Vertex AI Workbench
カスタム トレーニング
Dask を使用した分散 XGBoost トレーニング
Dask と XGBoost を使用して分散トレーニング ジョブを作成する方法を学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • Google Cloud プロジェクトの PROJECT_ID 変数と REGION 変数を構成する。
  • モデル アーティファクトを保存する Cloud Storage バケットを作成する。
  • トレーニング コードをホストするカスタム Docker コンテナをビルドし、そのコンテナ イメージを Artifact Registry に push する。
  • Vertex AI SDK CustomContainerTrainingJob を実行する
Colab
GitHub
Vertex AI Workbench
Vertex AI Vizier
Vertex AI Vizier を使用して複数の目標を最適化する
Vertex AI Vizier を使用して多目的スタディを最適化する方法を学習します。Vertex AI Vizier についても学習します。

チュートリアルのステップ

Colab
GitHub
Vertex AI Workbench
Vertex AI Vizier
Vertex AI Vizier を使ってみる
Vertex AI でのトレーニングに Vertex AI Vizier を使用する方法を学習します。Vertex AI Vizier についても学習します。

チュートリアルのステップ

  • ランダム アルゴリズムを使用したハイパーパラメータ チューニング。
  • Vizier(ベイジアン)アルゴリズムによるハイパーパラメータ チューニング。
  • Vizier スタディに対するトライアルの提案と結果の更新
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI Training
広告のターゲット設定用にマルチクラス分類モデルをトレーニングする
BigQuery からデータを収集して前処理し、e コマース データセットでマルチクラス分類モデルをトレーニングする方法を学習します。Vertex AI Workbench についても学習します。Vertex AI Training についても学習します。

チュートリアルのステップ

  • BigQuery から必要なデータを取得する
  • データの前処理を行う
  • TensorFlow(2.4 以上)分類モデルをトレーニングする
  • トレーニング済みモデルの損失を評価する
  • エグゼキュータ機能を使用してノートブックの実行を自動化する
  • モデルを Cloud Storage パスに保存する
  • 作成したリソースをクリーンアップする
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex Explainable AI
Chicago Taxi Trips データセットを使用したタクシー料金の予測
このノートブックの目的は、タクシー料金の予測問題を解決することで、Explainable AI や BigQuery in Notebooks などの最新の Vertex AI 機能の概要を説明することです。Vertex AI Workbench についても学習します。Vertex Explainable AIについても学習します。

チュートリアルのステップ

  • 「BigQuery in Notebooks」を使用してデータセットを読み込む。
  • データセットに対して探索的データ分析を実行する。
  • 特徴の選択と前処理を行う。
  • scikitlearn を使用した線形回帰モデルを構築する。
  • Vertex Explainable AI のモデルを構成する。
  • Vertex AI にモデルをデプロイする。
  • デプロイされたモデルをテストする。
  • クリーンアップする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Vertex AI と BigQuery ML を使用して小売業の需要予測を行う
小売データの BigQuery ML で ARIMA(自己回帰統合移動平均)モデルを構築する方法を学習します。 Vertex AI Workbench についても学習します。BigQuery ML についても学習します。

チュートリアルのステップ

  • データを探索する
  • BigQuery と ARIMA モデルを使用してモデリングを行う
  • モデルを評価する
  • トレーニング データに BigQuery ML を使用してモデルの結果を評価する
  • テストデータを使用してモデルの結果(MAE、MAPE、MSE、RMSE)を評価する
  • エグゼキュータ機能を使用する
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
ノートブックでの BigQuery データのインタラクティブな探索的分析
Jupyter ノートブック環境で BigQuery データを探索して分析情報を得るさまざまな方法を学習します。Vertex AI Workbench についても学習します。BigQuery ML についても学習します。

チュートリアルのステップ

  • Python と SQL を使用して BigQuery で一般公開データをクエリする
  • BigQuery INFORMATION_SCHEMA を使用してデータセットを探索する
  • データの対象部分を探索するためにインタラクティブな要素を作成する
  • 探索的な相関分析と時系列分析を行う
  • ノートブックで、静的でインタラクティブな出力(データテーブルとプロット)を作成する
  • 一部の出力を Cloud Storage に保存する
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
カスタム トレーニング
Vertex AI で不正行為検出モデルを構築する
このチュートリアルでは、金融データセットの合成を使用したデータ分析とモデル構築について説明します。Vertex AI Workbench についても学習します。カスタム トレーニングについても学習します。

チュートリアルのステップ

  • 必要なライブラリをインストールする
  • Cloud Storage バケットからデータセットを読み取る
  • データセットの探索的分析を行う
  • データセットの前処理を行う
  • scikitlearn を使用してランダム フォレスト モデルのトレーニングを行う
  • モデルを Cloud Storage バケットに保存する
  • Vertex AI モデルリソースを作成しエンドポイントにデプロイする
  • テストデータで What-If ツールを実行する
  • モデルのデプロイを解除し、モデルリソースをクリーンアップする
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
Google アナリティクス 4 と BigQuery ML を使用した、ゲーム デベロッパーのためのチャーン予測
BigQuery ML で傾向モデルをトレーニングして評価する方法を学習します。Vertex AI Workbench についても学習します。BigQuery ML についても学習します。

チュートリアルのステップ

  • BigQuery で Google アナリティクス 4 データのエクスポートを探索する。
  • ユーザー属性、行動データ、ラベル(チャーン / 非チャーン)を使用して、トレーニング データを準備する。
  • BigQuery ML を使用して XGBoost モデルをトレーニングする。
  • BigQuery ML を使用してモデルを評価する。
  • BigQuery ML を使用して、離脱するユーザーを予測する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI を使用した e コマースデータのインベントリ予測
このチュートリアルでは、探索的データ分析、データの前処理、モデルのトレーニング、モデルの評価、モデルのデプロイ、What-If ツールの構成方法について学習します。

チュートリアルのステップ

  • BigQuery in Notebooks インテグレーションを使用して、BigQuery からデータセットを読み込む。
  • データセットを分析する。
  • データセット内の特徴を前処理する。
  • 商品が今後 60 日以内に販売されるかどうかを予測するランダム フォレスト分類モデルを構築する。
  • モデルを評価する。
  • Vertex AI を使用してモデルをデプロイする。
  • What-If ツールで構成してテストする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Vertex AI Training
Vertex AI を使用した予測メンテナンス
Vertex AI Workbench のエグゼキュータ機能を使用して、モデルのトレーニングとデプロイを行うワークフローを自動化する方法を学習します。Vertex AI Workbench についても学習します。Vertex AI Training についても学習します。

チュートリアルのステップ

  • Cloud Storage バケットから必要なデータセットを読み込む。
  • データセット内のフィールドを分析する。
  • 予測メンテナンス モデルに必要なデータを選択する。
  • 残存耐用年数を予測する XGBoost 回帰モデルをトレーニングする。
  • モデルを評価する。
  • エグゼキュータを使用して、トレーニング ジョブとしてノートブックをエンドツーエンドで実行する。
  • Vertex AI にモデルをデプロイする。
  • クリーンアップする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
BigQuery ML
CDM 料金データを使用した料金設定の最適化に関する分析
このノートブックは、BigQuery ML を使用して料金の最適化モデルを構築することを目的としています。Vertex AI Workbench についても学習します。BigQuery ML についても学習します。

チュートリアルのステップ

  • Cloud Storage バケットから必要なデータセットを読み込む。
  • データセット内のフィールドを分析する。
  • データを処理してモデルを構築する。
  • 処理済みのデータで BigQuery ML 予測モデルを構築する。
  • BigQuery ML モデルから予測値を取得する。
  • 予測を解釈して最適な価格を特定する。
  • クリーンアップする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
テキストデータの感情分析
AutoML Natural Language と Vertex AI を使用した感情分析
AutoML 感情分析モデルをトレーニングしてデプロイし、予測を行う方法を学習します。Vertex AI Workbench についても学習します。テキストデータの感情分析についても学習します。

チュートリアルのステップ

  • 必要なデータを読み込む。
  • データの前処理を行う。
  • モデルに必要なデータを選択する。
  • Vertex AI マネージド データセットにデータセットを読み込む
  • AutoML テキスト トレーニングを使用して感情モデルをトレーニングする。
  • モデルを評価する。
  • Vertex AI にモデルをデプロイする。
  • 予測を取得する。
  • クリーンアップする。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Spark 向け Dataproc Serverless
Dataproc で BigQuery のデータをダイジェストして分析する
このノートブック チュートリアルでは、BigQuery の「GitHub アクティビティ データ」データセットからデータを取得し、データにクエリを実行してから、結果を BigQuery に書き込む Apache Spark ジョブを実行します。Vertex AI Workbench についても学習します。Spark 向け Dataproc サーバーレスについても学習します。

チュートリアルのステップ

  • Google Cloud プロジェクトと Dataproc クラスタを設定する。
  • sparkbigqueryconnector を構成する
  • BigQuery から Spark DataFrame にデータを取り込む。
  • 取り込まれたデータの前処理を行う。
  • モノグロット リポジトリで最もよく使用されているプログラミング言語をクエリする。
  • モノグロット リポジトリに保存された各言語のコードの平均サイズ(MB)をクエリする。
  • ポリグロット リポジトリで最もよく見られる言語ファイルをクエリする。
  • クエリ結果を BigQuery に書き戻す。
  • このノートブック チュートリアル用に作成したリソースを削除する。
Colab
GitHub
Vertex AI Workbench
Vertex AI Workbench
Dataproc
Dataproc と BigQuery を使用した SparkML
このチュートリアルでは、BigQuery データセットからデータを取得し、探索的データ分析、データのクリーニング、特徴量エンジニアリング、モデルのトレーニング、モデルの評価、結果の出力、Cloud Storage バケットへのモデルの保存を行う Apache SparkML ジョブを実行します。Vertex AI Workbench についても学習します。Dataproc についても学習します。

チュートリアルのステップ

  • Google Cloud プロジェクトと Dataproc クラスタを設定する。
  • Cloud Storage バケットと BigQuery データセットを作成する。
  • sparkbigqueryconnector を構成する。
  • BigQuery データを Spark DataFrame に取り込む。
  • 探索的データ分析(EDA)を実行する。
  • サンプルを使用してデータを可視化する。
  • データをクリーニングする。
  • 特徴を選択する。
  • モデルをトレーニングする。
  • 結果を出力する。
  • モデルを Cloud Storage バケットに保存する。
  • チュートリアル用に作成したリソースを削除する。
Colab
GitHub
Vertex AI Workbench