各モデルのエンドツーエンドのユーザー ジャーニー

BigQuery ML は、さまざまな ML モデルと、各モデルの ML フロー全体(特徴の前処理、モデルの作成、ハイパーパラメータの調整、推論、評価、モデルのエクスポートなど)をサポートしています。モデルの ML フローは、次の 2 つのテーブルに分類されます。

モデルの作成フェーズ

モデルカテゴリ モデルタイプ モデルの作成 特徴量の前処理 ハイパーパラメータ調整 モデルの重み付け 機能とトレーニングに関する情報 チュートリアル
教師あり学習 線形回帰とロジスティック回帰 create model 自動前処理
手動前処理1
HP 調整2
ml.trial_info
ml.weights ml.feature_info
ml.training_info
ディープ ニューラル ネットワーク(DNN) create model なし5 なし
ワイド&ディープ ネットワーク create model なし5 なし
ブーストされたツリー create model なし5 なし
ランダム フォレスト create model なし5 なし
AutoML の分類と回帰 create model なし3 なし3 なし5 なし
教師なし学習 K 平均法 create model 自動前処理
手動前処理1
HP 調整2
ml.trial_info
ml.centroids ml.feature_info
ml.training_info
クラスタ バイク ステーション
行列分解 create model なし HP チューニング2
ml.trial_info
ml.weights
主要コンポーネントの分析(PCA) create model 自動前処理
手動前処理1
なし ml.principal_
components

ml.principal_
component_info
なし
オートエンコーダ create model 自動前処理
手動前処理1
HP チューニング2
ml.trial_info
なし5 なし
時系列モデル ARIMA_PLUS create model 自動前処理 auto.ARIMA4 ml.arima_ coefficients ml.feature_info
ml.training_info
ARIMA_PLUS_XREG create model 自動前処理 auto.ARIMA4 ml.arima_ coefficients ml.feature_info
ml.training_info
多変量予測
生成型 AI リモートモデル Vertex AI テキスト生成モデルを介したリモートモデル6 create model なし なし なし なし
Vertex AI エンベディング生成モデルを介したリモートモデル6 create model なし なし なし なし
AI リモートモデル Cloud Vision API を介したリモートモデル create model なし なし なし なし なし
Cloud Translation API を介したリモートモデル create model なし なし なし なし なし
Cloud Natural Language API を介したリモートモデル create model なし なし なし なし なし
Document AI API を介したリモートモデル
プレビュー
create model なし なし なし なし なし
Speech-to-Text API を介したリモートモデル
プレビュー
create model なし なし なし なし なし
リモートモデル Vertex AI エンドポイントを使用したリモートモデル create model なし なし なし なし リモートモデルを使用して予測する
インポートされたモデル TensorFlow create model なし なし なし なし インポートした TensorFlow モデルを使用して予測する
TensorFlow Lite create model なし なし なし なし なし
Open Neural Network Exchange(ONNX) create model なし なし なし なし
XGBoost create model なし なし なし なし なし
変換のみのモデル7 変換のみ
プレビュー
create model 手動前処理1 なし なし ml.feature_info なし

1 特徴量エンジニアリングの TRANSFORM 句のチュートリアルをご覧ください。前処理関数の詳細については、BQML - 特徴量エンジニアリング関数のチュートリアルをご覧ください。

2ハイパーパラメータ チューニングでモデル性能を強化するのチュートリアルをご覧ください。

3 自動の特徴量エンジニアリングとハイパーパラメータ チューニングは、AutoML モデルのトレーニングにデフォルトで組み込まれています。

4auto.ARIMA アルゴリズムは、トレンド モジュールのハイパーパラメータ チューニングを実行します。ハイパーパラメータ調整は、モデリングのパイプライン全体ではサポートされていません。詳細については、モデリング パイプラインをご覧ください。

5BigQuery ML は、ブーストツリー、ランダム フォレスト、DNN、ワイド&ディープ、オートエンコーダ、AutoML の各モデルの重みを取得する関数をサポートしていません。これらのモデルの重みを確認するには、既存のモデルを BigQuery ML から Cloud Storage にエクスポートし、XGBoost ライブラリまたは TensorFlow ライブラリを使用してツリーモデルのツリー構造やニューラル ネットワークのグラフ構造を可視化します。詳細については、EXPORT MODEL のドキュメントEXPORT MODEL のチュートリアルをご覧ください。

6: Vertex AI 基盤モデルを使用するか、教師ありチューニングを使用してカスタマイズします。

7 これは一般的な ML モデルではなく、元データを特徴に変換するアーティファクトです。

モデルの使用フェーズ

モデルカテゴリ モデルタイプ 評価 推論 AI の説明 モデルのモニタリング モデルのエクスポート チュートリアル
教師あり学習 線形回帰とロジスティック回帰 ml.evaluate
ml.confusion_matrix1
ml.roc_curve2
ml.predict
ml.transform
ml.explain_predict3
ml.global_explain
ml.advanced_weights8
ml.describe_data
ml.validate_data_drift
ml.validate_data_skew
ml.tfdv_describe
ml.tfdv_validate
モデルのエクスポート5
ディープ ニューラル ネットワーク(DNN) なし
ワイド&ディープ ネットワーク なし
ブーストされたツリー ml.explain_predict3
ml.global_explain
ml.feature_importance4
なし
ランダム フォレスト なし
AutoML の分類と回帰 ml.predict ml.global_explain ml.describe_data
ml.validate_data_drift
ml.tfdv_describe
ml.tfdv_validate
なし
教師なし学習 K 平均法 ml.evaluate ml.predict
ml.detect_anomalies
ml.transform
なし ml.describe_data
ml.validate_data_drift
ml.validate_data_skew
ml.tfdv_describe
ml.tfdv_validate
モデルのエクスポート5 クラスタ バイク ステーション
行列分解 ml.recommend
ml.generate_embeddingプレビュー
ml.describe_data
ml.validate_data_drift
ml.tfdv_describe
ml.tfdv_validate
主要コンポーネントの分析(PCA) ml.predict
ml.generate_embeddingプレビュー
ml.detect_anomalies
ml.transform
ml.describe_data
ml.validate_data_drift
ml.validate_data_skew
ml.tfdv_describe
ml.tfdv_validate
なし
オートエンコーダ ml.predict
ml.generate_embeddingプレビュー
ml.detect_anomalies
ml.reconstruction_loss
ml.transform
なし
時系列モデル ARIMA_PLUS ml.evaluate
ml.arima_evaluate6
ml.holiday_info
ml.forecast
ml.detect_anomalies
ml.explain_forecast7 ml.describe_data
ml.validate_data_drift
ml.tfdv_describe
ml.tfdv_validate
なし
ARIMA_PLUS_XREG ml.forecast
ml.detect_anomalies
プレビュー
ml.describe_data
ml.validate_data_drift
ml.validate_data_skew
ml.tfdv_describe
ml.tfdv_validate
多変量予測
生成型 AI リモートモデル Vertex AI テキスト生成モデルを介したリモートモデル9 ml.evaluate11プレビュー ml.generate_text なし ml.describe_data
ml.validate_data_drift
ml.tfdv_describe
ml.tfdv_validate
なし
Vertex AI エンベディング生成モデルを介したリモートモデル9 なし ml.generate_embedding なし なし
AI リモートモデル Cloud Vision API を介したリモートモデル なし ml.annotate_image なし ml.describe_data
ml.validate_data_drift
ml.tfdv_describe
ml.tfdv_validate
なし なし
Cloud Translation API を介したリモートモデル なし ml.translate なし なし なし
Cloud Natural Language API を介したリモートモデル なし ml.understand_text なし なし なし
Document AI API を介したリモートモデル
プレビュー
なし ml.process_document なし なし なし
Speech-to-Text API を介したリモートモデル
プレビュー
なし ml.transcribe なし なし なし
リモートモデル Vertex AI エンドポイントを使用したリモートモデル なし ml.predict なし ml.describe_data
ml.validate_data_drift
ml.tfdv_describe
ml.tfdv_validate
なし リモートモデルを使用して予測する
インポートされたモデル TensorFlow なし ml.predict なし ml.describe_data
ml.validate_data_drift
ml.tfdv_describe
ml.tfdv_validate
モデルのエクスポート5 インポートした TensorFlow モデルを使用して予測する
TensorFlow Lite なし ml.predict なし なし なし
Open Neural Network Exchange(ONNX) なし ml.predict なし なし
XGBoost なし ml.predict なし なし なし
変換のみのモデル10
プレビュー
変換のみ
プレビュー
なし ml.transform なし なし モデルのエクスポート5 なし

1 ml.confusion_matrix は分類モデルにのみ適用されます。

2ml.roc_curve は、バイナリ分類モデルにのみ適用されます。

3ml.explain_predictml.predict の拡張バージョンです。詳細については、Explainable AI の概要をご覧ください。ml.explain_predict の使用方法については、回帰のチュートリアル分類のチュートリアルをご覧ください。

4ml.global_explainml.feature_importance の違いについては、Explainable AI の概要をご覧ください。

5オンライン予測に使用する BigQuery ML モデルをエクスポートするのチュートリアルをご覧ください。オンライン サービングの詳細については、BQML - インライン転置を使用したモデルの作成チュートリアルをご覧ください。

6ARIMA_PLUS モデルまたは ARIMA_PLUS_XREG モデルの場合、ml.evaluate は、平均絶対パーセント誤差(MAPE)などの予測指標を計算するための新しいデータを入力として受け取れます。新しいデータがない場合、ml.evaluate には拡張バージョン ml.arima_evaluate があり、さまざまな評価情報を出力します。

7ml.explain_forecastml.forecast の拡張バージョンです。詳細については、Explainable AI の概要をご覧ください。ml.explain_forecast の使用方法については、単一の時系列予測複数の時系列予測のチュートリアルの結果を可視化する手順をご覧ください。

8 ml.advanced_weightsml.weights の拡張バージョンです。詳細については、ml.advanced_weights をご覧ください。

9 Vertex AI 基盤モデルを使用するか、教師ありチューニングを使用してカスタマイズします。

10 これは一般的な ML モデルではなく、元データを特徴に変換するアーティファクトです。

11 一部の Vertex AI LLM ではサポートされていません。詳細については、ml.evaluate をご覧ください。