マテリアライズドビューの推奨事項を管理する

このドキュメントでは、マテリアライズドビューの Recommender の仕組みと、マテリアライズドビューの推奨事項を表示して適用する方法について説明します。

はじめに

BigQuery マテリアライズドビュー Recommender は、ワークロードのパフォーマンス向上と実行コストの削減に役立ちます。これらの推奨事項は、過去 30 日間のクエリ実行の特徴に基づいています。

マテリアライズドビューは事前に計算されたビューで、パフォーマンスと効率を向上させるためにクエリの結果を定期的にキャッシュに保存します。マテリアライズドビューは、スマートチューニングを使用して、ソーステーブルに対するクエリを透過的に書き換え、既存のマテリアライズドビューを使用してパフォーマンスと効率を向上させます。

Recommender の仕組み

Recommender は、BigQuery でクエリジョブを実行するプロジェクトごとに推奨事項を毎日生成します。推奨事項は、過去 30 日間のワークロード実行の分析に基づいています。マテリアライズドビューの Recommender は反復的なクエリパターンを探し、反復的なサブクエリを増分マテリアライズドビューに移動した場合に節約できる費用を計算します。Recommender は、クエリ時の節約額とマテリアライズドビューのアカウント維持費を検討し、これらの要因から大幅な改善が見込める場合に推奨事項を提案します。

次のクエリについて考えてみましょう。

WITH revenue   AS
(SELECT l_suppkey as supplier_no,
        sum(l_extendedprice * (1 - l_discount)) as total_revenue
  FROM lineitem
  WHERE
    l_shipdate >= date '1996-01-01'
    AND l_shipdate < date_add(date '1996-01-01', interval 3 MONTH)
  GROUP BY l_suppkey)
SELECT s_suppkey,
      s_name,
      s_address,
      s_phone,
      total_revenue
FROM
supplier,
revenue
WHERE s_suppkey = supplier_no
AND total_revenue =
  (SELECT max(total_revenue)
    FROM revenue)
ORDER BY s_suppkey

この例は、上位のサプライヤーに関する情報を表示するクエリです。このクエリには、サプライヤー（l_suppkey）ごとの総収益を表す revenue という共通テーブル式（CTE）が含まれ、サプライヤーの total_revenue がサプライヤー全体の max(total_revenue) と一致する場合に、revenue がサプライヤーテーブルと結合されます。その結果、総収益が最も多いサプライヤーの情報（l_suppkey、s_name、s_address、s_phone、total_revenue）が計算されます。

このクエリは全体的に複雑すぎるため、増分マテリアライズドビューには追加できませんが、supplier CTE は単一テーブルの集計であり、これは増分マテリアライズドビューでサポートされているクエリパターンです。supplier CTE は、クエリの中で最も計算コストが高い部分でもあります。したがって、この例のクエリが常に変化するソーステーブルに対して繰り返し実行されている場合、マテリアライズドビュー Recommender は supplier CTE をマテリアライズドビューに配置することを提案します。この例のクエリに対するマテリアライズドビューの推奨事項は次のようになります。

CREATE MATERIALIZED VIEW mv AS
SELECT l_suppkey as supplier_no,
         sum(l_extendedprice * (1 - l_discount)) as total_revenue
  FROM lineitem
  WHERE
    l_shipdate >= date '1996-01-01'
    AND l_shipdate < date_add(date '1996-01-01', interval 3 MONTH)
  GROUP BY l_suppkey

Recommender API は、クエリ実行情報を分析情報の形式で返します。分析情報は、プロジェクトのワークロードの理解に役立つ検出結果であり、マテリアライズドビューの推奨事項によってワークロードの費用がどのように改善されるかについて、より多くのコンテキストを提供します。

制限事項

マテリアライズドビュー Recommender は、データ処理をオプトアウトする標準プロセスをサポートしていません。マテリアライズドビューの推奨事項の受信を停止する場合は、BigQuery Gemini の pre-GA 登録フォームを使用してリクエストしてください。
マテリアライズドビューの推奨事項は BigQuery にエクスポートできません。

始める前に

マテリアライズドビューの推奨事項を表示または適用するには、Recommender API を有効にする必要があります。

必要な権限

マテリアライズドビューの推奨事項にアクセスするために必要な権限を取得するには、BigQuery マテリアライズドビュー Recommender 閲覧者（roles/recommender.bigqueryMaterializedViewViewer）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

この事前定義ロールには、マテリアライズドビューの推奨事項にアクセスするために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

マテリアライズドビューの推奨事項にアクセスするには、次の権限が必要です。

recommender.bigqueryMaterializedViewRecommendations.get
recommender.bigqueryMaterializedViewRecommendations.list

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

BigQuery における IAM ロールと権限の詳細については、IAM の概要をご覧ください。

マテリアライズドビューの推奨事項を表示する

このセクションでは、Google Cloud コンソール、Google Cloud CLI、Recommender API を使用してマテリアライズドビューの推奨事項と分析情報を表示する方法について説明します。

次のオプションのいずれかを選択します。

コンソール

Google Cloud コンソールで [BigQuery] ページに移動します。

[BigQuery] に移動
推奨事項 アイコンをクリックします。
[BigQuery の推奨事項] ペインが開きます。[BigQuery のワークロード費用の最適化] で、[詳細を表示] をクリックします。
推奨事項のリストが表示され、現在のプロジェクトに生成されたすべての推奨事項が表示されます。特定のマテリアライズドビューの推奨事項またはテーブルの分析情報の詳細を表示するには、[詳細] をクリックします。

または、サイドナビゲーションの [推奨事項] をクリックして、プロジェクトまたは組織で利用可能なすべての推奨事項を表示することもできます。

gcloud

特定のプロジェクトのマテリアライズドビューの推奨事項を表示するには、gcloud recommender recommendations list コマンドを使用します。

gcloud recommender recommendations list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --recommender=google.bigquery.materializedview.Recommender \
    --format=FORMAT_TYPE \

次のように置き換えます。

PROJECT_NAME: クエリジョブを実行するプロジェクトの名前
REGION_NAME: クエリジョブが実行されるリージョン
FORMAT_TYPE: サポートされている gcloud CLI 出力形式（例: JSON）

次の表に、recommendations レスポンス内の重要なフィールドを示します。

プロパティ	サブタイプに関連	説明
`recommenderSubtype`	`CREATE_MATERIALIZED_VIEW`	推奨事項の種類。
`content.overview.sql`	`CREATE_MATERIALIZED_VIEW`	マテリアライズドビューを作成する DDL ステートメントの候補。
`content.overview.slotMsSavedMonthly`	`CREATE_MATERIALIZED_VIEW`	提案されたビューによって毎月節約されるスロット時間の推定値（ミリ秒単位）。
`content.overview.bytesSavedMonthly`	`CREATE_MATERIALIZED_VIEW`	提案されたビューによってスキャンされる推定バイト数（月単位）。
`content.overview.baseTables`	`CREATE_MATERIALIZED_VIEW`	将来の使用のために予約。

recommendations レスポンスの他のフィールドの詳細については、REST リソース: projects.locations.recommenders.recommendation をご覧ください。
Recommender API の使用の詳細については、API の使用 - 推奨事項をご覧ください。

gcloud CLI を使用して、マテリアライズドビューの推奨事項に関する分析情報を表示するには、gcloud recommender insights list コマンドを使用します。

gcloud recommender insights list \
    --project=PROJECT_NAME \
    --location=REGION_NAME \
    --insight-type=google.bigquery.materializedview.Insight \
    --format=FORMAT_TYPE \

次のように置き換えます。

PROJECT_NAME: クエリジョブを実行するプロジェクトの名前
REGION_NAME: クエリジョブが実行されるリージョン
FORMAT_TYPE: サポートされている gcloud CLI 出力形式（例: JSON）

次の表に、insights API レスポンスの重要なフィールドを示します。

プロパティ	サブタイプに関連	説明
`content.queryCount`	`CREATE_MATERIALIZED_VIEW`	観測期間中にマテリアライズドビューによって最適化可能な反復パターンのクエリの数。

insights レスポンス内の他のフィールドの詳細については、REST リソース: projects.locations.insightTypes.insights をご覧ください。
分析情報の使用について詳しくは、API の使用 - 分析情報をご覧ください。

REST API

特定のプロジェクトのマテリアライズドビューの推奨事項を表示するには、REST API を使用します。各コマンドに認証トークンを指定する必要があります。これは gcloud CLI を使用して取得できます。認証トークンの取得方法については、ID トークンの取得方法をご覧ください。

curl list リクエストを使用して、特定のプロジェクトのすべての推奨事項を表示できます。

$ curl
-H "Authorization: Bearer $(gcloud auth print-access-token)"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/PROJECT_NAME/locations/LOCATION/recommenders/google.bigquery.materializedview.Recommender/recommendations

次のように置き換えます。

PROJECT_NAME: BigQuery テーブルを含むプロジェクトの名前
LOCATION: プロジェクトのロケーション。

次の表に、recommendations レスポンス内の重要なフィールドを示します。

プロパティ	サブタイプに関連	説明
`recommenderSubtype`	`CREATE_MATERIALIZED_VIEW`	推奨事項の種類。
`content.overview.sql`	`CREATE_MATERIALIZED_VIEW`	マテリアライズドビューを作成する DDL ステートメントの候補。
`content.overview.slotMsSavedMonthly`	`CREATE_MATERIALIZED_VIEW`	提案されたビューによって毎月節約されるスロット時間の推定値（ミリ秒単位）。
`content.overview.bytesSavedMonthly`	`CREATE_MATERIALIZED_VIEW`	提案されたビューによってスキャンされる推定バイト数（月単位）。
`content.overview.baseTables`	`CREATE_MATERIALIZED_VIEW`	将来の使用のために予約。

recommendations レスポンスの他のフィールドの詳細については、REST リソース: projects.locations.recommenders.recommendation をご覧ください。
Recommender API の使用の詳細については、API の使用 - 推奨事項をご覧ください。

REST API を使用して、マテリアライズドビューの推奨事項に関する分析情報を表示するには、次のコマンドを実行します。

$ curl
-H "Authorization: Bearer $(gcloud auth print-access-token)"
-H "x-goog-user-project: PROJECT_NAME" https://recommender.googleapis.com/v1/projects/PROJECT_NAME/locations/LOCATION/insightTypes/google.bigquery.materializedview.Insight/insights

次のように置き換えます。

PROJECT_NAME: BigQuery テーブルを含むプロジェクトの名前
LOCATION: プロジェクトのロケーション。

次の表に、insights API レスポンスの重要なフィールドを示します。

プロパティ	サブタイプに関連	説明
`content.queryCount`	`CREATE_MATERIALIZED_VIEW`	観測期間中にマテリアライズドビューによって最適化可能な反復パターンのクエリの数。

insights レスポンス内の他のフィールドの詳細については、REST リソース: projects.locations.insightTypes.insights をご覧ください。
分析情報の使用について詳しくは、API の使用 - 分析情報をご覧ください。

`INFORMATION_SCHEMA` で推奨事項を表示する

INFORMATION_SCHEMA ビューを使用して、推奨事項と分析情報を表示することもできます。たとえば、次の例のように、INFORMATION_SCHEMA.RECOMMENDATIONS ビューを使用して、スロットの節約に基づいて上位 3 つの推奨事項を表示できます。

+---------------------------------------------------+--------------------------------------------------------------------------------------------------+
|                    recommender                    |   target_resources      | est_gb_saved_monthly | slot_hours_saved_monthly |  last_updated_time
+---------------------------------------------------+--------------------------------------------------------------------------------------------------+
| google.bigquery.materializedview.Recommender      | ["project_resource"]    | 140805.38289248943   |        9613.139166666666 |  2024-07-01 13:00:00
| google.bigquery.table.PartitionClusterRecommender | ["table_resource_1"]    | 4393.7416711859405   |        56.61476777777777 |  2024-07-01 13:00:00
| google.bigquery.table.PartitionClusterRecommender | ["table_resource_2"]    |   3934.07264107652   |       10.499466666666667 |  2024-07-01 13:00:00
+---------------------------------------------------+--------------------------------------------------------------------------------------------------+

詳しくは、次のリソースをご覧ください。

マテリアライズドビューの推奨事項を適用する

マテリアライズドビューを作成するための推奨事項を適用するには、Google Cloud コンソールで、提案された CREATE MATERIALIZED VIEW 型の DDL ステートメントを実行します。

注: 提案された CREATE MATERIALIZED VIEW DDL ステートメントを実行するには、次のすべての場所に対して必要な権限が付与されている必要があります。

クエリプロジェクト
ソーステーブルを含むデータセット
マテリアライズドビューを含むデータセット

Google Cloud コンソールで [BigQuery] ページに移動します。

[BigQuery] に移動
推奨事項 アイコンをクリックします。
[BigQuery の推奨事項] ペインが開きます。[BigQuery のワークロード費用の最適化] で、[詳細を表示] をクリックします。
推奨事項のリストが表示され、選択したスコープに応じて、現在のプロジェクトまたは組織に対して生成された推奨事項がすべて表示されます。マテリアライズドビューの推奨事項を見つけて、[詳細] をクリックします。
[BigQuery Studio で表示] をクリックします。SQL エディタが開き、CREATE MATERIALIZED VIEW DDL ステートメントが表示されます。
表示されている CREATE MATERIALIZED VIEW ステートメントで、MATERIALIZED_VIEW プレースホルダを一意のマテリアライズドビュー名に変更します。
CREATE MATERIALIZED VIEW DDL ステートメントを実行して、推奨されるマテリアライズドビューを作成します。

推奨事項に関する問題のトラブルシューティング

問題: 特定のテーブルに対する推奨事項が表示されない。

次のような状況では、マテリアライズドビューの推奨事項が表示されないことがあります。

プロジェクトで実行されたクエリジョブに、繰り返し発生するクエリパターンが見つからない。
繰り返し発生するクエリパターンは、増分マテリアライズドビューの制限事項を満たしていないため、スマートチューニングに適したマテリアライズドビューに追加できません。
マテリアライズドビューの作成にかかるメンテナンス費用が高くなる。たとえば、データ操作言語（DML）オペレーションによって変更されることが多いソーステーブルの場合、マテリアライズドビューが完全に更新されるため、余分にコストが発生します。
共通の繰り返しパターンのあるクエリの数が十分でない。
1 か月あたりの推定削減額が少なすぎる（1 スロット未満）。
プロジェクトで実行されるクエリジョブで、すでにマテリアライズドビューが使用されている。

料金

推奨事項を表示する際に、費用やワークロードのパフォーマンスへの悪影響が発生することはありません。

マテリアライズドビューを作成して推奨事項を適用すると、ストレージ、メンテナンス、クエリの費用が発生する可能性があります。詳細については、マテリアライズドビューの料金をご覧ください。

マテリアライズド ビューの推奨事項を管理する

はじめに

Recommender の仕組み

制限事項

始める前に

必要な権限

必要な権限

マテリアライズド ビューの推奨事項を表示する

コンソール

gcloud

REST API

INFORMATION_SCHEMA で推奨事項を表示する

マテリアライズド ビューの推奨事項を適用する

推奨事項に関する問題のトラブルシューティング

料金

マテリアライズドビューの推奨事項を管理する

マテリアライズドビューの推奨事項を表示する

`INFORMATION_SCHEMA` で推奨事項を表示する

マテリアライズドビューの推奨事項を適用する