テーブルパーティションとクラスタを作成する

このドキュメントでは、Dataform コアを使用してテーブルパーティションとクラスタを作成する方法について説明します。

BigQuery は、パーティション分割テーブルとテーブルクラスタリングをサポートしています。BigQuery のパーティションとクラスタの詳細については、パーティション分割テーブルの概要とクラスタ化テーブルの作成と使用をご覧ください。

始める前に

Cloud コンソールで、[Dataform] ページに移動します。

[Dataform] ページに移動
リポジトリを作成または選択します。
開発ワークスペースを作成または選択します。
テーブルを作成する

必要なロール

テーブルのパーティションとクラスタを構成するために必要な権限を取得するには、ワークスペースに対する Dataform 編集者（roles/dataform.editor）IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセスを管理するをご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

テーブルパーティションを作成する

テーブルパーティションを作成するには、テーブル定義 SQLX ファイルの bigquery ブロックに BigQuery の partition_expression を追加します。

テーブルパーティションを作成するには、次の手順に沿って操作します。

開発ワークスペースに移動します。
[ファイル] ペインで definitions/ を開きます。
テーブル定義 SQLX ファイルを開きます。
config ブロックで、テーブルタイプの宣言の下に次の形式で bigquery ブロックを追加します。
```
config {
  type: "table",
  bigquery: {
  }
}
```
bigquery ブロックに次のコードスニペットを入力します。
```
    partitionBy: "PARTITION_EXPRESSION"
```
PARTITION_EXPRESSION は、テーブルをパーティショニングする式に置き換えます。
省略可: [書式] をクリックします。

次のサンプルコードは、テーブル定義 SQLX ファイルでの 1 時間ごとのテーブル分割を示しています。

config {
  type: "table",
  bigquery: {
    partitionBy: "DATETIME_TRUNC(<timestamp_column>, HOUR)"
  }
}

次のサンプルコードは、テーブル定義 SQLX ファイルでの整数値にるテーブル分割を示しています。

config {
  type: "table",
  bigquery: {
    partitionBy: "RANGE_BUCKET(<integer_column>, GENERATE_ARRAY(0, 1000000, 1000))"
  }
}

パーティションフィルタを設定する

BigQuery のパーティションフィルタの詳細については、パーティション分割テーブルのパーティションフィルタ必須属性の設定をご覧ください。

パーティションフィルタを設定する手順は次のとおりです。

開発ワークスペースに移動します。
[ファイル] ペインで definitions/ を開きます。
パーティション分割テーブルの定義 SQLX ファイルを開きます。
bigquery ブロックには、次のコードスニペットを入力します。
```
requirePartitionFilter : true
```
省略可: [書式] をクリックします。

次のサンプルコードは、パーティション分割テーブル SQLX ファイルの bigquery ブロックに設定されたパーティションフィルタを示しています。

config {
  type: "table",
  bigquery: {
    partitionBy: "DATE(ts)",
    requirePartitionFilter : true
  }
}
SELECT CURRENT_TIMESTAMP() AS ts

パーティションの保持期間を設定する

パーティション分割テーブル内のすべてのパーティションの保持を制御する手順は次のとおりです。

開発ワークスペースに移動します。
[ファイル] ペインで definitions/ を開きます。
パーティション分割テーブルの定義 SQLX ファイルを開きます。
bigquery ブロックに次のコードスニペットを入力します。
```
partitionExpirationDays: NUMBER_OF_DAYS
```
NUMBER_OF_DAYS は、パーティションを保持する日数に置き換えます。
省略可: [書式] をクリックします。

次のコードサンプルは、パーティション分割テーブル SQLX ファイルの bigquery ブロックで、14 日に設定されたパーティションの保持期間を示しています。

config {
  type: "table",
  bigquery: {
    partitionBy: "DATE(ts)",
    partitionExpirationDays: 14,
  }
}
SELECT CURRENT_TIMESTAMP() AS ts

テーブルクラスタを作成する

テーブルクラスタを作成するには、テーブル定義 SQLX ファイルの bigquery ブロックに BigQuery の clustering_column_list を追加します。

テーブルクラスタを作成するには、次の手順に沿って操作します。

開発ワークスペースに移動します。
[ファイル] ペインで definitions/ を開きます。
テーブル定義 SQLX ファイルを開きます。
bigquery ブロックに次のコードスニペットを入力します。
```
    clusterBy: ["CLUSTER_COLUMN"]
```
CLUSTER_COLUMN は、テーブルをクラスタ化する列の名前に置き換えます。
省略可: [書式] をクリックします。

次のコードサンプルは、name 列と revenue 列でクラスタ化されたパーティション分割テーブルを示しています。

config {
  type: "table",
  bigquery: {
    partitionBy: "DATE(ts)",
    clusterBy: ["name", "revenue"]
  }
}
SELECT CURRENT_TIMESTAMP() as ts, name, revenue

次のステップ

インクルードを使用してコードを再利用する方法については、インクルードを使用して変数と関数を再利用するをご覧ください。
増分テーブルの構成方法については、増分テーブルを構成するをご覧ください。

テーブル パーティションとクラスタを作成する