このドキュメントは、Dataform のテーブルを理解するのに役立ちます。
Dataform では、テーブルは SQL ワークフローを構成するオブジェクトのタイプの 1 つです。SQL ワークフローで宣言されたデータソース、または SQL ワークフローの他のテーブルからデータを参照するテーブルを作成できます。Dataform は、テーブル定義をリアルタイムで SQL にコンパイルします。実行をトリガーすると、Dataform は SQL コードを実行し、BigQuery で定義済みのテーブルを作成します。
type: "table"
SQLX ファイルには、次のテーブルタイプを作成できます。
table
: 通常のテーブル。incremental
: 増分テーブル。view
: テーブルビュー。BigQuery のビューの詳細については、ビューの概要をご覧ください。materialized
: マテリアライズド テーブル ビュー。マテリアライズド ビューの詳細については、マテリアライズド ビューの概要をご覧ください。
テーブルのパーティションとクラスタを定義することもできます。
テーブルの目的または SQL ワークフロー内の他のテーブルとの関係を記録するには、テーブルまたは選択した列にドキュメントを追加します。
テーブル内のデータを特定の条件に対してテストするには、アサーションと呼ばれるデータ品質テストクエリを作成します。 Dataform は、SQL ワークフローを更新するたびにアサーションを実行し、アサーションが失敗した場合にアラートを送信します。
デフォルトのテーブル設定(database
や schema
など)をオーバーライドして、テーブルの作成を無効にする、またはテーブルの作成前または作成後に SQL ステートメントを実行するには、追加のテーブル設定を構成します。
実行後に BigQuery でテーブルを整理するには、BigQuery ラベルを追加します。BigQuery ラベルの詳細については、ラベルの概要をご覧ください。
テーブル列レベルでデータアクセスを制限するには、BigQuery ポリシータグを追加します。BigQuery ポリシータグの詳細については、列レベルのアクセス制御の概要をご覧ください。
type: "table"
SQLX ファイルでテーブルを定義するだけでなく、type: "operations"
SQLX ファイルでカスタム SQL クエリを定義することで、空のテーブルを作成できます。
別のサービスによってデータが入力されるように空のテーブルを作成することもできます。
次のステップ
- テーブルの作成方法については、テーブルの作成をご覧ください。
- 追加のテーブル設定を構成する方法については、追加のテーブル設定の構成をご覧ください。
- テーブルをパーティショニングする方法については、テーブル パーティションとクラスタの作成をご覧ください。
- 増分テーブルを構成する方法については、増分テーブルを構成するをご覧ください。