このドキュメントは、Dataform のワークスペースのコンセプトとその機能を理解するのに役立ちます。
Dataform では、開発ワークスペースで SQL ワークフロー コードを操作します。開発ワークスペースは、リポジトリの編集可能なコピーです。ワークスペースで、同じリポジトリに取り組む他のメンバーに影響を与えることなく、リポジトリの内容を作成、編集、または削除してから、変更をリポジトリに commit して push できます。
SQL ワークフローは、Dataform コアまたは JavaScript を使用して開発できます。 Dataform は、コードをリアルタイムで SQL クエリにコンパイルします。
開発ワークスペースでは、次のタスクを実行できます。
- Dataform の設定を構成する
- サポートされているすべてのタイプのテーブルを作成する
- テーブルを文書化する
- テーブルを分割する
- BigQuery ラベルとポリシータグをテーブルに追加する
- 追加のテーブル設定を構成する
- SQL ワークフローのデータソースを宣言する
- SQL ワークフローにカスタム SQL オペレーションとタグを追加する
- SQL ワークフローまたは選択したアクションの実行をトリガーする
- 実行ログを検査する
開発ワークスペースのコンポーネント
Dataform 開発ワークスペースは、次のタブで構成されます。
- コード
- ファイルを探索し、クエリを開発し、変更をバージョン管理し、BigQuery への実行をトリガーできる開発環境が含まれています。
- コンパイル済みのグラフ
- ワークスペースで定義されたコンパイル済み SQL ワークフローを、インタラクティブな有向非巡回グラフ(DAG)として表示します。SQL ワークフローにコンパイル エラーがある場合、タブにはグラフではなくエラー メッセージが表示されます。
- 実行
- ワークスペースでトリガーされたすべての実行のログを表示します。選択した実行のアクションとその詳細を表示することもできます。詳細については、ワークスペースの実行ログを検査するをご覧ください。
コード タブのコンポーネント
開発ワークスペースのコードタブには、SQL ワークフローを開発するための次のコンポーネントが含まれています。
- ファイル ペイン
- ワークスペースのファイル構造を表示します。編集内容がファイル構造に自動的に保存されます。選択したファイルが [Develop] ペインのタブで開きます。[検索語句を入力] フィールドで、ワークスペース内のファイルまたはディレクトリをパスで検索できます。
- バージョン管理ペイン
- ワークスペースのバージョン管理ステータスとバージョン管理オプションが表示されます。
- 開発ペイン
- 開いているファイルをタブに表示します。編集したファイルに変更を自動保存します。
- 実行ボタン
- コンパイルされた SQL クエリのプレビューを実行します。
- [書式] ボタン
- Dataform のコアまたは JavaScript コードの書式を設定します。
- コンパイルのステータス
- ワークスペースのコードのコンパイル ステータスを表示します。
- メタデータ ペイン
- 現在編集されているファイルのメタデータを表示します。
- コンパイル済みクエリペイン
- 現在編集されているファイルのクエリを SQL にコンパイルします。 クエリのコンパイルが失敗した場合は、コンパイル エラーが表示されます。 クエリのコンパイルが成功した場合、コンパイルされたクエリが表示され、BigQuery に対するドライランで検証されます。 クエリの検証で不合格だった場合、検証エラーが表示されます。 クエリの検証が成功すると、BigQuery に対するクエリの実行に必要なバイト数が表示されます。
- 実行開始のプルダウン
- ワークスペース内のワークフロー全体または選択した要素の実行をトリガーするオプションが表示されます。
コンパイル済みグラフ タブのコンポーネント
コンパイル済みグラフ タブには、コンパイルされた SQL ワークフローのインタラクティブなグラフが表示されます。グラフには、SQL ワークフロー内のすべてのアクションと、それらの関係が表示されます。
ズームインまたはズームアウトするには、ドラッグしてグラフ内を移動します。
次のプロパティでグラフをフィルタリングできます。
- Name
- タグ
- 種類
- アサーション
- 宣言
- 増分テーブル
- マテリアライズド ビュー
- オペレーション
- Table
- 不明
- 表示
一度に複数のフィルタを選択できます。Dataform はそれらを OR
条件で適用します。
グラフ内のアクションをクリックすると、以下のペインに詳細が表示されます。
- メタデータ ペイン
- 選択したアクションの完全な名前、タイプ、依存関係、依存関係を表示します。
- クエリペイン
- 選択したアクションのコンパイル済み SQL クエリを表示します。
ワークスペースでのバージョン管理
ワークスペースで、Git ベースのバージョン管理を介してリポジトリを操作します。ワークスペース内のファイルに対して行った編集は、commit 可能な commit されていないローカル変更として開始され、すべてのリポジトリ ユーザーが使用できるようにリポジトリに push されます。
リポジトリがリモートの Git プロバイダに接続されている場合は、ワークスペースからメインの開発ブランチに変更を push します。リポジトリをリモートの Git プロバイダに接続するときに、メインブランチを選択します。 接続されていない Dataform リポジトリでは、デフォルト ブランチに変更を push します。
Dataform リポジトリまたはリモート リポジトリから変更を pull し、開発ワークスペースのローカルの変更とマージすることもできます。Dataform のバージョン管理の詳細については、コードのバージョン管理をご覧ください。
次のステップ
- ワークスペースの作成と初期化の方法については、ワークスペースの作成をご覧ください。
- Dataform コードのバージョン管理方法については、コードのバージョン管理をご覧ください。
- プレビューを実行して SQL クエリをテストする方法については、SQL クエリをプレビューするをご覧ください。