開発環境を作成する

このクイックスタートでは、各デベロッパーが独自の開発環境で作業できるように、Dataform で個々の開発環境を作成する手順について説明します。

準備

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  3. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  4. BigQuery and Dataform API を有効にします。

    API を有効にする

    5.

  5. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  6. Google Cloud プロジェクトで課金が有効になっていることを確認します。

  7. BigQuery and Dataform API を有効にします。

    API を有効にする

    8.

必要なロール

このチュートリアルのすべてのタスクに必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

ロールの付与の詳細については、アクセスの管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Dataform リポジトリの作成

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    Dataform に移動

  2. [リポジトリを作成] をクリックします。

  3. [リポジトリの作成] ページで、次の操作を行います。

    1. [リポジトリ ID] フィールドに「quickstart-dev」と入力します。

    2. [リージョン] リストで europe-west4 を選択します。

    3. [作成] をクリックします。

  4. [完了] をクリックします。

Dataform に BigQuery へのアクセス権を付与する

BigQuery でワークフローを実行するには、Dataform サービス アカウントに次のロールが必要です。

  • Dataform が読み取りと書き込みの両方のアクセス権を必要とするプロジェクトに対する BigQuery データ編集者。 通常は、Dataform リポジトリをホストするプロジェクトが含まれます。
  • Dataform が読み取り専用アクセス権を必要とするプロジェクトに対する BigQuery データ閲覧者。
  • Dataform リポジトリをホストするプロジェクトに対する BigQuery ジョブユーザー。

これらのロールを付与するには、次の手順に沿って操作します。

  1. Google Cloud コンソールの [IAM] ページに移動します。

    [IAM] ページに移動

  2. [Add（追加）] をクリックします。

  3. [新しいプリンシパル] フィールドに、Dataform サービス アカウント ID を入力します。

  4. [ロールを選択] プルダウン リストで、[BigQuery ジョブユーザー] ロールを選択します。

  5. [別のロールを追加] をクリックし、[ロールを選択] プルダウン リストで [BigQuery データ編集者] ロールを選択します。

  6. [別のロールを追加] をクリックし、[ロールを選択] プルダウン リストで [BigQuery データ閲覧者] ロールを選択します。

  7. [保存] をクリックします。

ワークスペース コンパイルのオーバーライドを構成する

Dataform ワークスペースのコンパイル オーバーライドを使用して分離された開発環境を作成する手順は次のとおりです。

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    Dataform に移動

  2. [quickstart-dev] をクリックします。

  3. [設定]、[編集] の順にクリックします。

  4. [ワークスペースのコンパイルのオーバーライド] ペインで、[スキーマ サフィックス] フィールドに「${workspaceName}」と入力します。

    ワークスペースで実行をトリガーすると、Dataform はワークスペースの名前を dataform.json に設定されたデフォルトのスキーマに接尾辞として追加します。このクイックスタートではデフォルトの Dataform 設定を使用し、dataform デフォルト スキーマを使用します。

  5. [保存] をクリックします。

Dataform は、リポジトリ内のすべてのワークスペースにワークスペース コンパイル オーバーライドを適用します。

この構成では、ワークスペースで SQL ワークフローを手動で実行すると、Dataform はこれをワークスペースのコンパイル オーバーライドで実行します。この結果、Dataform は BigQuery の dataform_workspaceName スキーマで SQL ワークフローを実行し、ワークスペースを隔離された開発環境に変換します。

たとえば、sasha ワークスペースで手動で実行をトリガーすると、Dataform は BigQuery の dataform_sasha スキーマで SQL ワークフローを実行します。

SQL ワークフローをワークスペースのコンパイル オーバーライドなしで実行し、かつ、開発環境にワークスペースのコンパイル オーバーライドを保持するには、他の実行環境（staging や production など）を構成するリリース構成を作成します。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を行います。

BigQuery で作成したデータセットを削除する

BigQuery アセットの料金が発生しないようにするには、dataform で始まる名前（dataform-sasha など）のデータセットを削除します。

  1. Google Cloud コンソールで [BigQuery] ページに移動します。

    [BigQuery] に移動

  2. [エクスプローラ] パネルでプロジェクトを開いて、データセットを選択します。

  3. [アクション] メニューをクリックして、[削除] を選択します。

  4. [データセットを削除する] ダイアログで、フィールドに「delete」と入力してから、[削除] をクリックします。

Dataform リポジトリの削除

Dataform リポジトリの作成に伴う費用は発生しません。ただし、リポジトリとそのすべてのコンテンツを削除するには、次の手順を行います。

  1. Google Cloud コンソールの [Dataform] ページに移動します。

    Dataform に移動

  2. quickstart-dev で、 [その他] メニューをクリックし、[削除] を選択します。

    1. [リポジトリの削除] ウィンドウで、リポジトリの名前を入力して削除を確定します。

  3. [削除] をクリックして確定します。

次のステップ