BigQuery テーブルのデータリネージを追跡する
データリネージを使用すると、データがシステム内をどのように移動するか、つまりデータがどこから来て、どこに渡され、どのような変換がデータに適用されるかを追跡できます。
BigQuery のコピージョブとクエリジョブのデータリネージの追跡を開始する方法について学習します。
一般公開されている
new_york_taxi_trips
データセットから 2 つのテーブルをコピーします。両方のテーブルのタクシー乗車の合計回数を新しいテーブルにまとめます。
3 つのオペレーションのリネージ可視化グラフを表示します。
始める前に
プロジェクトを設定する:
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Data Catalog, BigQuery, and data lineage API を有効にします。
-
Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。
-
Data Catalog, BigQuery, and data lineage API を有効にします。
必要なロール
リネージの可視化グラフを表示するために必要な権限を取得するには、次の IAM ロールの付与を管理者に依頼してください。
-
Data Catalog リソース プロジェクトの Data Catalog 閲覧者 (
roles/datacatalog.viewer
) -
BigQuery を使用するプロジェクトのデータリネージ閲覧者(
roles/datalineage.viewer
) -
BigQuery を使用するプロジェクトの BigQuery データ閲覧者(
roles/bigquery.dataViewer
)
ロールの付与の詳細については、アクセス権の管理をご覧ください。
一般公開データセットをプロジェクトに追加する
Google Cloud コンソールで [BigQuery] ページに移動します。
[エクスプローラ] ペインで、[追加] をクリックします。
[追加] ペインで
Public datasets
を検索し、[公開データセット] の結果を選択します。[Marketplace] ペインで「
NYC TLC Trips
」を検索し、[NYC TLC Trips] の結果をクリックします。[データセットを表示] をクリックします。
このステップでは、データセット new_york_taxi_trips をプロジェクトに追加します。詳細ペインには次のデータセット ID、データのロケーションおよび最終更新日時のようなデータセット情報を含む情報が表示されます。
プロジェクトにデータセットを作成する
[エクスプローラ] ペインで、データセットを作成するプロジェクトを選択します。
アクション アイコンをクリックし、[データセットを作成] をクリックします。
[データセットを作成] ページの [データセット ID] フィールドに「
data_lineage_demo
」と入力します。他のフィールドはデフォルト値のままにします。[データセットを作成] をクリックします。
[エクスプローラ] ペインで、新しく追加された
data_lineage_demo
をクリックします。
詳細ペインにデータセット情報が表示されます。
一般公開されている 2 つのテーブルをデータセットにコピーする
クエリエディタを開きます。詳細ペインで、
data_lineage_demo
という名前のタブの横にある (新しいクエリを作成)をクリックします。このステップでは、Untitled
というタブを作成します。クエリエディタで、次のクエリを入力して最初のテーブルをコピーします。
PROJECT_ID
はプロジェクトの ID に置き換えます。CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021` COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
[実行] をクリックします。 このステップでは、nyc_green_trips_2021
という最初のテーブルを作成します。[クエリ結果] ペインで、[テーブルに移動] をクリックします。このステップでは、最初のテーブルの内容を表示します。
クエリエディタで、前のクエリを次のクエリに置き換えて、2 番目のテーブルをコピーします。
PROJECT_ID
はプロジェクトの ID に置き換えます。CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022` COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
[実行] をクリックします。 このステップでは、nyc_green_trips_2022
という 2 番目のテーブルを作成します。[クエリ結果] ペインで、[テーブルに移動] をクリックします。このステップでは、2 番目のテーブルの内容を表示します。
データを新しいテーブルに集計する
クエリエディタで、次のクエリを入力します。
PROJECT_ID
は プロジェクトの ID に置き換えます。CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21` AS SELECT vendor_id, COUNT(*) AS number_of_trips FROM ( SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022` UNION ALL SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021` ) GROUP BY vendor_id
[実行] をクリックします。 このステップでは、total_green_trips_22_21
という名前の結合されたテーブルを作成します。[クエリ結果] ペインで、[テーブルに移動] をクリックします。このステップでは、結合されたテーブルが表示されます。
Dataplex でリネージグラフを表示する
Dataplex の検索ページを開く
[検索プラットフォームの選択] で、検索モードとして [Data Catalog] を選択します。
[検索] ボックスに「
total_green_trips_22_21
」と入力し、[検索] をクリックします。検索結果の一覧で
total_green_trips_22_21
をクリックします。この手順では、BigQuery テーブルの [詳細] タブが表示されます。[リネージ] タブをクリックします。
![詳細パネルが下部にドッキングされている total_green_trips_22_21 テーブルのスクリーンショット。](https://cloud.google.com/static/data-catalog/images/lineage_total_end_screen.png?authuser=0000&hl=ja)
リネージグラフでは、各長方形ノードはテーブルを表します。テーブルは、元のテーブル、コピーされたテーブル、結合されたテーブルのいずれかです。以下の操作を行います。
+(展開)または +(折りたたみ)をクリックして、表の原点を表示または非表示にします。
ノードをクリックしてテーブル情報を表示します。このステップでは、ノード [詳細] ペインが表示されます。
プロセス アイコンをクリックして、プロセス情報を表示します。このステップでは、ソーステーブルをターゲット テーブルに変換したジョブを示すプロセスの [詳細] ペインが表示されます。
![詳細パネルが下部にドッキングされている、中間の nyc_green_trips_2021 テーブルのスクリーンショット。](https://cloud.google.com/static/data-catalog/images/lineage_intermediary_table_screen.png?authuser=0000&hl=ja)
クリーンアップ
このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を実施します。
プロジェクトを削除する
課金をなくす最も簡単な方法は、チュートリアル用に作成したプロジェクトを削除することです。
プロジェクトを削除するには:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
データセットの削除
BigQuery ページに移動します。
[エクスプローラ] ペインで、作成した
data_lineage_demo
データセットを検索します。データセットを右クリックして [削除] を選択します。
削除のアクションを確認します。
次のステップ
- Dataplex とデータリネージの詳細を確認する。
- BigQuery クエリを実行する方法を学習する。
- データリネージの使用方法とデータリネージ グラフを表示する方法を学習する。
- Dataplex の料金と請求について学習する。