データをプロファイリングする
このドキュメントでは、データ プロファイル スキャンを使用してデータをより深く理解する方法について説明します。BigQuery では、Dataplex Universal Catalog を使用して平均値、一意の値、最大値など、データの統計的特性を分析します。また、Dataplex Universal Catalog はこの情報を使用して、データ品質チェックのルールを推奨します。
データのプロファイリングの詳細については、データのプロファイリングについてをご覧ください。
始める前に
Enable the Dataplex API.
必要なロール
BigQuery テーブルをプロファイリングするには、次の権限が必要です。
BigQuery テーブルでデータ プロファイル スキャンを実行するには、BigQuery テーブルの読み取り権限と、テーブルのスキャンに使用するプロジェクトで BigQuery ジョブを作成するための権限が必要です。
BigQuery テーブルとデータ プロファイル スキャンが異なるプロジェクトにある場合、Dataplex Universal Catalog サービス アカウントに、対応する BigQuery テーブルの読み取り権限を付与する必要があります。
BigQuery データが Dataplex Universal Catalog レイクで編成されている場合、データ プロファイル スキャンを作成するには、Dataplex Universal Catalog ロールの
roles/dataplex.metadataReaderとroles/dataplex.viewerが必要です。これにより次の権限が付与されます。dataplex.lakes.listdataplex.lakes.getdataplex.zones.listdataplex.zones.getdataplex.entities.listdataplex.entities.getdataplex.operations.get
Cloud Storage から BigQuery の外部テーブルをスキャンする場合は、Dataplex Universal Catalog サービス アカウントに Storage オブジェクト閲覧者（
roles/storage.objectViewer）ロールまたは次のバケットに対する権限を割り当てます。storage.buckets.getstorage.objects.get
Google Cloud コンソールの BigQuery ページと Dataplex Universal Catalog ページでソーステーブルのデータ プロファイル スキャンの結果を公開する場合は、テーブルに対する BigQuery データ編集者（
roles/bigquery.dataEditor）ロールが付与されている必要があります。または、次のすべての権限が必要です。bigquery.tables.getbigquery.tables.updatebigquery.tables.updateDatabigquery.tables.delete
スキャン結果を BigQuery テーブルにエクスポートするには、Dataplex Universal Catalog サービス アカウントに BigQuery データ編集者（
roles/bigquery.dataEditor）ロールが必要です。これにより次の権限が付与されます。bigquery.datasets.getbigquery.tables.createbigquery.tables.getbigquery.tables.getDatabigquery.tables.updatebigquery.tables.updateData
BigQuery の列レベルのアクセス ポリシーで保護されている列にアクセスする必要がある場合は、それらの列に対する権限を Dataplex Universal Catalog サービス アカウントに割り当てます。データスキャンを作成または更新しているユーザーには、列に対する権限も必要です。
テーブルで BigQuery 行レベルのアクセス ポリシーが有効になっている場合、Dataplex Universal Catalog サービス アカウントに表示される行のみをスキャンできます。行レベルのポリシーに対する個々のユーザーのアクセス権限は評価されません。
データスキャンのロールと権限
データ プロファイリングを使用するには、次のいずれかの IAM ロールを付与するよう管理者に依頼してください。
roles/dataplex.dataScanAdmin:DataScanリソースに対する完全アクセス権。roles/dataplex.dataScanEditor:DataScanリソースに対する書き込みアクセス権。roles/dataplex.dataScanViewer:DataScanリソースに対する読み取りアクセス権（結果を除く）。roles/dataplex.dataScanDataViewer:DataScanリソースに対する読み取りアクセス権（結果を含む）。
次の表に、データスキャンの権限を示します。
| 権限名 | 次のことをする権限を付与します。 |
|---|---|
dataplex.datascans.create |
DataScan を作成する |
dataplex.datascans.delete |
DataScan の削除 |
dataplex.datascans.get |
DataScan の詳細の表示（結果を除く） |
dataplex.datascans.getData |
DataScan の詳細の表示（結果を含む） |
dataplex.datascans.list |
DataScan を一覧表示する |
dataplex.datascans.run |
DataScan を実行する |
dataplex.datascans.update |
DataScan の説明を更新する |
dataplex.datascans.getIamPolicy |
スキャンの現在の IAM 権限を表示 |
dataplex.datascans.setIamPolicy |
スキャンの IAM 権限を設定 |
データ プロファイル スキャンを作成する
コンソール
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
[データ プロファイル スキャンの作成] をクリックします。
省略可: 表示名を入力します。
ID を入力します。リソースの命名規則をご覧ください。
（省略可）説明を入力します。
[テーブル] フィールドで、[参照] をクリックします。スキャンするテーブルを選択し、[選択] をクリックします。
マルチリージョン データセット内のテーブルの場合は、データスキャンを作成するリージョンを選択します。
Dataplex Universal Catalog レイク内で整理されたテーブルを参照するには、[Dataplex レイク内のブラウジング] をクリックします。
[スコープ] フィールドで、[増分] または [データ全体] を選択します。
- [増分データ] を選択した場合、[タイムスタンプ列] フィールドで、新しいレコードが追加されるたびに増加し、新しいレコードの識別に使用できる BigQuery テーブルから、
DATE型またはTIMESTAMP型の列を選択します。DATE型またはTIMESTAMP型の列でパーティション分割されたテーブルでは、パーティション列をタイムスタンプ フィールドとして使用することをおすすめします。
- [増分データ] を選択した場合、[タイムスタンプ列] フィールドで、新しいレコードが追加されるたびに増加し、新しいレコードの識別に使用できる BigQuery テーブルから、
省略可: データをフィルタするには、次のいずれかを行います。
行でフィルタするには、[行のフィルタリング] チェックボックスをオンにします。GoogleSQL 構文の
WHERE句で使用できる有効な SQL 式を入力します。例:col1 >= 0。フィルタには、複数の列に対する SQL 条件を組み合わせることができます。例:
col1 >= 0 AND col2 < 10。列でフィルタするには、[フィルタ列] チェックボックスをオンにします。
プロファイル スキャンに列を含めるには、[列を含める] フィールドで [参照] をクリックします。含める列を選択し、[選択] をクリックします。
プロファイル スキャンから列を除外するには、[列を除外する] フィールドで [参照] をクリックします。除外する列を選択し、[選択] をクリックします。
データ プロファイル スキャンにサンプリングを適用するには、[サンプリング サイズ] リストでサンプリングの割合を選択します。0.0～100.0% の範囲のパーセンテージ値（小数点以下 3 桁まで）を選択します。
大規模なデータセットの場合は、低いサンプリング率を選択します。たとえば、1 PB のテーブルの場合、0.1%～1.0% の値を入力すると、データ プロファイルは 1～10 TB のデータをサンプリングします。
結果を返すには、サンプリング データにレコードが 100 個以上必要です。
増分データスキャンの場合、データ プロファイル スキャンは最新の増分にサンプリングを適用します。
省略可:Google Cloud コンソールの BigQuery ページと Dataplex Universal Catalog ページでソーステーブルのデータ プロファイル スキャンの結果を公開するには、[BigQuery と Dataplex Catalog UI に結果を公開する] チェックボックスをオンにします。
最新のスキャン結果は、ソーステーブルの BigQuery ページと Dataplex Universal Catalog ページの [データ プロファイル] タブで表示できます。ユーザーが公開されたスキャン結果にアクセスできるようにするには、このドキュメントのデータ プロファイル スキャン結果へのアクセス権を付与するをご覧ください。
次の場合には、公開オプションを使用できないことがあります。
- テーブルに必要な権限がない。
- 結果を公開するように別のデータ品質スキャンが設定されている。
[スケジュール] セクションで、次のいずれかのオプションを選択します。
繰り返し: データ プロファイル スキャンを 1 時間ごと、毎日、毎週、毎月、カスタムのいずれかのスケジュールで実行します。スキャンの実行頻度と時間を指定します。[カスタム] を選択した場合は、cron 形式を使用してスケジュールを指定します。
オンデマンド: データ プロファイル スキャンをオンデマンドで実行します。
[続行] をクリックします。
省略可: スキャン結果を BigQuery 標準テーブルにエクスポートします。[スキャン結果を BigQuery テーブルにエクスポートする] セクションで、次の操作を行います。
[BigQuery データセットの選択] フィールドで、[参照] をクリックします。 データ プロファイルのスキャン結果を保存する BigQuery データセットを選択します。
[BigQuery テーブル] フィールドで、データ プロファイル スキャンの結果を保存するテーブルを指定します。既存のテーブルを使用している場合は、エクスポート テーブル スキーマと互換性があることを確認してください。指定したテーブルが存在しない場合は、Dataplex Universal Catalog によって作成されます。
省略可: ラベルを追加します。ラベルは、関連するオブジェクトをまとめてグループ化したり、他の Google Cloud リソースと組み合わせてグループ化できる Key-Value ペアです。
スキャンを作成するには、[作成] をクリックします。
スケジュールをオンデマンドに設定した場合は、[スキャンを実行] をクリックして、今すぐスキャンを実行することもできます。
gcloud
データ プロファイル スキャンを作成するには、gcloud dataplex datascans create data-profile コマンドを使用します。
ソースデータが Dataplex Universal Catalog レイクに編成されている場合は、--data-source-entity フラグを指定します。
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-entity=DATA_SOURCE_ENTITY
ソースデータが Dataplex Universal Catalog レイクに編成されていない場合は、--data-source-resource フラグを指定します。
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-resource=DATA_SOURCE_RESOURCE
次の変数を置き換えます。
DATASCAN: データ プロファイル スキャンの名前。LOCATION: データ プロファイル スキャンを作成する Google Cloud リージョン。DATA_SOURCE_ENTITY: データ プロファイル スキャンのデータを含む Dataplex Universal Catalog エンティティ。例:projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entityDATA_SOURCE_RESOURCE: データ プロファイル スキャンのデータを含むリソースの名前。例://bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
REST
データ プロファイル スキャンを作成するには、dataScans.create メソッドを使用します。
複数のデータ プロファイル スキャンを作成する
Google Cloud コンソールを使用して、BigQuery データセット内の複数のテーブルのデータ プロファイル スキャンを同時に構成できます。
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
[データ プロファイル スキャンの作成] をクリックします。
[複数のデータ プロファイル スキャン] オプションを選択します。
ID 接頭辞を入力します。Dataplex Universal Catalog は、指定された接頭辞と一意の接尾辞を使用して、スキャン ID を自動的に生成します。
すべてのデータ プロファイル スキャンの説明を入力します。
[データセット] フィールドで [参照] をクリックします。テーブルを選択するデータセットを選択します。[選択] をクリックします。
データセットがマルチリージョンの場合は、データ プロファイル スキャンを作成するリージョンを選択します。
スキャンの共通設定を構成します。
[スコープ] フィールドで、[増分] または [データ全体] を選択します。
データ プロファイル スキャンにサンプリングを適用するには、[サンプリング サイズ] リストでサンプリングのパーセンテージを選択します。
0.0%～100.0% の間のパーセンテージ値（小数点以下 3 桁まで）を選択します。
省略可:Google Cloud コンソールの BigQuery ページと Dataplex Universal Catalog ページでソーステーブルのデータ プロファイル スキャンの結果を公開するには、[BigQuery と Dataplex Catalog UI に結果を公開する] チェックボックスをオンにします。
最新のスキャン結果は、ソーステーブルの BigQuery ページと Dataplex Universal Catalog ページの [データ プロファイル] タブで表示できます。ユーザーが公開されたスキャン結果にアクセスできるようにするには、このドキュメントのデータ プロファイル スキャン結果へのアクセス権を付与するをご覧ください。
[スケジュール] セクションで、次のいずれかのオプションを選択します。
繰り返し: データ プロファイル スキャンを 1 時間ごと、毎日、毎週、毎月、カスタムのいずれかのスケジュールで実行します。スキャンの実行頻度と時間を指定します。[カスタム] を選択した場合は、cron 形式を使用してスケジュールを指定します。
オンデマンド: データ プロファイル スキャンをオンデマンドで実行します。
[続行] をクリックします。
[テーブルを選択] フィールドで、[参照] をクリックします。スキャンするテーブルを 1 つ以上選択し、[選択] をクリックします。
[続行] をクリックします。
省略可: スキャン結果を BigQuery 標準テーブルにエクスポートします。[スキャン結果を BigQuery テーブルにエクスポートする] セクションで、次の操作を行います。
[BigQuery データセットの選択] フィールドで、[参照] をクリックします。 データ プロファイルのスキャン結果を保存する BigQuery データセットを選択します。
[BigQuery テーブル] フィールドで、データ プロファイル スキャンの結果を保存するテーブルを指定します。既存のテーブルを使用している場合は、エクスポート テーブル スキーマと互換性があることを確認してください。指定したテーブルが存在しない場合は、Dataplex Universal Catalog によって作成されます。
Dataplex Universal Catalog は、すべてのデータ プロファイル スキャンに同じ結果テーブルを使用します。
省略可: ラベルを追加します。ラベルは、関連するオブジェクトをまとめてグループ化したり、他の Google Cloud リソースと組み合わせてグループ化できる Key-Value ペアです。
スキャンを作成するには、[作成] をクリックします。
スケジュールをオンデマンドに設定した場合は、[スキャンを実行] をクリックして、今すぐスキャンを実行することもできます。
データ プロファイル スキャンを実行する
コンソール
-
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
- データ プロファイル スキャンをクリックして実行します。
- [今すぐ実行] をクリックします。
gcloud
データ プロファイル スキャンを実行するには、gcloud dataplex datascans run コマンドを使用します。
gcloud dataplex datascans run DATASCAN \ --location=LOCATION
次の変数を置き換えます。
DATASCAN: データ プロファイル スキャンの名前。LOCATION: データ プロファイル スキャンが作成された Google Cloud リージョン。
REST
データ プロファイル スキャンを実行するには、dataScans.run メソッドを使用します。
データ プロファイル スキャンの結果を表示する
コンソール
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
データ プロファイル スキャンの名前をクリックします。
[概要] セクションには、スキャンが実行された日時、スキャンされたテーブル レコードの数、ジョブのステータスなど、最新のジョブに関する情報が表示されます。
[Data profile scan configuration] セクションには、スキャンについての詳細が表示されます。
スキャンされたテーブルの列、スキャンで見つかった列に関する統計情報、ジョブログなど、ジョブの詳細情報を確認するには、[ジョブ履歴] タブをクリックします。ジョブ ID をクリックします。
gcloud
データ プロファイル スキャン ジョブの結果を表示するには、gcloud dataplex datascans jobs describe コマンドを使用します。
gcloud dataplex datascans jobs describe JOB \ --location=LOCATION \ --datascan=DATASCAN \ --view=FULL
次の変数を置き換えます。
JOB: データ プロファイル スキャン ジョブのジョブ ID。LOCATION: データ プロファイル スキャンが作成された Google Cloud リージョン。DATASCAN: ジョブが属するデータ プロファイル スキャンの名前。--view=FULL: スキャンジョブの結果を表示するには、FULLを指定します。
REST
データ プロファイル スキャンの結果を表示するには、dataScans.get メソッドを使用します。
公開された結果を表示する
データ プロファイル スキャンの結果が Google Cloud コンソールの BigQuery ページと Dataplex Universal Catalog ページに公開されている場合は、ソーステーブルの [データ プロファイル] タブで最新のスキャン結果を確認できます。
Google Cloud コンソールで、[BigQuery] ページに移動します。
[エクスプローラ] ペインで、データ プロファイル スキャンの結果を表示するテーブルを選択します。
[データ プロファイル] タブをクリックします。
最後に公開された結果が表示されます。
最新のデータ プロファイル スキャン ジョブを表示する
コンソール
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
データ プロファイル スキャンの名前をクリックします。
[ジョブの最新結果] タブをクリックします。
正常に完了した実行が少なくとも 1 つある場合、[ジョブの最新結果] タブには、最新のジョブに関する情報が表示されます。スキャンされたテーブルの列と、スキャンで検出された列に関する統計情報が一覧表示されます。
gcloud
正常に完了した最新のデータ プロファイル スキャンを表示するには、gcloud dataplex datascans describe コマンドを使用します。
gcloud dataplex datascans describe DATASCAN \ --location=LOCATION \ --view=FULL
次の変数を置き換えます。
DATASCAN: 最新のジョブを表示するデータ プロファイル スキャンの名前。LOCATION: データ プロファイル スキャンが作成された Google Cloud リージョン。--view=FULL: スキャンジョブの結果を表示するには、FULLを指定します。
REST
最新のスキャンジョブを表示するには、dataScans.get メソッドを使用します。
スキャン結果の履歴を表示する
Dataplex Universal Catalog には、過去 300 件のジョブ、または過去 1 年間のジョブのいずれか早いほうのデータ プロファイル スキャンの履歴が保存されます。
コンソール
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
データ プロファイル スキャンの名前をクリックします。
[ジョブ履歴] タブをクリックします。
[ジョブ履歴] タブには、過去のジョブに関する情報（各ジョブでスキャンされたレコード数、ジョブのステータス、ジョブの実行時刻など）が表示されます。
ジョブについての詳細情報を表示するには、[ジョブ ID] 列でジョブをクリックします。
gcloud
過去のデータ プロファイル スキャン ジョブを表示するには、gcloud dataplex datascans jobs list コマンドを使用します。
gcloud dataplex datascans jobs list \ --location=LOCATION \ --datascan=DATASCAN
次の変数を置き換えます。
LOCATION: データ プロファイル スキャンが作成された Google Cloud リージョン。DATASCAN: ジョブを表示するデータ プロファイル スキャンの名前。
REST
過去のデータ プロファイル スキャン ジョブを表示するには、dataScans.jobs.list メソッドを使用します。
テーブルのデータ プロファイル スキャンを表示する
特定のテーブルに適用されるデータ プロファイル スキャンを表示する手順は次のとおりです。
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
テーブル名とスキャンタイプでリストをフィルタします。
データ プロファイル スキャンの結果へのアクセスを許可する
組織内のユーザーがスキャン結果を表示できるようにするには、次の操作を行います。
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
結果を共有するデータ品質スキャンをクリックします。
[権限] タブをクリックします。
手順は次のとおりです。
- プリンシパルにアクセス権を付与するには、[ アクセス権を付与] をクリックします。関連するプリンシパルに Dataplex DataScan データ閲覧者ロールを付与します。
- プリンシパルからアクセス権を削除するには、Dataplex DataScan データ閲覧者ロールを削除するプリンシパルを選択します。[アクセス権を削除] をクリックし、プロンプトが表示されたら確定します。
特定のテーブルのデータ プロファイル スキャンを管理する
このドキュメントの手順では、Google Cloud コンソールの BigQuery の [メタデータのキュレーション] > [データ プロファイリングと品質] ページを使用して、プロジェクト全体でデータ プロファイル スキャンを管理する方法について説明します。
特定のテーブルを操作するときに、データ プロファイル スキャンを作成して管理することもできます。 Google Cloud コンソールのテーブルの BigQuery ページで、[データ プロファイル] タブを使用します。手順は次のとおりです。
Google Cloud コンソールで、[BigQuery] ページに移動します。
[エクスプローラ] ペインで、テーブルを選択します。
[データ プロファイル] タブをクリックします。
結果が公開されているデータ プロファイル スキャンがテーブルにあるかどうかに応じて、次の方法でテーブルのデータ プロファイル スキャンを操作できます。
データ プロファイル スキャンの結果が公開されている: 最新の公開済みスキャンの結果がページに表示されます。
このテーブルのデータ プロファイル スキャンを管理するには、[データ プロファイル スキャン] をクリックし、次のいずれかのオプションを選択します。
新しいスキャンを作成: 新しいデータ プロファイル スキャンを作成します。詳細については、このドキュメントのデータ プロファイル スキャンを作成するをご覧ください。テーブルの詳細ページからスキャンを作成すると、テーブルが事前に選択されます。
今すぐ実行: スキャンを実行します。
スキャン構成を編集: 表示名、フィルタ、サンプリング サイズ、スケジュールなどの設定を編集します。
スキャン権限を管理: スキャン結果にアクセスできるユーザーを制御します。詳細については、このドキュメントのデータ プロファイル スキャンの結果へのアクセスを許可するをご覧ください。
過去の結果を見る: 以前のデータ プロファイル スキャン ジョブの詳細情報を表示します。詳細については、このドキュメントのデータ プロファイル スキャン結果を表示すると過去のスキャン結果を表示するのセクションをご覧ください。
すべてのスキャンを表示: このテーブルに適用されるデータ プロファイル スキャンのリストを表示します。
データ プロファイル スキャンの結果が公開されていない: [クイック データ プロファイル] の横にあるメニューをクリックし、次のオプションから選択します。
データ プロファイリングをカスタマイズ: 新しいデータ プロファイル スキャンを作成します。詳細については、このドキュメントのデータ プロファイル スキャンを作成するをご覧ください。テーブルの詳細ページからスキャンを作成すると、テーブルが事前に選択されます。
以前のプロファイルを表示: このテーブルに適用されるデータ プロファイル スキャンのリストを表示します。
データ プロファイル スキャンを更新する
コンソール
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
データ プロファイル スキャンの名前をクリックします。
[編集] をクリックし、値を編集します。
[保存] をクリックします。
gcloud
データ プロファイル スキャンを更新するには、gcloud dataplex datascans update data-profile コマンドを使用します。
gcloud dataplex datascans update data-profile DATASCAN \ --location=LOCATION \ --description=DESCRIPTION
次の変数を置き換えます。
DATASCAN: 更新するデータ プロファイル スキャンの名前。LOCATION: データ プロファイル スキャンが作成された Google Cloud リージョン。DESCRIPTION: データ プロファイル スキャンの新しい説明。
REST
データ プロファイル スキャンを編集するには、dataScans.patch メソッドを使用します。
データ プロファイル スキャンを削除する
コンソール
Google Cloud コンソールの BigQuery の [メタデータのキュレーション] ページで、[データのプロファイリングと品質] タブに移動します。
削除するスキャンをクリックします。
[削除] をクリックし、プロンプトが表示されたら確定します。
gcloud
データ プロファイル スキャンを削除するには、gcloud dataplex datascans delete コマンドを使用します。
gcloud dataplex datascans delete DATASCAN \ --location=LOCATION --async
次の変数を置き換えます。
DATASCAN: 削除するデータ プロファイル スキャンの名前。LOCATION: データ プロファイル スキャンが作成された Google Cloud リージョン。
REST
データ プロファイル スキャンを削除するには、dataScans.delete メソッドを使用します。
次のステップ
- データ分析情報を生成してデータを探索する方法について学習する。
- BigQuery のデータ ガバナンスについて詳細を確認する。
- データ品質の問題についてデータをスキャンする方法を確認する。
- テーブル エクスプローラを使用してテーブルデータを調べ、クエリを作成する方法を学習する。