データセットに関する情報の取得

このドキュメントでは、BigQuery でデータセットの情報やメタデータを取得する方法について説明します。

データセットの情報は次の方法で取得できます。

Cloud Console を使用する。
bq コマンドラインツールで bq show コマンドを使用する。
datasets.get API メソッドを呼び出す。
INFORMATION_SCHEMA ビューのクエリを実行する（ベータ版）。
クライアントライブラリを使用する。

始める前に

このドキュメントの各タスクを実行するために必要な権限をユーザーに与える Identity and Access Management（IAM）のロールを付与します。

必要な権限

データセットに関する情報またはメタデータを取得するには、bigquery.datasets.get IAM 権限が必要です。

次の各事前定義 IAM ロールには、データセットに関する情報またはメタデータを取得するために必要な権限が含まれています。

roles/bigquery.user
roles/bigquery.metadataViewer
roles/bigquery.dataViewer
roles/bigquery.dataOwner
roles/bigquery.dataEditor
roles/bigquery.admin

BigQuery での IAM ロールと権限の詳細については、アクセス制御をご覧ください。

データセットの情報の取得

プロジェクト内のデータセットに関する情報を取得するには:

Console

[エクスプローラ] パネルでプロジェクトを開いて、データセットを選択します。
アクション オプションを開いて、[開く] をクリックします。[詳細] パネルに説明と詳細が表示されます。データセットのテーブルは、[エクスプローラ] パネルにデータセット名とともに表示されます。

デフォルトでは、匿名データセットは Cloud Console に表示されません。匿名データセットの情報を表示するには、bq コマンドラインツールまたは API を使用します。

bq

bq show コマンドを発行します。--format フラグを使用して出力を制御できます。デフォルト以外のプロジェクトにあるデータセットの情報を取得する場合は、project_id:dataset の形式でプロジェクト ID をデータセットに追加します。

匿名データセットの情報を表示するには、bq ls --all コマンドを使用してすべてのデータセットをリストし、匿名データセットの名前を bq show コマンドで使用します。

bq show --format=prettyjson project_id:dataset

以下を置き換えます。

project_id はプロジェクトの名前です。
dataset はデータセットの名前です。

例:

次のコマンドを入力して、デフォルトプロジェクトにある mydataset に関する情報を表示します。

bq show --format=prettyjson mydataset

次のコマンドを入力して、myotherproject にある mydataset に関する情報を表示します。

bq show --format=prettyjson myotherproject:mydataset

次のコマンドを入力して、デフォルトプロジェクトにある匿名データセット _1234abcd56efgh78ijkl1234 に関する情報を表示します。

bq show --format=prettyjson _1234abcd56efgh78ijkl1234

API

datasets.get API メソッドを呼び出し、関連パラメータを指定します。

Go

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用の Go の手順に沿って設定を行ってください。詳細については、BigQuery Go API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// printDatasetInfo demonstrates fetching dataset metadata and printing some of it to an io.Writer.
func printDatasetInfo(w io.Writer, projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta, err := client.Dataset(datasetID).Metadata(ctx)
	if err != nil {
		return err
	}

	fmt.Fprintf(w, "Dataset ID: %s\n", datasetID)
	fmt.Fprintf(w, "Description: %s\n", meta.Description)
	fmt.Fprintln(w, "Labels:")
	for k, v := range meta.Labels {
		fmt.Fprintf(w, "\t%s: %s", k, v)
	}
	fmt.Fprintln(w, "Tables:")
	it := client.Dataset(datasetID).Tables(ctx)

	cnt := 0
	for {
		t, err := it.Next()
		if err == iterator.Done {
			break
		}
		cnt++
		fmt.Fprintf(w, "\t%s\n", t.TableID)
	}
	if cnt == 0 {
		fmt.Fprintln(w, "\tThis dataset does not contain any tables.")
	}
	return nil
}

Java

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用にある Java の設定手順を行ってください。詳細については、BigQuery Java API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

import com.google.api.gax.paging.Page;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.TableListOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetId;
import com.google.cloud.bigquery.Table;

public class GetDatasetInfo {

  public static void runGetDatasetInfo() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String datasetName = "MY_DATASET_NAME";
    getDatasetInfo(projectId, datasetName);
  }

  public static void getDatasetInfo(String projectId, String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();
      DatasetId datasetId = DatasetId.of(projectId, datasetName);
      Dataset dataset = bigquery.getDataset(datasetId);

      // View dataset properties
      String description = dataset.getDescription();
      System.out.println(description);

      // View tables in the dataset
      // For more information on listing tables see:
      // https://javadoc.io/static/com.google.cloud/google-cloud-bigquery/0.22.0-beta/com/google/cloud/bigquery/BigQuery.html
      Page<Table> tables = bigquery.listTables(datasetName, TableListOption.pageSize(100));

      tables.iterateAll().forEach(table -> System.out.print(table.getTableId().getTable() + "\n"));

      System.out.println("Dataset info retrieved successfully.");
    } catch (BigQueryException e) {
      System.out.println("Dataset info not retrieved. \n" + e.toString());
    }
  }
}

Node.js

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用の Node.js の手順に沿って設定を行ってください。詳細については、BigQuery Node.js API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function getDataset() {
  // Retrieves dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const datasetId = "my_dataset";

  // Retrieve dataset reference
  const [dataset] = await bigquery.dataset(datasetId).get();

  console.log('Dataset:');
  console.log(dataset.metadata.datasetReference);
}
getDataset();

Python

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用にある Python の設定手順を行ってください。詳細については、BigQuery Python API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック


from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to fetch.
# dataset_id = 'your-project.your_dataset'

dataset = client.get_dataset(dataset_id)  # Make an API request.

full_dataset_id = "{}.{}".format(dataset.project, dataset.dataset_id)
friendly_name = dataset.friendly_name
print(
    "Got dataset '{}' with friendly_name '{}'.".format(
        full_dataset_id, friendly_name
    )
)

# View dataset properties.
print("Description: {}".format(dataset.description))
print("Labels:")
labels = dataset.labels
if labels:
    for label, value in labels.items():
        print("\t{}: {}".format(label, value))
else:
    print("\tDataset has no labels defined.")

# View tables in dataset.
print("Tables:")
tables = list(client.list_tables(dataset))  # Make an API request(s).
if tables:
    for table in tables:
        print("\t{}".format(table.table_id))
else:
    print("\tThis dataset does not contain any tables.")

`INFORMATION_SCHEMA`

INFORMATION_SCHEMA は、データセット、ルーティン、テーブル、ビュー、ジョブ、予約、ストリーミングデータに関するメタデータへのアクセスを可能にする一連のビューです。

`SCHEMATA` ビュー

INFORMATION_SCHEMA.SCHEMATA ビューにクエリを実行すると、現在のユーザーがアクセスできるプロジェクトの各データセットが 1 行で返されます。

INFORMATION_SCHEMA.SCHEMATA ビューのスキーマは次のとおりです。

列名	データ型	値
`CATALOG_NAME`	`STRING`	データセットを含むプロジェクトの名前
`SCHEMA_NAME`	`STRING`	データセットの名前（`datasetId` ともいいます）
`SCHEMA_OWNER`	`STRING`	値は常に `NULL`
`CREATION_TIME`	`TIMESTAMP`	データセットの作成日時
`LAST_MODIFIED_TIME`	`TIMESTAMP`	データセットの最終更新日時
`LOCATION`	`STRING`	データセットの地理的位置
`DDL`	`STRING`	データセットの作成に使用できる `CREATE SCHEMA` DDL ステートメント

例

次の例では、今後の使用のために予約されている schema_owner を除き、すべての列を INFORMATION_SCHEMA.SCHEMATA ビューから取得します。デフォルトプロジェクト myproject 内のすべてのデータセットのメタデータが返されます。

デフォルトプロジェクト以外のプロジェクトに対してクエリを実行するには、この形式 `project_id`.INFORMATION_SCHEMA.view でそのプロジェクト ID をデータセットに追加します。例: `myproject`.INFORMATION_SCHEMA.SCHEMATA

クエリを実行するには:

Console

Cloud Console で [BigQuery] ページを開きます。

[BigQuery] ページに移動
[クエリエディタ] ボックスに、次の標準 SQL クエリを入力します。INFORMATION_SCHEMA には標準 SQL 構文を使用する必要があります。標準 SQL は Cloud Console のデフォルトの構文です。
```
SELECT
 * EXCEPT(schema_owner)
FROM
 INFORMATION_SCHEMA.SCHEMATA
```
注: INFORMATION_SCHEMA ビューの名前では大文字と小文字が区別されます。
[実行] をクリックします。

bq

query コマンドで、--nouse_legacy_sql または --use_legacy_sql=false フラグを使用して標準 SQL 構文を指定します。INFORMATION_SCHEMA クエリには標準 SQL 構文を使用する必要があります。

クエリを実行するには、次のように入力します。

bq query --nouse_legacy_sql \
'SELECT
   * EXCEPT(schema_owner)
 FROM
   INFORMATION_SCHEMA.SCHEMATA'

結果は次のようになります。

+----------------+---------------+---------------------+---------------------+------------+------------------------------------------+
|  catalog_name  |  schema_name  |    creation_time    | last_modified_time  |  location  |                   ddl                    |
+----------------+---------------+---------------------+---------------------+------------+------------------------------------------+
| myproject      | mydataset1    | 2018-11-07 19:50:24 | 2018-11-07 19:50:24 | US         | CREATE SCHEMA `myproject.mydataset1`     |
|                |               |                     |                     |            | OPTIONS(                                 |
|                |               |                     |                     |            |   location="us"                          |
|                |               |                     |                     |            | );                                       |
+----------------+---------------+---------------------+---------------------+------------+------------------------------------------+
| myproject      | mydataset2    | 2018-07-16 04:24:22 | 2018-07-16 04:24:22 | US         | CREATE SCHEMA `myproject.mydataset2`     |
|                |               |                     |                     |            | OPTIONS(                                 |
|                |               |                     |                     |            |   default_partition_expiration_days=3.0, |
|                |               |                     |                     |            |   location="us"                          |
|                |               |                     |                     |            | );                                       |
+----------------+---------------+---------------------+---------------------+------------+------------------------------------------+
| myproject      | mydataset3    | 2018-02-07 21:08:45 | 2018-05-01 23:32:53 | US         | CREATE SCHEMA `myproject.mydataset3`     |
|                |               |                     |                     |            | OPTIONS(                                 |
|                |               |                     |                     |            |   description="My dataset",              |
|                |               |                     |                     |            |   location="us"                          |
|                |               |                     |                     |            | );                                       |
+----------------+---------------+---------------------+---------------------+------------+------------------------------------------+

`SCHEMATA_OPTIONS` ビュー

INFORMATION_SCHEMA.SCHEMATA_OPTIONS ビューにクエリを実行すると、クエリの結果として、プロジェクト内の各データセットのオプションごとに 1 行が表示されます。

INFORMATION_SCHEMA.SCHEMATA_OPTIONS ビューのスキーマは次のとおりです。

列名	データ型	値
`CATALOG_NAME`	`STRING`	データセットを含むプロジェクトの名前
`SCHEMA_NAME`	`STRING`	データセットの名前（`datasetId` ともいいます）
`OPTION_NAME`	`STRING`	options テーブル内の名前値の 1 つ
`OPTION_TYPE`	`STRING`	オプションテーブル内のデータ型の値の 1 つ
`OPTION_VALUE`	`STRING`	オプションテーブル内の値のオプションの 1 つ

オプションテーブル

`OPTION_NAME`	`OPTION_TYPE`	`OPTION_VALUE`
`default_table_expiration_days`	`FLOAT64`	データセット内のすべてのテーブルのデフォルトの有効期間（日数）
`friendly_name`	`STRING`	わかりやすいデータセット名
`description`	`STRING`	データセットの説明
`labels`	`ARRAY<STRUCT<STRING, STRING>>`	データセットのラベルを表す `STRUCT` の配列

例

例 1:

次の例では、INFORMATION_SCHEMA.SCHEMATA_OPTIONS ビューにクエリを実行して、デフォルトプロジェクト（myproject）内のすべてのデータセットのデフォルトのテーブル有効期限を取得します。

デフォルトプロジェクト以外のプロジェクトに対してクエリを実行するには、この形式 `project_id`.INFORMATION_SCHEMA.view でそのプロジェクト ID をデータセットに追加します。例: `myproject`.INFORMATION_SCHEMA.SCHEMATA_OPTIONS

クエリを実行するには:

Console

Cloud Console で [BigQuery] ページを開きます。

[BigQuery] ページに移動
[クエリエディタ] ボックスに、次の標準 SQL クエリを入力します。INFORMATION_SCHEMA には標準 SQL 構文を使用する必要があります。標準 SQL は Cloud Console のデフォルトの構文です。
```
SELECT
 *
FROM
 INFORMATION_SCHEMA.SCHEMATA_OPTIONS
WHERE
 option_name="default_table_expiration_days"
```
注: INFORMATION_SCHEMA ビューの名前では大文字と小文字が区別されます。
[実行] をクリックします。

bq

クエリを実行するには、次のように入力します。

bq query --nouse_legacy_sql \
'SELECT
   *
 FROM
   INFORMATION_SCHEMA.SCHEMATA_OPTIONS
 WHERE
   option_name="default_table_expiration_days"'

結果は次のようになります。

  +----------------+---------------+-------------------------------+-------------+---------------------+
  |  catalog_name  |  schema_name  |          option_name          | option_type |    option_value     |
  +----------------+---------------+-------------------------------+-------------+---------------------+
  | myproject      | mydataset3    | default_table_expiration_days | FLOAT64     | 0.08333333333333333 |
  | myproject      | mydataset2    | default_table_expiration_days | FLOAT64     | 90.0                |
  | myproject      | mydataset1    | default_table_expiration_days | FLOAT64     | 30.0                |
  +----------------+---------------+-------------------------------+-------------+---------------------+

例 2:

次の例では、INFORMATION_SCHEMA.SCHEMATA_OPTIONS ビューにクエリを実行して、デフォルトプロジェクト（myproject）のすべてのデータセットのラベルを取得します。

クエリを実行するには:

Console

Cloud Console で [BigQuery] ページを開きます。

[BigQuery] ページに移動
[クエリエディタ] ボックスに、次の標準 SQL クエリを入力します。INFORMATION_SCHEMA には標準 SQL 構文を使用する必要があります。標準 SQL は Cloud Console のデフォルトの構文です。
```
SELECT
 *
FROM
 INFORMATION_SCHEMA.SCHEMATA_OPTIONS
WHERE
 option_name="labels"
```
注: INFORMATION_SCHEMA ビューの名前では大文字と小文字が区別されます。
[実行] をクリックします。

bq

クエリを実行するには、次のように入力します。

bq query --nouse_legacy_sql \
'SELECT
   *
 FROM
   INFORMATION_SCHEMA.SCHEMATA_OPTIONS
 WHERE
   option_name="labels"'

結果は次のようになります。

  +----------------+---------------+-------------+---------------------------------+------------------------+
  |  catalog_name  |  schema_name  | option_name |          option_type            |      option_value      |
  +----------------+---------------+-------------+---------------------------------+------------------------+
  | myproject      | mydataset1    | labels      | ARRAY<STRUCT<STRING, STRING>>   | [STRUCT("org", "dev")] |
  | myproject      | mydataset2    | labels      | ARRAY<STRUCT<STRING, STRING>>   | [STRUCT("org", "dev")] |
  +----------------+---------------+-------------+---------------------------------+------------------------+

データセットのセキュリティ

BigQuery でデータセットへのアクセスを制御するには、データセットへのアクセスの制御をご覧ください。データ暗号化の詳細については、保存データの暗号化をご覧ください。

次のステップ

データセットの作成方法について詳しくは、データセットの作成をご覧ください。
データセットにアクセス制御を割り当てる方法について詳しくは、データセットへのアクセス制御をご覧ください。
プロジェクト内のデータセットを一覧表示する方法について詳しくは、データセットの一覧表示をご覧ください。
データセットプロパティの変更方法について詳しくは、データセットの更新をご覧ください。
ラベルの作成と管理の詳細は、ラベルの作成と管理をご覧ください。
INFORMATION_SCHEMA の概要については、BigQuery INFORMATION_SCHEMA の概要をご覧ください。

データセットに関する情報の取得

始める前に

必要な権限

データセットの情報の取得

Console

bq

API

Go

Java

Node.js

Python

INFORMATION_SCHEMA

SCHEMATA ビュー

例

Console

bq

SCHEMATA_OPTIONS ビュー

オプション テーブル

例

例 1:

Console

bq

例 2:

Console

bq

データセットのセキュリティ

次のステップ

`INFORMATION_SCHEMA`

`SCHEMATA` ビュー

`SCHEMATA_OPTIONS` ビュー

オプションテーブル