データセットの一覧表示

このドキュメントでは、BigQuery でデータセットの情報をリスト取得する方法について説明します。

始める前に

このドキュメントの各タスクを実行するために必要な権限をユーザーに与える Identity and Access Management（IAM）のロールを付与します。

必要なロール

データセットを一覧表示したり、データセットに関する情報を取得したりするために必要な権限を取得するには、プロジェクトに対する BigQuery メタデータ閲覧者（roles/bigquery.metadataViewer）IAM ロールの付与を管理者に依頼してください。ロールの付与の詳細については、アクセスの管理をご覧ください。

この事前定義ロールには、データセットの一覧表示や、データセットに関する情報の取得に必要な bigquery.datasets.get 権限が含まれています。カスタムロールや他の事前定義ロールを使用して、この権限を取得することもできます。

プロジェクトまたは組織レベルで roles/bigquery.metadataViewer ロールを適用すると、プロジェクト内のすべてのデータセットを一覧表示できます。

データセットのリスト表示

次のオプションのいずれかを選択します。

コンソール

1. ナビゲーション メニューで、[SQL ワークスペース] をクリックします。

2. [エクスプローラ] パネルでプロジェクト名を開き、そのプロジェクトのデータセットを表示するか、検索ボックスを使用してデータセット名で検索します。

SQL

INFORMATION_SCHEMA.SCHEMATA ビューをクエリします。

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   BigQuery に移動

2. クエリエディタで次のステートメントを入力します。

   SELECT
     schema_name
   FROM
     PROJECT_ID.INFORMATION_SCHEMA.SCHEMATA;
   

   PROJECT_ID は、使用可能なデータセットを一覧表示するプロジェクトの ID に置き換えます。

3. [ 実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリの実行をご覧ください。

bq

bq ls コマンドを発行すると、データセットのリストがデータセット ID 順に返されます。--format フラグを使用して出力を制御できます。デフォルト プロジェクト以外のプロジェクト内にあるデータセットを一覧表示するには、--project_id フラグをコマンドに追加します。

匿名のデータセットを含むプロジェクトのデータセットを一覧表示するには、--all フラグまたは -a ショートカットを使用します。

匿名データセットを除くプロジェクトのデータセットを一覧表示するには、--datasets フラグまたは -d ショートカットを使用します。このフラグは省略可能です。デフォルトでは、匿名データセットはリストに含まれません。

その他のフラグ:

• --filter: フィルタ式に一致するデータセットを一覧表示します。labels.key:value という形式のラベルキーと値のスペース区切りリストを使用します。ラベルを使用したデータセットのフィルタリングの詳細については、ラベルの追加と使用をご覧ください。
• --max_results または -n : 結果の最大数を示す整数。デフォルト値は 50 です。

bq ls --filter labels.key:value \
--max_results integer \
--format=prettyjson \
--project_id project_id

以下を置き換えます。

• key:value: ラベルのキーと値
• integer は一覧表示するデータセットの数を表す整数です。
• project_id: プロジェクトの名前

例:

デフォルト プロジェクト内のデータセットを一覧表示するには、次のコマンドを入力します。基本の整形されたテーブルを返すように -- format は pretty に設定されています。

bq ls --format=pretty

次のコマンドを入力して、myotherproject のデータセットを一覧表示します。詳細な結果を JSON 形式で返すように、--format は prettyjson に設定されています。

bq ls --format=prettyjson --project_id myotherproject

次のコマンドを入力して、デフォルト プロジェクト内の匿名データセットを含むすべてのデータセットを一覧表示します。出力では、匿名データセットの名前はアンダースコアで始まります。

bq ls -a

次のコマンドを入力して、デフォルト プロジェクトからデフォルト出力数の 50 を超えるデータセットを返します。

bq ls --max_results 60

次のコマンドを入力して、デフォルト プロジェクト内でラベル org:dev を持つデータセットを一覧表示します。

bq ls --filter labels.org:dev

API

API を使用してデータセットを一覧表示するには、datasets.list API メソッドを呼び出します。

C#

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの C# の手順に沿って設定を行ってください。詳細については、BigQuery C# API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

using Google.Cloud.BigQuery.V2;
using System;
using System.Collections.Generic;
using System.Linq;

public class BigQueryListDatasets
{
    public void ListDatasets(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Retrieve list of datasets in project
        List<BigQueryDataset> datasets = client.ListDatasets().ToList();
        // Display the results
        if (datasets.Count > 0)
        {
            Console.WriteLine($"Datasets in project {projectId}:");
            foreach (var dataset in datasets)
            {
                Console.WriteLine($"\t{dataset.Reference.DatasetId}");
            }
        }
        else
        {
            Console.WriteLine($"{projectId} does not contain any datasets.");
        }
    }
}

Go

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Go の手順に沿って設定を行ってください。詳細については、BigQuery Go API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// listDatasets demonstrates iterating through the collection of datasets in a project.
func listDatasets(projectID string, w io.Writer) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	it := client.Datasets(ctx)
	for {
		dataset, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, dataset.DatasetID)
	}
	return nil
}

Java

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Java の手順に沿って設定を行ってください。詳細については、BigQuery Java API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

import com.google.api.gax.paging.Page;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.DatasetListOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;

public class ListDatasets {

  public static void runListDatasets() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    listDatasets(projectId);
  }

  public static void listDatasets(String projectId) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Page<Dataset> datasets = bigquery.listDatasets(projectId, DatasetListOption.pageSize(100));
      if (datasets == null) {
        System.out.println("Dataset does not contain any models");
        return;
      }
      datasets
          .iterateAll()
          .forEach(
              dataset -> System.out.printf("Success! Dataset ID: %s ", dataset.getDatasetId()));
    } catch (BigQueryException e) {
      System.out.println("Project does not contain any datasets \n" + e.toString());
    }
  }
}

Node.js

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Node.js の手順に沿って設定を行ってください。詳細については、BigQuery Node.js API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function listDatasets() {
  // Lists all datasets in current GCP project.

  // Lists all datasets in the specified project
  const [datasets] = await bigquery.getDatasets();
  console.log('Datasets:');
  datasets.forEach(dataset => console.log(dataset.id));
}

PHP

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの PHP の手順に沿って設定を行ってください。詳細については、BigQuery PHP API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$datasets = $bigQuery->datasets();
foreach ($datasets as $dataset) {
    print($dataset->id() . PHP_EOL);
}

Python

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Python の手順に沿って設定を行ってください。詳細については、BigQuery Python API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

datasets = list(client.list_datasets())  # Make an API request.
project = client.project

if datasets:
    print("Datasets in project {}:".format(project))
    for dataset in datasets:
        print("\t{}".format(dataset.dataset_id))
else:
    print("{} project does not contain any datasets.".format(project))

Ruby

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Ruby の手順に沿って設定を行ってください。詳細については、BigQuery Ruby API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

require "google/cloud/bigquery"

def list_datasets project_id = "your-project-id"
  bigquery = Google::Cloud::Bigquery.new project: project_id

  puts "Datasets in project #{project_id}:"
  bigquery.datasets.each do |dataset|
    puts "\t#{dataset.dataset_id}"
  end
end

データセットに関する情報の取得

次のオプションのいずれかを選択します。

コンソール

1. [エクスプローラ] パネルでプロジェクトを開いて、データセットを選択します。

2. アクション オプションを開いて、[開く] をクリックします。[詳細] パネルに説明と詳細が表示されます。データセットのテーブルは、[エクスプローラ] パネルにデータセット名とともに表示されます。

デフォルトでは、匿名データセットは Google Cloud コンソールに表示されません。匿名データセットの情報を表示するには、bq コマンドライン ツールまたは API を使用します。

SQL

INFORMATION_SCHEMA.SCHEMATA ビューをクエリします。

1. Google Cloud コンソールで [BigQuery] ページに移動します。

   BigQuery に移動

2. クエリエディタで次のステートメントを入力します。

   SELECT
     * EXCEPT (schema_owner)
   FROM
     `PROJECT_ID`.INFORMATION_SCHEMA.SCHEMATA;
   

   PROJECT_ID は、利用可能なデータセットを一覧表示するプロジェクトの ID に置き換えます。

3. [ 実行] をクリックします。

クエリの実行方法については、インタラクティブ クエリの実行をご覧ください。

INFORMATION_SCHEMA.SCHEMATA_OPTIONS ビューに対してクエリを実行することもできます。

SELECT
  *
FROM
  [PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.SCHEMATA;

次のように置き換えます。

• （省略可）PROJECT_ID: Cloud プロジェクトの ID。指定しない場合は、デフォルトのプロジェクトが使用されます。
• REGION: 任意のデータセットのロケーション名。例: region-us。

bq

bq show コマンドを発行します。--format フラグを使用して出力を制御できます。デフォルト以外のプロジェクトにあるデータセットの情報を取得する場合は、project_id:dataset の形式でプロジェクト ID をデータセットに追加します。

匿名データセットの情報を表示するには、bq ls --all コマンドを使用してすべてのデータセットをリストし、匿名データセットの名前を bq show コマンドで使用します。

bq show --format=prettyjson project_id:dataset

以下を置き換えます。

• project_id はプロジェクトの名前です。
• dataset はデータセットの名前です。

例:

次のコマンドを入力して、デフォルト プロジェクトにある mydataset に関する情報を表示します。

bq show --format=prettyjson mydataset

次のコマンドを入力して、myotherproject にある mydataset に関する情報を表示します。

bq show --format=prettyjson myotherproject:mydataset

次のコマンドを入力して、デフォルト プロジェクトにある匿名データセット _1234abcd56efgh78ijkl1234 に関する情報を表示します。

bq show --format=prettyjson _1234abcd56efgh78ijkl1234

API

datasets.get API メソッドを呼び出し、関連パラメータを指定します。

Go

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Go の手順に沿って設定を行ってください。詳細については、BigQuery Go API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// printDatasetInfo demonstrates fetching dataset metadata and printing some of it to an io.Writer.
func printDatasetInfo(w io.Writer, projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta, err := client.Dataset(datasetID).Metadata(ctx)
	if err != nil {
		return err
	}

	fmt.Fprintf(w, "Dataset ID: %s\n", datasetID)
	fmt.Fprintf(w, "Description: %s\n", meta.Description)
	fmt.Fprintln(w, "Labels:")
	for k, v := range meta.Labels {
		fmt.Fprintf(w, "\t%s: %s", k, v)
	}
	fmt.Fprintln(w, "Tables:")
	it := client.Dataset(datasetID).Tables(ctx)

	cnt := 0
	for {
		t, err := it.Next()
		if err == iterator.Done {
			break
		}
		cnt++
		fmt.Fprintf(w, "\t%s\n", t.TableID)
	}
	if cnt == 0 {
		fmt.Fprintln(w, "\tThis dataset does not contain any tables.")
	}
	return nil
}

Java

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Java の手順に沿って設定を行ってください。詳細については、BigQuery Java API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

import com.google.api.gax.paging.Page;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.TableListOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetId;
import com.google.cloud.bigquery.Table;

public class GetDatasetInfo {

  public static void runGetDatasetInfo() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String datasetName = "MY_DATASET_NAME";
    getDatasetInfo(projectId, datasetName);
  }

  public static void getDatasetInfo(String projectId, String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();
      DatasetId datasetId = DatasetId.of(projectId, datasetName);
      Dataset dataset = bigquery.getDataset(datasetId);

      // View dataset properties
      String description = dataset.getDescription();
      System.out.println(description);

      // View tables in the dataset
      // For more information on listing tables see:
      // https://javadoc.io/static/com.google.cloud/google-cloud-bigquery/0.22.0-beta/com/google/cloud/bigquery/BigQuery.html
      Page<Table> tables = bigquery.listTables(datasetName, TableListOption.pageSize(100));

      tables.iterateAll().forEach(table -> System.out.print(table.getTableId().getTable() + "\n"));

      System.out.println("Dataset info retrieved successfully.");
    } catch (BigQueryException e) {
      System.out.println("Dataset info not retrieved. \n" + e.toString());
    }
  }
}

Node.js

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Node.js の手順に沿って設定を行ってください。詳細については、BigQuery Node.js API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function getDataset() {
  // Retrieves dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const datasetId = "my_dataset";

  // Retrieve dataset reference
  const [dataset] = await bigquery.dataset(datasetId).get();

  console.log('Dataset:');
  console.log(dataset.metadata.datasetReference);
}
getDataset();

Python

このサンプルを試す前に、クライアント ライブラリを使用した BigQuery クイックスタートの Python の手順に沿って設定を行ってください。詳細については、BigQuery Python API のリファレンス ドキュメントをご覧ください。

GitHub で表示 フィードバック

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to fetch.
# dataset_id = 'your-project.your_dataset'

dataset = client.get_dataset(dataset_id)  # Make an API request.

full_dataset_id = "{}.{}".format(dataset.project, dataset.dataset_id)
friendly_name = dataset.friendly_name
print(
    "Got dataset '{}' with friendly_name '{}'.".format(
        full_dataset_id, friendly_name
    )
)

# View dataset properties.
print("Description: {}".format(dataset.description))
print("Labels:")
labels = dataset.labels
if labels:
    for label, value in labels.items():
        print("\t{}: {}".format(label, value))
else:
    print("\tDataset has no labels defined.")

# View tables in dataset.
print("Tables:")
tables = list(client.list_tables(dataset))  # Make an API request(s).
if tables:
    for table in tables:
        print("\t{}".format(table.table_id))
else:
    print("\tThis dataset does not contain any tables.")

次のステップ

• データセットの作成方法について詳しくは、データセットの作成をご覧ください。
• データセットにアクセス制御を割り当てる方法について詳しくは、データセットへのアクセス制御をご覧ください。
• データセット プロパティの変更方法について詳しくは、データセット プロパティの更新をご覧ください。
• ラベルの作成と管理の詳細は、ラベルの作成と管理をご覧ください。
• INFORMATION_SCHEMA の概要については、BigQuery INFORMATION_SCHEMA の概要をご覧ください。