データセットの作成

このドキュメントでは、BigQuery でデータセットを作成する方法について説明します。

データセットを作成するには:

Cloud Console または従来の BigQuery ウェブ UI を使用する
bq コマンドラインツールで bq mk コマンドを使用する
datasets.insert API メソッドを呼び出す
クライアントライブラリを使用する
既存のデータセットをコピーする

データセットをコピーする手順（リージョン間でのコピーを含む）については、データセットのコピーをご覧ください。

データセットの制限事項

BigQuery データセットには次の制限があります。

地理的なロケーションは作成時にのみ設定できます。データセットが作成されると、そのロケーションは不変になり、Cloud Console、従来の BigQuery ウェブ UI、bq コマンドラインツールを使用して変更することや、API の patch メソッドや update メソッドを呼び出して変更することはできません。
1 つのクエリで参照されるすべてのテーブルは、同じロケーションにあるデータセット内に保存されている必要があります。
テーブルをコピーする場合、コピー元とコピー先のテーブルが同じロケーションに存在する必要があります。
データセット名はプロジェクトごとに一意である必要があります。
プロジェクト内の何千ものデータセットにアクセスすると、従来の UI のパフォーマンスが低下し、データセットの一覧表示が遅くなります。

データセットの命名

BigQuery でデータセットを作成するとき、データセット名はプロジェクトごとに一意にする必要があります。データセット名の規則は以下のとおりです。

1,024 文字以内
使用できる文字は英字（大文字または小文字）、数字、アンダースコアのみ

注: アンダースコアで始まるデータセットは、Cloud Console と従来のウェブ UI のナビゲーションパネルには表示されません。データセットが表示されていない場合でも、これらのデータセットのテーブルとビューに対するクエリを実行できます。
英字の大文字と小文字が区別される（mydataset と MyDataset は同じプロジェクト内に共存できます）

次のようなデータセット名は使用できません。

スペースまたは特殊文字（-、&、@、% など）が含まれる

必要な権限

データセットを作成するには、少なくとも bigquery.datasets.create 権限が付与されている必要があります。次の事前定義済みの IAM ロールには bigquery.datasets.create 権限が含まれています。

bigquery.dataEditor
bigquery.dataOwner
bigquery.user
bigquery.admin

BigQuery での IAM のロールと権限について詳しくは、事前定義されたロールと権限をご覧ください。

データセットの作成

データセットを作成するには:

Console

Cloud Console で [BigQuery] ページを開きます。

[BigQuery] ページに移動
ナビゲーションパネルの [リソース] セクションで、プロジェクトを選択します。
ウィンドウの右側の詳細パネルで、[データセットを作成] をクリックします。
[データセットを作成] ページで次の操作を行います。
- [データセット ID] に、データセットの一意の名前を入力します。
- （省略可能）[データのロケーション] で、データセットの地理的なロケーションを選択します。値を [デフォルト] に設定したままにすると、ロケーションは US に設定されます。データセットの作成後はロケーションを変更できません。
  
  注: データセットのロケーションとして EU または EU にあるリージョンを選択した場合、Core BigQuery Customer Data は EU 内に保存されます。Core BigQuery Customer Data はサービス固有の規約で定義されています。
- [デフォルトのテーブルの有効期限] で、以下のいずれかのオプションを選択します。
  - 無期限: （デフォルト）データセット内に作成されたテーブルが自動的に削除されることはありません。テーブルを削除する場合は、手動で削除する必要があります。
  - テーブル作成後の日数: この値は、データセット内に新しく作成されたテーブルがいつ削除されるかを決定します。この値が適用されるのは、テーブルの作成時にテーブルの有効期限を設定しなかった場合です。
- [データセットを作成] をクリックします。

従来の UI

ナビゲーション内のプロジェクト名の横にある下矢印アイコンをクリックし、[Create new dataset] をクリックします。
[Create Dataset] ダイアログで、次の操作を行います。
- [Dataset ID] に、データセットの一意の名前を入力します。
- [Data location] で、データセットのロケーションを選択します。デフォルト値は [Unspecified] です。この場合、データセットのロケーションは US に設定されます。データセットの作成後はロケーションを変更できません。
  
  注: データセットのロケーションとして EU を選択した場合、Core BigQuery Customer Data は EU 内に保存されます。Core BigQuery Customer Data はサービス固有の規約で定義されています。
- [Data expiration] で、以下のいずれかのオプションを選択します。
  - Never: （デフォルト）データセット内に作成されたテーブルが自動的に削除されることはありません。テーブルを削除する場合は、手動で削除する必要があります。
  - integer days: データセット内に作成されたテーブルは、作成時点から integer 日後に削除されます。この値が適用されるのは、テーブルの作成時にテーブルの有効期限を設定しなかった場合です。
    
    [Data expiration] は、データセットで作成される新しいテーブルのデフォルトのテーブル有効期限を指します。BigQuery のウェブ UI では、現在のところデータセットの作成時にデフォルトのパーティション有効期限を設定できません。データセットの作成後に、bq コマンドラインツールまたは API を使用してデフォルトのパーティション有効期限を設定できます。
- [OK] をクリックします。

bq

新しいデータセットを作成するには、--location フラグを指定した bq mk コマンドを使用します。オプションパラメータには --default_table_expiration、--default_partition_expiration、--description があります。

デフォルトプロジェクト以外のプロジェクト内にデータセットを作成するには、project_id:dataset の形式でそのプロジェクト ID をデータセット名に追加します。

bq --location=location mk \
--dataset \
--default_table_expiration integer1 \
--default_partition_expiration integer2 \
--description description \
project_id:dataset

ここで

location は、データセットのロケーションです。データセットの作成後はロケーションを変更できません。ロケーションのデフォルト値は、.bigqueryrc ファイルを使用して設定できます。

注: データセットのロケーションとして EU を選択した場合、Core BigQuery Customer Data は EU 内に保存されます。Core BigQuery Customer Data はサービス固有の規約で定義されています。
integer1 は、新しく作成されるテーブルのデフォルトの存続期間（秒数）です。最小値は 3,600 秒（1 時間）です。現在の時刻にこの整数値を足した値が有効期限になります。データセット内に作成されたテーブルは、作成時点から [INTEGER] 秒後に削除されます。この値が適用されるのは、テーブルの作成時にテーブルの有効期限を設定しなかった場合です。
integer2 は、新しく作成されるパーティション分割テーブルのパーティションのデフォルトの存続期間（秒数）です。デフォルトのパーティション有効期限には最小値はありません。パーティションの日付にこの整数値を足した値が有効期限になります。データセット内のパーティション分割テーブルに作成されたパーティションは、パーティションの日付から [INTEGER2] 秒後に削除されます。パーティション分割テーブルの作成時または更新時に --time_partitioning_expiration フラグを指定した場合、データセットレベルのデフォルトのパーティション有効期限よりもテーブルレベルのパーティション有効期限が優先されます。
description は、引用符で囲んだ説明です。
project_id はプロジェクト ID です。
dataset は、作成するデータセットの名前です。

たとえば、次のコマンドを実行すると mydataset という名前のデータセットが作成され、データのロケーションは US、デフォルトのテーブル存続期間は 3,600 秒（1 時間）、説明は This is my dataset に設定されます。このコマンドでは、--dataset フラグの代わりに -d ショートカットを使用しています。-d と --dataset を省略した場合、このコマンドはデフォルトでデータセットを作成します。

bq --location=US mk -d \
--default_table_expiration 3600 \
--description "This is my dataset." \
mydataset

API

定義済みのデータセットリソースを使用して datasets.insert メソッドを呼び出します。

C#

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用の C# の設定手順を実施してください。詳細については、BigQuery C# API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック


using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryCreateDataset
{
    public BigQueryDataset CreateDataset(
        string projectId = "your-project-id",
        string location = "US"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var createDatasetOptions = new CreateDatasetOptions()
        {
            // Specify the geographic location where the dataset should reside.
            Location = location
        };
        // Create the dataset
        return client.CreateDataset(
            datasetId: "your_new_dataset_id", options: createDatasetOptions);
    }
}

Go

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用の Go の手順に従って設定を行ってください。詳細については、BigQuery Go API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// createDataset demonstrates creation of a new dataset using an explicit destination location.
func createDataset(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta := &bigquery.DatasetMetadata{
		Location: "US", // See https://cloud.google.com/bigquery/docs/locations
	}
	if err := client.Dataset(datasetID).Create(ctx, meta); err != nil {
		return err
	}
	return nil
}

Java

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用の Java の設定手順を実施してください。詳細については、BigQuery Java API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetInfo;

public class CreateDataset {

  public static void runCreateDataset() {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    createDataset(datasetName);
  }

  public static void createDataset(String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      DatasetInfo datasetInfo = DatasetInfo.newBuilder(datasetName).build();

      Dataset newDataset = bigquery.create(datasetInfo);
      String newDatasetName = newDataset.getDatasetId().getDataset();
      System.out.println(newDatasetName + " created successfully");
    } catch (BigQueryException e) {
      System.out.println("Dataset was not created. \n" + e.toString());
    }
  }
}

Node.js

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用の Node.js の設定手順を実施してください。詳細については、BigQuery Node.js API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function createDataset() {
  // Creates a new dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_new_dataset";

  // Specify the geographic location where the dataset should reside
  const options = {
    location: 'US',
  };

  // Create a new dataset
  const [dataset] = await bigquery.createDataset(datasetId, options);
  console.log(`Dataset ${dataset.id} created.`);
}
createDataset();

PHP

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用にある PHP 向けの手順に従って設定を行ってください。詳細については、BigQuery PHP API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->createDataset($datasetId);
printf('Created dataset %s' . PHP_EOL, $datasetId);

Python

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用の Python の手順に従って設定を行ってください。詳細については、BigQuery Python API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to create.
# dataset_id = "{}.your_dataset".format(client.project)

# Construct a full Dataset object to send to the API.
dataset = bigquery.Dataset(dataset_id)

# TODO(developer): Specify the geographic location where the dataset should reside.
dataset.location = "US"

# Send the dataset to the API for creation, with an explicit timeout.
# Raises google.api_core.exceptions.Conflict if the Dataset already
# exists within the project.
dataset = client.create_dataset(dataset, timeout=30)  # Make an API request.
print("Created dataset {}.{}".format(client.project, dataset.dataset_id))

Ruby

このサンプルを試す前に、BigQuery クイックスタート: クライアントライブラリの使用で説明している Ruby 向けの手順に沿って設定を行ってください。詳細については、BigQuery Ruby API のリファレンスドキュメントをご覧ください。

GitHub で表示フィードバック

require "google/cloud/bigquery"

def create_dataset dataset_id = "my_dataset", location = "US"
  bigquery = Google::Cloud::Bigquery.new

  # Create the dataset in a specified geographic location
  bigquery.create_dataset dataset_id, location: location

  puts "Created dataset: #{dataset_id}"
end

次のステップ

データセットにアクセス制御を割り当てる方法について詳しくは、データセットへのアクセスの制御をご覧ください。
プロジェクト内のデータセットを一覧表示する方法について詳しくは、データセットの一覧表示をご覧ください。
データセットメタデータの詳細については、データセットに関する情報の取得をご覧ください。
データセットプロパティの変更方法について詳しくは、データセットの更新をご覧ください。
ラベルの作成と管理の詳細は、ラベルの作成と管理をご覧ください。