创建数据集

创建数据集

本文档介绍如何在 BigQuery 中创建数据集。

您可以通过以下方式创建数据集：

使用 Cloud Console 或经典版 BigQuery 网页界面
使用 bq mk CLI 命令
调用 datasets.insert API 方法
使用客户端库
复制现有数据集。

如需查看复制数据集的步骤（包括跨区域复制），请参阅复制数据集。

数据集限制

BigQuery 数据集有以下限制：

您只能在创建时设置地理位置。创建数据集后，该位置即保持不变，而且无法在 Cloud Console、经典版 BigQuery 网页界面、命令行工具中或通过调用 patch 或 update API 方法予以更改。
查询中引用的所有表必须存储在数据集中的同一位置。
复制表时，包含源表和目标表的数据集必须位于同一位置。
每个项目中的数据集名称不得重复。
当项目中的数据集接近数千个时，经典版界面的性能会开始下降，列出数据集的速度会变慢。

命名数据集

在 BigQuery 中创建数据集时，您必须保证每个项目中的数据集名称无重复。数据集名称的相关要求如下：

最多可以包含 1024 个字符
可以包含字母（大写或小写）、数字和下划线

注意：以下划线开头的数据集在 BigQuery 网页界面和经典版网页界面的导航窗格中处于隐藏状态。即便不可见，您仍然可以查询这些数据集中的表和视图。
区分大小写：mydataset 和 MyDataset 在同一个项目中可共存。

数据集名称的禁止事项：

不得包含空格或特殊字符，如 -、&、@ 或 %

所需权限

如需创建数据集，您至少必须具有 bigquery.datasets.create 权限。以下预定义的 Cloud IAM 角色包含 bigquery.datasets.create 权限：

bigquery.dataEditor
bigquery.dataOwner
bigquery.user
bigquery.admin

如需详细了解 BigQuery 中的 Cloud IAM 角色和权限，请参阅预定义的角色和权限。

如需创建数据集，请执行以下操作：

控制台

在 Cloud Console 中打开 BigQuery 网页界面。

转到 Cloud Console
在导航面板的资源部分，选择您的项目。
在窗口右侧的详细信息面板中，点击创建数据集。
在创建数据集页面中执行以下操作：
- 对于数据集 ID，输入唯一的数据集名称。
- （可选）对于数据位置，为数据集选择一个地理位置。如果将值设置为默认，则位置会设置为 US。创建数据集后，就无法再更改此位置。
  
  注意：如果您选择 EU 或欧盟的区域作为数据集位置，则核心 BigQuery 客户数据会驻留在欧盟。核心 BigQuery 客户数据是在服务专用条款中定义的。
- 对于默认表到期时间，请选择以下任一选项：
  - 永不：（默认）永不自动删除在数据集中创建的表。您必须手动删除这些表。
  - 创建表后的天数：此值确定何时删除数据集中新创建的表。如果您在创建表时未设置表到期时间，则系统会应用此值。
- 点击创建数据集。

经典版界面

在导航窗格中，点击项目名称旁边的向下箭头图标，然后点击 Create new dataset。
在 Create Dataset 对话框中执行以下操作：
- 对于 Dataset ID，输入唯一的数据集名称。
- 对于 Data location，为数据集选择一个位置。默认值为 Unspecified，此时数据集位置会设置为 US。创建数据集后，就无法再更改此位置。
  
  注意：如果您选择 EU 作为数据集位置，则核心 BigQuery 客户数据会驻留在欧盟。核心 BigQuery 客户数据是在服务专用条款中定义的。
- 对于 Data expiration，选择以下选项之一：
  - Never：（默认）永不自动删除在数据集中创建的表。您必须手动删除这些表。
  - In integer days：在数据集中创建的任何表都会在创建之时起的 integer 天后删除。如果您在创建表时未设置表到期时间，则系统会应用此值。
    
    Data expiration 是指在数据集中创建的新表的默认表到期时间。在创建数据集时，您当前无法在 BigQuery 网页界面中设置默认分区到期时间。您可以使用命令行工具或 API 在创建数据集后设置默认分区到期时间。
- 点击 OK。

CLI

结合使用 bq mk 命令和 --location 标志创建一个新的数据集。可选参数包括 --default_table_expiration、--default_partition_expiration 和 --description。

如需在非默认项目中创建数据集，请按照以下格式将项目 ID 添加到数据集名称：project_id:dataset。

bq --location=location mk \
--dataset \
--default_table_expiration integer1 \
--default_partition_expiration integer2 \
--description description \
project_id:dataset

其中：

location 是数据集的位置。创建数据集后，此位置无法再更改。您可以使用 .bigqueryrc 文件设置默认位置值。

注意：如果您选择 **EU** 作为数据集位置，则核心 BigQuery 客户数据会驻留在欧盟。核心 BigQuery 客户数据是在服务专用条款中定义的。
integer1 是新创建的表的默认生命周期（以秒为单位）。最小值为 3600 秒（一小时）。到期时间以当前时间加上这个整数值为准。在数据集中创建的任何表都会在创建之时起的 [INTEGER] 秒后删除。如果您在创建表时未设置表到期时间，则系统会应用此值。
integer2 是新创建分区表中的分区的默认生命周期（以秒为单位）。默认分区到期时间没有最小值。到期时间以分区的日期加上这个整数值为准。在数据集分区表中创建的任何分区都会在分区的日期起的 [INTEGER2] 秒后删除。如果在创建或更新分区表时提供 --time_partitioning_expiration 标志，则表级层分区到期时间优先于数据集级层默认分区到期时间。
description 是数据集的描述，其两侧需加上英文引号。
project_id 是您的项目 ID。
dataset 是您要创建的数据集的名称。

例如，以下命令会创建一个名为 mydataset 的数据集，数据位置设置为 US，默认表到期时间为 3600 秒（1 小时），相应说明为 This is my dataset。该命令使用的不是 --dataset 标志，而是 -d 快捷方式。如果省略 -d 和 --dataset，该命令会默认创建一个数据集。

bq --location=US mk -d \
--default_table_expiration 3600 \
--description "This is my dataset." \
mydataset

API

使用已定义的数据集资源调用 datasets.insert 方法。

C#

试用此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 C# 设置说明进行操作。如需了解详情，请参阅 BigQuery C# API 参考文档。

在 GitHub 上查看反馈


using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryCreateDataset
{
    public BigQueryDataset CreateDataset(
        string projectId = "your-project-id",
        string location = "US"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        var createDatasetOptions = new CreateDatasetOptions()
        {
            // Specify the geographic location where the dataset should reside.
            Location = location
        };
        // Create the dataset
        return client.CreateDataset(
            datasetId: "your_new_dataset_id", options: createDatasetOptions);
    }
}

Go

尝试此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Go 设置说明进行操作。如需了解详情，请参阅 BigQuery Go API 参考文档。

在 GitHub 上查看反馈

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// createDataset demonstrates creation of a new dataset using an explicit destination location.
func createDataset(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}

	meta := &bigquery.DatasetMetadata{
		Location: "US", // See https://cloud.google.com/bigquery/docs/locations
	}
	if err := client.Dataset(datasetID).Create(ctx, meta); err != nil {
		return err
	}
	return nil
}

Java

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Java 设置说明进行操作。如需了解详情，请参阅 BigQuery Java API 参考文档。

在 GitHub 上查看反馈

Dataset dataset = null;
DatasetInfo datasetInfo = DatasetInfo.newBuilder(datasetName).build();
try {
  // the dataset was created
  dataset = bigquery.create(datasetInfo);
} catch (BigQueryException e) {
  // the dataset was not created
}

Node.js

尝试此示例之前，请按照 BigQuery 快速入门：使用客户端库中的 Node.js 设置说明进行操作。如需了解详情，请参阅 BigQuery Node.js API 参考文档。

在 GitHub 上查看反馈

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function createDataset() {
  // Creates a new dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_new_dataset";

  // Specify the geographic location where the dataset should reside
  const options = {
    location: 'US',
  };

  // Create a new dataset
  const [dataset] = await bigquery.createDataset(datasetId, options);
  console.log(`Dataset ${dataset.id} created.`);
}
createDataset();

PHP

试用此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 PHP 设置说明进行操作。如需了解详情，请参阅 BigQuery PHP API 参考文档。

在 GitHub 上查看反馈

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->createDataset($datasetId);
printf('Created dataset %s' . PHP_EOL, $datasetId);

Python

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Python 设置说明进行操作。如需了解详情，请参阅 BigQuery Python API 参考文档。

在 GitHub 上查看反馈

from google.cloud import bigquery

# TODO(developer): Construct a BigQuery client object.
# client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to create.
# dataset_id = "{}.your_dataset".format(client.project)

# Construct a full Dataset object to send to the API.
dataset = bigquery.Dataset(dataset_id)

# TODO(developer): Specify the geographic location where the dataset should reside.
dataset.location = "US"

# Send the dataset to the API for creation.
# Raises google.api_core.exceptions.Conflict if the Dataset already
# exists within the project.
dataset = client.create_dataset(dataset)  # Make an API request.
print("Created dataset {}.{}".format(client.project, dataset.dataset_id))

Ruby

试用此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Ruby 设置说明进行操作。如需了解详情，请参阅 BigQuery Ruby API 参考文档。

在 GitHub 上查看反馈

require "google/cloud/bigquery"

def create_dataset dataset_id = "my_dataset", location = "US"
  bigquery = Google::Cloud::Bigquery.new

  # Create the dataset in a specified geographic location
  bigquery.create_dataset dataset_id, location: location

  puts "Created dataset: #{dataset_id}"
end

后续步骤

如需详细了解如何向数据集分配访问权限控制，请参阅控制数据集访问权限。
如需详细了解如何列出项目中的数据集，请参阅列出数据集。
如需详细了解数据集元数据，请参阅获取数据集相关信息。
如需详细了解如何更改数据集属性，请参阅更新数据集。
如需详细了解如何创建和管理标签，请参阅创建和管理标签。

此页内容是否有用？请给出您的反馈和评价：

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see our Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

上次更新日期：一月 13, 2020

创建数据集

数据集限制

命名数据集

所需权限