列出数据集

本文档介绍了如何在 BigQuery 中列出数据集。

您可以通过以下方式列出数据集:

  • 使用 GCP Console 或经典版 BigQuery 网页界面
  • 使用 bq ls CLI 命令
  • 调用 datasets.list API 方法。

所需权限

列出数据集时,系统只会返回您拥有 bigquery.datasets.get 权限的数据集。这其中包括您已被授予数据集级层 READER 访问权限的任何数据集。除了 bigquery.jobUser,其他所有预定义的项目级层 IAM 角色都具有 bigquery.datasets.get 权限。如果为您分配了 bigquery.jobUser 以外的预定义项目级层角色,则您可以列出项目中的所有数据集。

要详细了解 BigQuery 中的 IAM 角色和权限,请参阅访问权限控制。要详细了解数据集级层角色,请参阅数据集的初始角色

列出项目中的数据集

要列出项目中的数据集,请执行以下操作:

经典版界面

数据集按照项目在网页界面的导航窗格中列出。

命令行

发出 bq ls 命令,以便按数据集 ID 列出数据集。可以使用 --format 标志来控制输出。如果您要列出默认项目以外的项目中的数据集,应为命令添加 --project_id 标志。

要列出项目中的所有数据集(包括匿名数据集),请使用 --all 标志或 -a 快捷方式。

要列出项目中的所有数据集(不包括匿名数据集),请使用 --datasets 标志或 -d 快捷方式。此标志不是必需的。默认情况下,匿名数据集不会列出。

bq ls --format=prettyjson --project_id [PROJECT_ID]

其中:

  • [PROJECT_ID] 是项目的名称。

示例:

输入以下命令,列出默认项目中的数据集。

bq ls --format=prettyjson

输入以下命令,列出 myotherproject 中的数据集。

bq ls --format=prettyjson --project_id myotherproject

输入以下命令,列出包括匿名数据集在内的所有数据集。在输出中,匿名数据集以下划线开头。

bq ls -a --format=prettyjson

API

要使用 API 列出数据集,请调用 datasets.list API 方法。

C#

在尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 C# 设置说明进行操作。如需了解详情,请参阅 BigQuery C# API 参考文档

using Google.Cloud.BigQuery.V2;
using System;
using System.Collections.Generic;
using System.Linq;

public class BigQueryListDatasets
{
    public void ListDatasets(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Retrieve list of datasets in project
        List<BigQueryDataset> datasets = client.ListDatasets().ToList();
        // Display the results
        if (datasets.Count > 0)
        {
            Console.WriteLine($"Datasets in project {projectId}:");
            foreach (var dataset in datasets)
            {
                Console.WriteLine($"\t{dataset.Reference.DatasetId}");
            }
        }
        else
        {
            Console.WriteLine($"{projectId} does not contain any datasets.");
        }
    }
}

Go

在尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 Go 设置说明进行操作。如需了解详情,请参阅 BigQuery Go API 参考文档

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")
it := client.Datasets(ctx)
for {
	dataset, err := it.Next()
	if err == iterator.Done {
		break
	}
	fmt.Println(dataset.DatasetID)
}

Java

在尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 Java 设置说明进行操作。如需了解详情,请参阅 BigQuery Java API 参考文档

// List datasets in the default project
Page<Dataset> datasets = bigquery.listDatasets(DatasetListOption.pageSize(100));
for (Dataset dataset : datasets.iterateAll()) {
  // do something with the dataset
}
// List datasets in a specified project
Page<Dataset> datasets = bigquery.listDatasets(projectId, DatasetListOption.pageSize(100));
for (Dataset dataset : datasets.iterateAll()) {
  // do something with the dataset
}

Node.js

在尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 Node.js 设置说明进行操作。如需了解详情,请参阅 BigQuery Node.js API 参考文档

// Imports the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// const projectId = "your-project-id";

// Creates a client
const bigquery = new BigQuery({projectId});

// Lists all datasets in the specified project
const [datasets] = await bigquery.getDatasets();
console.log('Datasets:');
datasets.forEach(dataset => console.log(dataset.id));

PHP

在尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 PHP 设置说明进行操作。如需了解详情,请参阅 BigQuery PHP API 参考文档

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$datasets = $bigQuery->datasets();
foreach ($datasets as $dataset) {
    print($dataset->id() . PHP_EOL);
}

Python

在尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 Python 设置说明进行操作。如需了解详情,请参阅 BigQuery Python API 参考文档

# from google.cloud import bigquery
# client = bigquery.Client()

datasets = list(client.list_datasets())
project = client.project

if datasets:
    print('Datasets in project {}:'.format(project))
    for dataset in datasets:  # API request(s)
        print('\t{}'.format(dataset.dataset_id))
else:
    print('{} project does not contain any datasets.'.format(project))

Ruby

在尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 Ruby 设置说明进行操作。如需了解详情,请参阅 BigQuery Ruby API 参考文档

require "google/cloud/bigquery"

def list_datasets project_id = "your-project-id"
  bigquery = Google::Cloud::Bigquery.new project: project_id

  puts "Datasets in project #{project_id}:"
  bigquery.datasets.each do |dataset|
    puts "\t#{dataset.dataset_id}"
  end
end

后续步骤

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面