列出数据集

本文档介绍了如何在 BigQuery 中列出数据集。

您可以通过以下方式列出数据集:

  • 使用 GCP Console 或经典版 BigQuery 网页界面
  • 使用 bq ls CLI 命令
  • 调用 datasets.list API 方法
  • 使用客户端库

所需权限

列出数据集时,系统只会返回您拥有 bigquery.datasets.get 权限的数据集。以下预定义的 Cloud IAM 角色包含 bigquery.datasets.get 权限:

  • bigquery.user
  • bigquery.metadataViewer
  • bigquery.dataViewer
  • bigquery.dataOwner
  • bigquery.dataEditor
  • bigquery.admin

如需详细了解 BigQuery 中的 Cloud IAM 角色和权限,请参阅访问权限控制

列出项目中的数据集

列出项目中的数据集的方法如下:

Console

资源窗格中按项目列出数据集。

经典版界面

在网页界面的导航窗格中按项目列出数据集。

CLI

发出 bq ls 命令,以便按数据集 ID 列出数据集。可以使用 --format 标志控制输出。如果您要列出默认项目以外的项目中的数据集,请为命令添加 --project_id 标志。

如需列出项目中的所有数据集(包括匿名数据集),请使用 --all 标志或 -a 快捷方式。

要列出项目中的所有数据集(不包括匿名数据集),请使用 --datasets 标志或 -d 快捷方式。此标志不是必需的。默认情况下,匿名数据集不会列出。

其他标志包括:

  • --filter:用于列出匹配过滤条件表达式的数据集。使用标签键和值的空格分隔列表,形式为 labels.key:value。如需详细了解如何使用标签过滤数据集,请参阅添加和使用标签
  • --max_results-n:一个整数,用于指示结果数上限。默认值为 50
bq ls --filter labels.key:value \
--max_results integer \
--format=prettyjson \
--project_id project_id

其中:

  • key:value 是标签键和值。
  • integer 是一个整数,表示要列出的数据集的数量。
  • project_id 是您的项目的名称。

示例:

输入以下命令可列出默认项目中的数据集。-- format 设置为 pretty 可返回采用基本格式的表。

bq ls --format=pretty

输入以下命令可列出 myotherproject 中的数据集。--format 设置为 prettyjson 可返回 JSON 格式的详细结果。

bq ls --format=prettyjson --project_id myotherproject

输入以下命令可列出默认项目中的所有数据集(包括匿名数据集)。在输出中,匿名数据集以下划线开头。

bq ls -a

输入以下命令可从默认项目返回超过 50 个(默认输出)数据集。

bq ls --max_results 60

输入以下命令可列出默认项目中具有标签 org:dev 的数据集。

ba ls --filter labels.org:dev

API

如需使用 API 列出数据集,请调用 datasets.list API 方法。

C#

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 C# 设置说明进行操作。如需了解详情,请参阅 BigQuery C# API 参考文档


using Google.Cloud.BigQuery.V2;
using System;
using System.Collections.Generic;
using System.Linq;

public class BigQueryListDatasets
{
    public void ListDatasets(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Retrieve list of datasets in project
        List<BigQueryDataset> datasets = client.ListDatasets().ToList();
        // Display the results
        if (datasets.Count > 0)
        {
            Console.WriteLine($"Datasets in project {projectId}:");
            foreach (var dataset in datasets)
            {
                Console.WriteLine($"\t{dataset.Reference.DatasetId}");
            }
        }
        else
        {
            Console.WriteLine($"{projectId} does not contain any datasets.");
        }
    }
}

Go

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Go 设置说明进行操作。如需了解详情,请参阅 BigQuery Go API 参考文档

// To run this sample, you will need to create (or reuse) a context and
// an instance of the bigquery client.  For example:
// import "cloud.google.com/go/bigquery"
// ctx := context.Background()
// client, err := bigquery.NewClient(ctx, "your-project-id")
it := client.Datasets(ctx)
for {
	dataset, err := it.Next()
	if err == iterator.Done {
		break
	}
	fmt.Println(dataset.DatasetID)
}

Java

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Java 设置说明进行操作。如需了解详情,请参阅 BigQuery Java API 参考文档

// List datasets in the default project
Page<Dataset> datasets = bigquery.listDatasets(DatasetListOption.pageSize(100));
for (Dataset dataset : datasets.iterateAll()) {
  // do something with the dataset
}
// List datasets in a specified project
Page<Dataset> datasets = bigquery.listDatasets(projectId, DatasetListOption.pageSize(100));
for (Dataset dataset : datasets.iterateAll()) {
  // do something with the dataset
}

Node.js

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Node.js 设置说明进行操作。如需了解详情,请参阅 BigQuery Node.js API 参考文档

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function listDatasets() {
  // Lists all datasets in current GCP project.

  // Lists all datasets in the specified project
  const [datasets] = await bigquery.getDatasets();
  console.log('Datasets:');
  datasets.forEach(dataset => console.log(dataset.id));
}

PHP

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 PHP 设置说明进行操作。如需了解详情,请参阅 BigQuery PHP API 参考文档

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$datasets = $bigQuery->datasets();
foreach ($datasets as $dataset) {
    print($dataset->id() . PHP_EOL);
}

Python

在尝试此示例之前,请先按照《BigQuery 快速入门:使用客户端库》中的 Python 设置说明进行操作。如需了解详情,请参阅 BigQuery Python API 参考文档

from google.cloud import bigquery

# TODO(developer): Construct a BigQuery client object.
# client = bigquery.Client()

datasets = list(client.list_datasets())
project = client.project

if datasets:
    print("Datasets in project {}:".format(project))
    for dataset in datasets:  # API request(s)
        print("\t{}".format(dataset.dataset_id))
else:
    print("{} project does not contain any datasets.".format(project))

Ruby

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Ruby 设置说明进行操作。如需了解详情,请参阅 BigQuery Ruby API 参考文档

require "google/cloud/bigquery"

def list_datasets project_id = "your-project-id"
  bigquery = Google::Cloud::Bigquery.new project: project_id

  puts "Datasets in project #{project_id}:"
  bigquery.datasets.each do |dataset|
    puts "\t#{dataset.dataset_id}"
  end
end

后续步骤

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面