列出数据集

本文档介绍了如何在 BigQuery 中列出数据集。

您可以通过以下方式列出数据集:

  • 使用 Cloud Console 或经典版 BigQuery 网页界面
  • 使用 bq ls CLI 命令
  • 调用 datasets.list API 方法
  • 使用客户端库

所需权限

当您列出数据集时,系统只会返回您拥有 bigquery.datasets.get 权限的数据集。以下预定义 Cloud IAM 角色可提供 bigquery.datasets.get 权限:

  • bigquery.user
  • bigquery.metadataViewer
  • bigquery.dataViewer
  • bigquery.dataOwner
  • bigquery.dataEditor
  • bigquery.admin

如需详细了解 BigQuery 中的 Cloud IAM 角色和权限,请参阅访问权限控制

列出项目中的数据集

要列出项目中的数据集,请执行以下操作:

Console

资源窗格中按项目列出数据集。

经典版界面

在网页界面的导航窗格中按项目列出数据集。

CLI

发出 bq ls 命令以按数据集 ID 列出数据集。您可以使用 --format 标志来控制输出。如果您要列出非默认项目中的数据集,请在该命令中添加 --project_id 标志。

要列出项目中的所有数据集(包括匿名数据集),请使用 --all 标志或 -a 快捷方式。

要列出项目中的所有数据集(不包括匿名数据集),请使用 --datasets 标志或 -d 快捷方式。此标志是可选标志。默认情况下,匿名数据集不会列出。

您还可以使用其他标志,包括:

  • --filter:用于列出匹配过滤条件表达式的数据集。请使用以空格分隔的标签键和值列表,格式为 labels.key:value。如需详细了解如何使用标签过滤数据集,请参阅添加和使用标签
  • --max_results-n:用于表示结果数量上限的整数,默认值为 50
bq ls --filter labels.key:value \
--max_results integer \
--format=prettyjson \
--project_id project_id

其中:

  • key:value 是标签键和值。
  • integer 是一个整数,表示要列出的数据集的数量。
  • project_id 是您的项目的名称。

示例:

输入以下命令可列出默认项目中的数据集。-- format 设置为 pretty 可返回采用基本格式的表。

bq ls --format=pretty

输入以下命令可列出 myotherproject 中的数据集。--format 设置为 prettyjson 可返回 JSON 格式的详细结果。

bq ls --format=prettyjson --project_id myotherproject

输入以下命令可列出默认项目中的所有数据集(包括匿名数据集)。在输出中,匿名数据集以下划线开头。

bq ls -a

输入以下命令可从默认项目返回超过 50 个(默认输出)数据集。

bq ls --max_results 60

输入以下命令可列出默认项目中具有 org:dev 标签的数据集。

bq ls --filter labels.org:dev

API

要使用 API 列出数据集,请调用 datasets.list API 方法。

C#

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 C# 设置说明进行操作。 如需了解详情,请参阅 BigQuery C# API 参考文档


using Google.Cloud.BigQuery.V2;
using System;
using System.Collections.Generic;
using System.Linq;

public class BigQueryListDatasets
{
    public void ListDatasets(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Retrieve list of datasets in project
        List<BigQueryDataset> datasets = client.ListDatasets().ToList();
        // Display the results
        if (datasets.Count > 0)
        {
            Console.WriteLine($"Datasets in project {projectId}:");
            foreach (var dataset in datasets)
            {
                Console.WriteLine($"\t{dataset.Reference.DatasetId}");
            }
        }
        else
        {
            Console.WriteLine($"{projectId} does not contain any datasets.");
        }
    }
}

Go

尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 Go 设置说明进行操作。如需了解详情,请参阅 BigQuery Go API 参考文档

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// listDatasets demonstrates iterating through the collection of datasets in a project.
func listDatasets(projectID string, w io.Writer) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}

	it := client.Datasets(ctx)
	for {
		dataset, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, dataset.DatasetID)
	}
	return nil
}

Java

尝试此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Java 设置说明进行操作。如需了解详情,请参阅 BigQuery Java API 参考文档

// List datasets in the default project
Page<Dataset> datasets = bigquery.listDatasets(DatasetListOption.pageSize(100));
for (Dataset dataset : datasets.iterateAll()) {
  // do something with the dataset
}
// List datasets in a specified project
Page<Dataset> datasets = bigquery.listDatasets(projectId, DatasetListOption.pageSize(100));
for (Dataset dataset : datasets.iterateAll()) {
  // do something with the dataset
}

Node.js

尝试此示例之前,请按照 BigQuery 快速入门:使用客户端库中的 Node.js 设置说明进行操作。如需了解详情,请参阅 BigQuery Node.js API 参考文档

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function listDatasets() {
  // Lists all datasets in current GCP project.

  // Lists all datasets in the specified project
  const [datasets] = await bigquery.getDatasets();
  console.log('Datasets:');
  datasets.forEach(dataset => console.log(dataset.id));
}

PHP

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 PHP 设置说明进行操作。 如需了解详情,请参阅 BigQuery PHP API 参考文档

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$datasets = $bigQuery->datasets();
foreach ($datasets as $dataset) {
    print($dataset->id() . PHP_EOL);
}

Python

尝试此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Python 设置说明进行操作。如需了解详情,请参阅 BigQuery Python API 参考文档

# TODO(developer): Import the client library.
# from google.cloud import bigquery

# TODO(developer): Construct a BigQuery client object.
# client = bigquery.Client()

datasets = list(client.list_datasets())  # Make an API request.
project = client.project

if datasets:
    print("Datasets in project {}:".format(project))
    for dataset in datasets:
        print("\t{}".format(dataset.dataset_id))
else:
    print("{} project does not contain any datasets.".format(project))

Ruby

试用此示例之前,请按照《BigQuery 快速入门:使用客户端库》中的 Ruby 设置说明进行操作。 如需了解详情,请参阅 BigQuery Ruby API 参考文档

require "google/cloud/bigquery"

def list_datasets project_id = "your-project-id"
  bigquery = Google::Cloud::Bigquery.new project: project_id

  puts "Datasets in project #{project_id}:"
  bigquery.datasets.each do |dataset|
    puts "\t#{dataset.dataset_id}"
  end
end

后续步骤

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
需要帮助?请访问我们的支持页面