列出数据集

本文档介绍了如何在 BigQuery 中列出数据集。

您可以通过以下方式列出数据集：

• 使用控制台。
• 使用 INFORMATION_SCHEMA SQL 查询。
• 在 bq 命令行工具中使用 bq ls 命令。
• 调用 datasets.list API 方法。
• 使用客户端库。

准备工作

授予为用户提供执行本文档中的每个任务所需权限的 Identity and Access Management (IAM) 角色。

所需权限

如需列出数据集，您需要拥有 bigquery.datasets.get IAM 权限。

以下每个预定义 IAM 角色都包含创建视图所需的权限：

• roles/bigquery.user
• roles/bigquery.dataOwner
• roles/bigquery.dataEditor
• roles/bigquery.admin

此外，在项目或组织级层应用 roles/bigquery.metadataViewer 和 roles/bigquery.dataViewer 时，您可以列出项目中的所有数据集。

如需详细了解 BigQuery 中的 IAM 角色和权限，请参阅预定义的角色和权限。

列出项目中的数据集

要列出项目中的数据集，请执行以下操作：

控制台

1. 在导航菜单中，点击 SQL 工作区。

2. 在分层图表面板中，展开项目名称以查看该项目中的数据集，或使用搜索框按数据集名称进行搜索。

SQL

查询 INFORMATION_SCHEMA.SCHEMATA 视图。

1. 在控制台中，进入 BigQuery 页面。

   转到 BigQuery

2. 在查询编辑器中，输入以下语句：

   SELECT
     schema_name
   FROM
     PROJECT_ID.INFORMATION_SCHEMA.SCHEMATA;
   

   替换以下内容：

   • PROJECT_ID：要为其列出可用数据集的项目的 ID

3. 点击 运行。

如需详细了解如何运行查询，请参阅运行交互式查询。

bq

发出 bq ls 命令以按数据集 ID 列出数据集。您可以使用 --format 标志来控制输出。如果您要列出非默认项目中的数据集，请在该命令中添加 --project_id 标志。

要列出项目中的所有数据集（包括匿名数据集），请使用 --all 标志或 -a 快捷方式。

要列出项目中的所有数据集（不包括匿名数据集），请使用 --datasets 标志或 -d 快捷方式。此标志是可选标志。默认情况下，匿名数据集不会列出。

其他标志包括：

• --filter：用于列出匹配过滤条件表达式的数据集。请使用以空格分隔的标签键和值列表，格式为 labels.key:value。如需详细了解如何使用标签过滤数据集，请参阅添加和使用标签。
• --max_results 或 -n：用于表示结果数量上限的整数，默认值为 50。

bq ls --filter labels.key:value \
--max_results integer \
--format=prettyjson \
--project_id project_id

替换以下内容：

• key:value：标签键和值
• integer：表示要列出的数据集数量的整数
• project_id：您的项目的名称

示例：

输入以下命令可列出默认项目中的数据集。-- format 设置为 pretty 可返回采用基本格式的表。

bq ls --format=pretty

输入以下命令可列出 myotherproject 中的数据集。--format 设置为 prettyjson 可返回 JSON 格式的详细结果。

bq ls --format=prettyjson --project_id myotherproject

输入以下命令可列出默认项目中的所有数据集（包括匿名数据集）。在输出中，匿名数据集以下划线开头。

bq ls -a

输入以下命令可从默认项目返回超过 50 个（默认输出）数据集。

bq ls --max_results 60

输入以下命令可列出默认项目中具有 org:dev 标签的数据集。

bq ls --filter labels.org:dev

API

要使用 API 列出数据集，请调用 datasets.list API 方法。

C#

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 C# 设置说明进行操作。如需了解详情，请参阅 BigQuery C# API 参考文档。

在 GitHub 上查看 反馈

using Google.Cloud.BigQuery.V2;
using System;
using System.Collections.Generic;
using System.Linq;

public class BigQueryListDatasets
{
    public void ListDatasets(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Retrieve list of datasets in project
        List<BigQueryDataset> datasets = client.ListDatasets().ToList();
        // Display the results
        if (datasets.Count > 0)
        {
            Console.WriteLine($"Datasets in project {projectId}:");
            foreach (var dataset in datasets)
            {
                Console.WriteLine($"\t{dataset.Reference.DatasetId}");
            }
        }
        else
        {
            Console.WriteLine($"{projectId} does not contain any datasets.");
        }
    }
}

Go

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Go 设置说明进行操作。如需了解详情，请参阅 BigQuery Go API 参考文档。

在 GitHub 上查看 反馈

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// listDatasets demonstrates iterating through the collection of datasets in a project.
func listDatasets(projectID string, w io.Writer) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	it := client.Datasets(ctx)
	for {
		dataset, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, dataset.DatasetID)
	}
	return nil
}

Java

试用此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Java 设置说明进行操作。如需了解详情，请参阅 BigQuery Java API 参考文档。

在 GitHub 上查看 反馈

import com.google.api.gax.paging.Page;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.DatasetListOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;

public class ListDatasets {

  public static void runListDatasets() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    listDatasets(projectId);
  }

  public static void listDatasets(String projectId) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Page<Dataset> datasets = bigquery.listDatasets(projectId, DatasetListOption.pageSize(100));
      if (datasets == null) {
        System.out.println("Dataset does not contain any models");
        return;
      }
      datasets
          .iterateAll()
          .forEach(
              dataset -> System.out.printf("Success! Dataset ID: %s ", dataset.getDatasetId()));
    } catch (BigQueryException e) {
      System.out.println("Project does not contain any datasets \n" + e.toString());
    }
  }
}

Node.js

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Node.js 设置说明进行操作。如需了解详情，请参阅 BigQuery Node.js API 参考文档。

在 GitHub 上查看 反馈

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function listDatasets() {
  // Lists all datasets in current GCP project.

  // Lists all datasets in the specified project
  const [datasets] = await bigquery.getDatasets();
  console.log('Datasets:');
  datasets.forEach(dataset => console.log(dataset.id));
}

PHP

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 PHP 设置说明进行操作。如需了解详情，请参阅 BigQuery PHP API 参考文档。

在 GitHub 上查看 反馈

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$datasets = $bigQuery->datasets();
foreach ($datasets as $dataset) {
    print($dataset->id() . PHP_EOL);
}

Python

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Python 设置说明进行操作。如需了解详情，请参阅 BigQuery Python API 参考文档。

在 GitHub 上查看 反馈

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

datasets = list(client.list_datasets())  # Make an API request.
project = client.project

if datasets:
    print("Datasets in project {}:".format(project))
    for dataset in datasets:
        print("\t{}".format(dataset.dataset_id))
else:
    print("{} project does not contain any datasets.".format(project))

Ruby

尝试此示例之前，请按照《BigQuery 快速入门：使用客户端库》中的 Ruby 设置说明进行操作。如需了解详情，请参阅 BigQuery Ruby API 参考文档。

在 GitHub 上查看 反馈

require "google/cloud/bigquery"

def list_datasets project_id = "your-project-id"
  bigquery = Google::Cloud::Bigquery.new project: project_id

  puts "Datasets in project #{project_id}:"
  bigquery.datasets.each do |dataset|
    puts "\t#{dataset.dataset_id}"
  end
end

数据集安全性

如需控制对 BigQuery 中数据集的访问权限，请参阅控制对数据集的访问权限。 如需了解数据加密，请参阅静态加密。

后续步骤

• 如需详细了解如何创建数据集，请参阅创建数据集。
• 如需详细了解数据集元数据，请参阅获取数据集相关信息。
• 如需详细了解如何更改数据集属性，请参阅更新数据集属性。
• 如需详细了解如何创建和管理标签，请参阅创建和管理标签。