Datasets auflisten

In diesem Dokument wird gezeigt, wie Sie Datasets in BigQuery auflisten.

So listen Sie Datasets auf:

  • Cloud Console verwenden
  • Mit der SQL-Abfrage INFORMATION_SCHEMA
  • Mit dem Befehl bq ls im bq-Befehlszeilentool
  • Durch Aufruf der API-Methode datasets.list
  • Mithilfe der Clientbibliotheken

Hinweis

Erteilen Sie IAM-Rollen (Identity and Access Management), die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument geben.

Erforderliche Berechtigungen

Zum Auflisten von Datasets benötigen Sie die IAM-Berechtigung bigquery.datasets.get.

Jede der folgenden vordefinierten IAM-Rollen enthält die Berechtigungen, die Sie zum Erstellen einer Ansicht benötigen:

  • roles/bigquery.user
  • roles/bigquery.dataOwner
  • roles/bigquery.dataEditor
  • roles/bigquery.admin

Wenn roles/bigquery.metadataViewer und roles/bigquery.dataViewer auf Projekt- oder Organisationsebene angewendet wurden, können Sie damit alle Datasets im Projekt auflisten.

Weitere Informationen zu IAM-Rollen und Berechtigungen in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.

Datasets in einem Projekt auflisten

So listen Sie die Datasets eines Projekts auf:

Console

  1. Klicken Sie im Navigationsmenü auf SQL-Arbeitsbereich.

  2. Maximieren Sie im Bereich Explorer einen Projektnamen, um die Datasets in diesem Projekt aufzurufen, oder verwenden Sie das Suchfeld, um nach dem Dataset-Namen zu suchen.

SQL

Verwenden Sie in der Abfrage INFORMATION_SCHEMA einen Projektqualifizierer, um alle Datasets in einem Projekt aufzulisten.

Im folgenden Beispiel werden alle im angegebenen Projekt verfügbaren Datasets aufgelistet:

SELECT
 schema_name
FROM
'PROJECT_ID'.INFORMATION_SCHEMA.SCHEMATA

Ersetzen Sie PROJECT_ID durch die ID des Projekts, für das Sie die verfügbaren Datasets auflisten möchten.

Weitere Informationen zu INFORMATION_SCHEMA finden Sie unter Einführung in INFORMATION_SCHEMA von BigQuery.

bq

Führen Sie den Befehl bq ls aus, um Datasets nach ihrer Dataset-ID aufzulisten. Mit dem Flag --format kann die Ausgabe gesteuert werden. Wenn Sie Datasets in einem anderen Projekt als Ihrem Standardprojekt auflisten, fügen Sie dem Befehl das Flag --project_id hinzu.

Wenn Sie alle Datasets eines Projekts, einschließlich aller anonymen Datasets, auflisten möchten, verwenden Sie das Flag --all oder das Kürzel -a.

Wenn Sie alle Datasets eines Projekts ohne anonyme Datasets auflisten möchten, verwenden Sie das Flag --datasets oder das Kürzel -d. Dieses Flag ist optional. Standardmäßig werden anonyme Datasets nicht aufgelistet.

Zusätzliche Flags sind:

  • --filter: listet Datasets auf, die dem Filterausdruck entsprechen. Verwenden Sie eine durch Leerzeichen getrennte Liste mit Labelschlüsseln und -werten im Format labels.key:value. Weitere Informationen zum Filtern von Datasets mithilfe von Labels finden Sie unter Labels hinzufügen und verwenden.
  • --max_results oder -n: Ganzzahl, die die maximale Anzahl von Ergebnissen angibt. Der Standardwert ist 50.
bq ls --filter labels.key:value \
--max_results integer \
--format=prettyjson \
--project_id project_id

Dabei gilt:

  • key:value ist ein Labelschlüssel und -wert.
  • integer ist eine Ganzzahl, die die Anzahl der aufzulistenden Datasets darstellt.
  • project_id ist der Name Ihres Projekts.

Beispiele:

Geben Sie den folgenden Befehl ein, um Datasets in Ihrem Standardprojekt aufzulisten. -- format ist auf "pretty" gesetzt, um eine standardmäßig formatierte Tabelle zurückzugeben.

bq ls --format=pretty

Geben Sie den folgenden Befehl ein, um Datasets in myotherproject aufzulisten. --format ist auf prettyjson gesetzt, um detaillierte Ergebnisse im JSON-Format zurückzugeben.

bq ls --format=prettyjson --project_id myotherproject

Mit dem folgenden Befehl listen Sie alle Datasets einschließlich anonymer Datasets in Ihrem Standardprojekt auf. Anonyme Datasets in der Ausgabe beginnen mit einem Unterstrich.

bq ls -a

Mit dem folgenden Befehl können Sie mehr als die Standardausgabe von 50 Datasets aus Ihrem Standardprojekt zurückgeben.

bq ls --max_results 60

Geben Sie den folgenden Befehl ein, um Datasets in Ihrem Standardprojekt mit dem Label org:dev aufzulisten:

bq ls --filter labels.org:dev

API

Wenn Sie Datasets mithilfe der API auflisten möchten, rufen Sie die API-Methode datasets.list auf.

C#

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von C# in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery C# API. 


using Google.Cloud.BigQuery.V2;
using System;
using System.Collections.Generic;
using System.Linq;

public class BigQueryListDatasets
{
    public void ListDatasets(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Retrieve list of datasets in project
        List<BigQueryDataset> datasets = client.ListDatasets().ToList();
        // Display the results
        if (datasets.Count > 0)
        {
            Console.WriteLine($"Datasets in project {projectId}:");
            foreach (var dataset in datasets)
            {
                Console.WriteLine($"\t{dataset.Reference.DatasetId}");
            }
        }
        else
        {
            Console.WriteLine($"{projectId} does not contain any datasets.");
        }
    }
}

Go

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API. 

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// listDatasets demonstrates iterating through the collection of datasets in a project.
func listDatasets(projectID string, w io.Writer) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	it := client.Datasets(ctx)
	for {
		dataset, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, dataset.DatasetID)
	}
	return nil
}

Java

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Java API. 

import com.google.api.gax.paging.Page;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.DatasetListOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;

public class ListDatasets {

  public static void runListDatasets() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    listDatasets(projectId);
  }

  public static void listDatasets(String projectId) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Page<Dataset> datasets = bigquery.listDatasets(projectId, DatasetListOption.pageSize(100));
      if (datasets == null) {
        System.out.println("Dataset does not contain any models");
        return;
      }
      datasets
          .iterateAll()
          .forEach(
              dataset -> System.out.printf("Success! Dataset ID: %s ", dataset.getDatasetId()));
    } catch (BigQueryException e) {
      System.out.println("Project does not contain any datasets \n" + e.toString());
    }
  }
}

Node.js

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API. 

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function listDatasets() {
  // Lists all datasets in current GCP project.

  // Lists all datasets in the specified project
  const [datasets] = await bigquery.getDatasets();
  console.log('Datasets:');
  datasets.forEach(dataset => console.log(dataset.id));
}

PHP

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery PHP API. 

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$datasets = $bigQuery->datasets();
foreach ($datasets as $dataset) {
    print($dataset->id() . PHP_EOL);
}

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur  Python API. 


from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

datasets = list(client.list_datasets())  # Make an API request.
project = client.project

if datasets:
    print("Datasets in project {}:".format(project))
    for dataset in datasets:
        print("\t{}".format(dataset.dataset_id))
else:
    print("{} project does not contain any datasets.".format(project))

Ruby

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Ruby API. 

require "google/cloud/bigquery"

def list_datasets project_id = "your-project-id"
  bigquery = Google::Cloud::Bigquery.new project: project_id

  puts "Datasets in project #{project_id}:"
  bigquery.datasets.each do |dataset|
    puts "\t#{dataset.dataset_id}"
  end
end

Dataset-Sicherheit

Informationen zum Steuern des Zugriffs auf Datasets in BigQuery finden Sie unter Zugriff auf Datasets steuern. Informationen zur Datenverschlüsselung finden Sie unter Verschlüsselung inaktiver Daten.

Weitere Informationen