Datasets auflisten

In diesem Dokument wird gezeigt, wie Sie Informationen zu Datasets in BigQuery auflisten und abrufen.

Hinweis

Erteilen Sie IAM-Rollen (Identity and Access Management), die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument geben.

Erforderliche Rolle

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle „BigQuery-Metadaten-Betrachter“ (roles/bigquery.metadataViewer) für Ihr Projekt zuzuweisen, um die Berechtigung zu erhalten, die Sie zum Auflisten von Datasets oder zum Abrufen von Informationen zu Datasets benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält die Berechtigung bigquery.datasets.get, die zum Auflisten von Datasets oder zum Abrufen von Informationen zu Datasets erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Wenn Sie die Rolle roles/bigquery.metadataViewer auf Projekt- oder Organisationsebene anwenden, können Sie alle Datasets im Projekt auflisten.

Datasets auflisten

Wählen Sie eine der folgenden Optionen aus:

Console

Klicken Sie im Navigationsmenü auf SQL-Arbeitsbereich.
Maximieren Sie im Bereich Explorer einen Projektnamen, um die Datasets in diesem Projekt aufzurufen, oder verwenden Sie das Suchfeld, um nach dem Dataset-Namen zu suchen.

SQL

Fragen Sie die Ansicht INFORMATION_SCHEMA.SCHEMATA ab.

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen
Geben Sie im Abfrageeditor die folgende Anweisung ein:
```
SELECT
  schema_name
FROM
  PROJECT_ID.INFORMATION_SCHEMA.SCHEMATA;
```
Ersetzen Sie PROJECT_ID durch die ID des Projekts, für das Sie verfügbare Datasets auflisten möchten.
Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfragen ausführen.

bq

Führen Sie den Befehl bq ls aus, um Datasets nach ihrer Dataset-ID aufzulisten. Mit dem Flag --format kann die Ausgabe gesteuert werden. Wenn Sie Datasets in einem anderen Projekt als Ihrem Standardprojekt auflisten, fügen Sie dem Befehl das Flag --project_id hinzu.

Wenn Sie alle Datasets eines Projekts, einschließlich aller anonymen Datasets, auflisten möchten, verwenden Sie das Flag --all oder das Kürzel -a.

Wenn Sie alle Datasets eines Projekts ohne anonyme Datasets auflisten möchten, verwenden Sie das Flag --datasets oder das Kürzel -d. Dieses Flag ist optional. Standardmäßig werden anonyme Datasets nicht aufgelistet.

Zusätzliche Flags sind:

--filter: listet Datasets auf, die dem Filterausdruck entsprechen. Verwenden Sie eine durch Leerzeichen getrennte Liste mit Labelschlüsseln und -werten im Format labels.key:value. Weitere Informationen zum Filtern von Datasets mithilfe von Labels finden Sie unter Labels hinzufügen und verwenden.
--max_results oder -n: Ganzzahl, die die maximale Anzahl von Ergebnissen angibt. Der Standardwert ist 50.

bq ls --filter labels.key:value \
--max_results integer \
--format=prettyjson \
--project_id project_id

Dabei gilt:

key:value: ein Labelschlüssel und -wert
integer: eine Ganzzahl, die die Anzahl der aufzulistenden Datasets darstellt.
project_id: Name Ihres Projekts

Beispiele:

Geben Sie den folgenden Befehl ein, um Datasets in Ihrem Standardprojekt aufzulisten. -- format ist auf "pretty" gesetzt, um eine standardmäßig formatierte Tabelle zurückzugeben.

bq ls --format=pretty

Geben Sie den folgenden Befehl ein, um Datasets in myotherproject aufzulisten. --format ist auf prettyjson gesetzt, um detaillierte Ergebnisse im JSON-Format zurückzugeben.

bq ls --format=prettyjson --project_id myotherproject

Mit dem folgenden Befehl listen Sie alle Datasets einschließlich anonymer Datasets in Ihrem Standardprojekt auf. Anonyme Datasets in der Ausgabe beginnen mit einem Unterstrich.

bq ls -a

Mit dem folgenden Befehl können Sie mehr als die Standardausgabe von 50 Datasets aus Ihrem Standardprojekt zurückgeben.

bq ls --max_results 60

Geben Sie den folgenden Befehl ein, um Datasets in Ihrem Standardprojekt mit dem Label org:dev aufzulisten:

bq ls --filter labels.org:dev

API

Wenn Sie Datasets mithilfe der API auflisten möchten, rufen Sie die API-Methode datasets.list auf.

C#

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

Auf GitHub ansehen Feedback


using Google.Cloud.BigQuery.V2;
using System;
using System.Collections.Generic;
using System.Linq;

public class BigQueryListDatasets
{
    public void ListDatasets(
        string projectId = "your-project-id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Retrieve list of datasets in project
        List<BigQueryDataset> datasets = client.ListDatasets().ToList();
        // Display the results
        if (datasets.Count > 0)
        {
            Console.WriteLine($"Datasets in project {projectId}:");
            foreach (var dataset in datasets)
            {
                Console.WriteLine($"\t{dataset.Reference.DatasetId}");
            }
        }
        else
        {
            Console.WriteLine($"{projectId} does not contain any datasets.");
        }
    }
}

Einfach loslegen (Go)

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.

Auf GitHub ansehen Feedback

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// listDatasets demonstrates iterating through the collection of datasets in a project.
func listDatasets(projectID string, w io.Writer) error {
	// projectID := "my-project-id"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	it := client.Datasets(ctx)
	for {
		dataset, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			return err
		}
		fmt.Fprintln(w, dataset.DatasetID)
	}
	return nil
}

Java

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Java API.

Auf GitHub ansehen Feedback

import com.google.api.gax.paging.Page;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.DatasetListOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;

public class ListDatasets {

  public static void runListDatasets() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    listDatasets(projectId);
  }

  public static void listDatasets(String projectId) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Page<Dataset> datasets = bigquery.listDatasets(projectId, DatasetListOption.pageSize(100));
      if (datasets == null) {
        System.out.println("Dataset does not contain any models");
        return;
      }
      datasets
          .iterateAll()
          .forEach(
              dataset -> System.out.printf("Success! Dataset ID: %s ", dataset.getDatasetId()));
    } catch (BigQueryException e) {
      System.out.println("Project does not contain any datasets \n" + e.toString());
    }
  }
}

Node.js

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.

Auf GitHub ansehen Feedback

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function listDatasets() {
  // Lists all datasets in current GCP project.

  // Lists all datasets in the specified project
  const [datasets] = await bigquery.getDatasets();
  console.log('Datasets:');
  datasets.forEach(dataset => console.log(dataset.id));
}

PHP

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery PHP API.

Auf GitHub ansehen Feedback

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId  = 'The Google project ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$datasets = $bigQuery->datasets();
foreach ($datasets as $dataset) {
    print($dataset->id() . PHP_EOL);
}

Python

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.

Auf GitHub ansehen Feedback


from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

datasets = list(client.list_datasets())  # Make an API request.
project = client.project

if datasets:
    print("Datasets in project {}:".format(project))
    for dataset in datasets:
        print("\t{}".format(dataset.dataset_id))
else:
    print("{} project does not contain any datasets.".format(project))

Ruby

Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.

Auf GitHub ansehen Feedback

require "google/cloud/bigquery"

def list_datasets project_id = "your-project-id"
  bigquery = Google::Cloud::Bigquery.new project: project_id

  puts "Datasets in project #{project_id}:"
  bigquery.datasets.each do |dataset|
    puts "\t#{dataset.dataset_id}"
  end
end

Informationen zu Datasets abrufen

Wählen Sie eine der folgenden Optionen aus:

Console

Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie ein Dataset aus.
Maximieren Sie die Option Aktionen und klicken Sie auf Öffnen. Die Beschreibung und die Details werden im Detailbereich angezeigt. Die Tabellen für ein Dataset werden im Bereich Explorer mit dem Namen des Datasets aufgeführt.

Standardmäßig sind anonyme Datasets in der Google Cloud Console ausgeblendet. Zum Aufrufen von Informationen zu anonymen Datasets können Sie das bq-Befehlszeilentool oder die API verwenden.

SQL

Fragen Sie die Ansicht INFORMATION_SCHEMA.SCHEMATA ab.

Öffnen Sie in der Google Cloud Console die Seite BigQuery.

BigQuery aufrufen
Geben Sie im Abfrageeditor die folgende Anweisung ein:
```
SELECT
  * EXCEPT (schema_owner)
FROM
  `PROJECT_ID`.INFORMATION_SCHEMA.SCHEMATA;
```
Ersetzen Sie PROJECT_ID durch die ID des Projekts, für das Sie verfügbare Datasets auflisten möchten.
Klicken Sie auf Ausführen.

Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfragen ausführen.

Sie können auch die Ansicht INFORMATION_SCHEMA.SCHEMATA_OPTIONS abfragen.

SELECT
  *
FROM
  [PROJECT_ID.]`region-REGION`.INFORMATION_SCHEMA.SCHEMATA;

Dabei gilt:

Optional: PROJECT_ID: die ID Ihres Google Cloud-Projekts. Wenn keine Angabe erfolgt, wird das Standardprojekt verwendet.
REGION: ein beliebiger Dataset-Standortname. Beispiel: region-us

bq

Führen Sie den Befehl bq show aus. Mit dem Flag --format kann die Ausgabe gesteuert werden. Wenn Sie Informationen zu einem Dataset in einem anderen Projekt als Ihrem Standardprojekt abrufen, fügen Sie dem Dataset-Namen die Projekt-ID im folgenden Format hinzu: project_id:dataset.

Wenn Sie Informationen zu einem anonymen Dataset aufrufen möchten, geben Sie den Befehl bq ls --all zum Auflisten aller Datasets ein. Führen Sie anschließend den Befehl bq show mit dem Namen des anonymen Datasets aus.

bq show --format=prettyjson project_id:dataset

Dabei gilt:

project_id ist der Name Ihres Projekts.
dataset ist der Name des Datasets

Beispiele:

Geben Sie den folgenden Befehl ein, um Informationen zu mydataset in Ihrem Standardprojekt aufzurufen.

bq show --format=prettyjson mydataset

Geben Sie den folgenden Befehl ein, um Informationen zu mydataset in myotherproject aufzurufen.

bq show --format=prettyjson myotherproject:mydataset

Geben Sie den folgenden Befehl ein, um Informationen zu einem anonymen Dataset _1234abcd56efgh78ijkl1234 in Ihrem Standardprojekt aufzurufen.

bq show --format=prettyjson _1234abcd56efgh78ijkl1234

API

Rufen Sie die API-Methode datasets.get auf und geben Sie alle relevanten Parameter an.

Go

Auf GitHub ansehen Feedback

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/bigquery"
	"google.golang.org/api/iterator"
)

// printDatasetInfo demonstrates fetching dataset metadata and printing some of it to an io.Writer.
func printDatasetInfo(w io.Writer, projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta, err := client.Dataset(datasetID).Metadata(ctx)
	if err != nil {
		return err
	}

	fmt.Fprintf(w, "Dataset ID: %s\n", datasetID)
	fmt.Fprintf(w, "Description: %s\n", meta.Description)
	fmt.Fprintln(w, "Labels:")
	for k, v := range meta.Labels {
		fmt.Fprintf(w, "\t%s: %s", k, v)
	}
	fmt.Fprintln(w, "Tables:")
	it := client.Dataset(datasetID).Tables(ctx)

	cnt := 0
	for {
		t, err := it.Next()
		if err == iterator.Done {
			break
		}
		cnt++
		fmt.Fprintf(w, "\t%s\n", t.TableID)
	}
	if cnt == 0 {
		fmt.Fprintln(w, "\tThis dataset does not contain any tables.")
	}
	return nil
}

Java

Auf GitHub ansehen Feedback

import com.google.api.gax.paging.Page;
import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.TableListOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetId;
import com.google.cloud.bigquery.Table;

public class GetDatasetInfo {

  public static void runGetDatasetInfo() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String datasetName = "MY_DATASET_NAME";
    getDatasetInfo(projectId, datasetName);
  }

  public static void getDatasetInfo(String projectId, String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();
      DatasetId datasetId = DatasetId.of(projectId, datasetName);
      Dataset dataset = bigquery.getDataset(datasetId);

      // View dataset properties
      String description = dataset.getDescription();
      System.out.println(description);

      // View tables in the dataset
      // For more information on listing tables see:
      // https://javadoc.io/static/com.google.cloud/google-cloud-bigquery/0.22.0-beta/com/google/cloud/bigquery/BigQuery.html
      Page<Table> tables = bigquery.listTables(datasetName, TableListOption.pageSize(100));

      tables.iterateAll().forEach(table -> System.out.print(table.getTableId().getTable() + "\n"));

      System.out.println("Dataset info retrieved successfully.");
    } catch (BigQueryException e) {
      System.out.println("Dataset info not retrieved. \n" + e.toString());
    }
  }
}

Node.js

Auf GitHub ansehen Feedback

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function getDataset() {
  // Retrieves dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const datasetId = "my_dataset";

  // Retrieve dataset reference
  const [dataset] = await bigquery.dataset(datasetId).get();

  console.log('Dataset:');
  console.log(dataset.metadata.datasetReference);
}
getDataset();

Python

Auf GitHub ansehen Feedback


from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to fetch.
# dataset_id = 'your-project.your_dataset'

dataset = client.get_dataset(dataset_id)  # Make an API request.

full_dataset_id = "{}.{}".format(dataset.project, dataset.dataset_id)
friendly_name = dataset.friendly_name
print(
    "Got dataset '{}' with friendly_name '{}'.".format(
        full_dataset_id, friendly_name
    )
)

# View dataset properties.
print("Description: {}".format(dataset.description))
print("Labels:")
labels = dataset.labels
if labels:
    for label, value in labels.items():
        print("\t{}: {}".format(label, value))
else:
    print("\tDataset has no labels defined.")

# View tables in dataset.
print("Tables:")
tables = list(client.list_tables(dataset))  # Make an API request(s).
if tables:
    for table in tables:
        print("\t{}".format(table.table_id))
else:
    print("\tThis dataset does not contain any tables.")

Dataset-Name prüfen

Die folgenden Beispiele zeigen, wie Sie prüfen können, ob ein Dataset vorhanden ist:

Java

Auf GitHub ansehen Feedback

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import com.google.cloud.bigquery.DatasetId;

// Sample to check dataset exist
public class DatasetExists {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    datasetExists(datasetName);
  }

  public static void datasetExists(String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Dataset dataset = bigquery.getDataset(DatasetId.of(datasetName));
      if (dataset != null) {
        System.out.println("Dataset already exists.");
      } else {
        System.out.println("Dataset not found.");
      }
    } catch (BigQueryException e) {
      System.out.println("Something went wrong. \n" + e.toString());
    }
  }
}

Python

Bevor Sie dieses Beispiel ausprobieren, folgen Sie der Python-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.

Auf GitHub ansehen Feedback

from google.cloud import bigquery
from google.cloud.exceptions import NotFound

client = bigquery.Client()

# TODO(developer): Set dataset_id to the ID of the dataset to determine existence.
# dataset_id = "your-project.your_dataset"

try:
    client.get_dataset(dataset_id)  # Make an API request.
    print("Dataset {} already exists".format(dataset_id))
except NotFound:
    print("Dataset {} is not found".format(dataset_id))

Nächste Schritte

Datasets erstellen
Weitere Informationen zum Zuweisen von Zugriffssteuerungen für Datasets finden Sie unter Zugriff auf Datasets steuern.
Weitere Informationen zum Ändern von Dataset-Attributen finden Sie unter Dataset-Attribute aktualisieren.
Mehr zum Erstellen und Verwalten von Labels erfahren Sie unter Labels erstellen und verwalten.
Übersicht über INFORMATION_SCHEMA unter Einführung in BigQuery INFORMATION_SCHEMA lesen.