Gestione dei set di dati

Questo documento descrive come copiare i set di dati, ricrearli in un'altra posizione, proteggere i set di dati, eliminarli, ripristinare le tabelle da set di dati eliminati e annullare l'eliminazione di set di dati in BigQuery.

In qualità di amministratore di BigQuery, puoi organizzare e controllare l'accesso alle tabelle e alle viste utilizzate dagli analisti. Per ulteriori informazioni sui set di dati, consulta Introduzione ai set di dati.

Non puoi modificare il nome di un set di dati esistente o riposizionare un set di dati dopo averlo creato. Come soluzione alternativa per modificare il nome del set di dati, puoi copiare un set di dati e modificare il nome del set di dati di destinazione. Per riposizionare un set di dati, puoi seguire uno dei seguenti metodi:

Ricrea un set di dati in un'altra località.
Crea una copia del set di dati.

Ruoli obbligatori

Questa sezione descrive i ruoli e le autorizzazioni necessarie per gestire i set di dati. Se il set di dati di origine o di destinazione si trova nello stesso progetto di quello che utilizzi per la copia, non hai bisogno di autorizzazioni o ruoli aggiuntivi per il set di dati.

Per ottenere le autorizzazioni necessarie per gestire i set di dati, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Copia un set di dati (beta):
- Amministratore BigQuery (roles/bigquery.admin) sul progetto di destinazione
- Visualizzatore dati BigQuery (roles/bigquery.dataViewer) sul set di dati di origine
- Editor dati BigQuery (roles/bigquery.dataEditor) sul set di dati di destinazione
Elimina un set di dati: Proprietario dati BigQuery (roles/bigquery.dataOwner) sul progetto
Ripristina un set di dati eliminato: Utente BigQuery (roles/bigquery.user) sul progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per gestire i set di dati. Per visualizzare le autorizzazioni esatte necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per gestire i set di dati sono necessarie le seguenti autorizzazioni:

Copia un set di dati:
- bigquery.transfers.update sul progetto di destinazione
- bigquery.jobs.create sul progetto di destinazione
- bigquery.datasets.get sul set di dati di origine e di destinazione
- bigquery.tables.list sul set di dati di origine e di destinazione
- bigquery.datasets.update sul set di dati di destinazione
- bigquery.tables.create sul set di dati di destinazione
Elimina un set di dati:
- bigquery.datasets.delete sul progetto
- bigquery.tables.delete sul progetto
Ripristina un set di dati eliminato:
- bigquery.datasets.create sul progetto
- bigquery.datasets.get sul set di dati

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni sui ruoli e sulle autorizzazioni IAM in BigQuery, consulta Introduzione a IAM.

Copia set di dati

Puoi copiare un set di dati, inclusi i dati partizionati all'interno di una o più regioni, senza estrarre, spostare o ricaricare i dati in BigQuery. BigQuery utilizza BigQuery Data Transfer Service nel backend per copiare i set di dati. Per considerazioni sulle località quando trasferisci i dati, consulta Località dei dati e trasferimenti.

Per ogni configurazione di copia del set di dati, è possibile attivare un'esecuzione di trasferimento alla volta. Altre esecuzioni di trasferimento sono in coda. Se utilizzi la console Google Cloud, puoi pianificare copie ricorrenti e configurare notifiche email o Pub/Sub con BigQuery Data Transfer Service.

Limitazioni

Quando copi un set di dati, si applicano le seguenti limitazioni:

Non puoi copiare le seguenti risorse da un set di dati di origine:
- Visualizzazioni.
- Routine, incluse le funzioni definite dall'utente.
- Tabelle esterne.
- Tabelle Change Data Capture (CDC) se il job di copia riguarda più regioni. È supportata la copia delle tabelle CDC all'interno della stessa regione.
- Tabelle criptate con chiavi con crittografia gestite dal cliente (CMEK) se il job di copia è in più regioni. È supportata la copia delle tabelle con crittografia predefinita in tutte le regioni.
  
  Puoi copiare tutte le tabelle criptate all'interno della stessa regione, incluse le tabelle criptate con CMEK.
Non puoi utilizzare le seguenti risorse come set di dati di destinazione per i job di copia:
- Spazio di archiviazione ottimizzato per la scrittura.
- Set di dati criptati con CMEK se il job di copia si trova in più regioni.
  
  Tuttavia, le tabelle criptate con CMEK sono consentite come tabelle di destinazione durante la copia nella stessa regione.
La frequenza minima tra i job di copia è 12 ore.
L'aggiunta di dati a una tabella partizionata nel set di dati di destinazione non è supportata.
Se esiste una tabella nel set di dati di origine e nel set di dati di destinazione e la tabella di origine non è cambiata dall'ultima copia riuscita, viene ignorata. La tabella di origine viene ignorata anche se è selezionata la casella di controllo Sovrascrivi le tabelle di destinazione.
Quando tronca le tabelle nel set di dati di destinazione, il job di copia del set di dati non rileva alcuna modifica apportata alle risorse nel set di dati di destinazione prima di iniziare il job di copia. Il job di copia del set di dati sovrascrive tutti i dati nel set di dati di destinazione, comprese le tabelle e lo schema.
La tabella di destinazione potrebbe non riflettere le modifiche apportate alle tabelle di origine dopo l'avvio di un job di copia.
La copia di un set di dati non è supportata nelle regioni di BigQuery Omni.
Per copiare un set di dati in un progetto in un altro perimetro di servizio Controlli di servizio VPC, devi impostare le seguenti regole in uscita:
- Nella configurazione del perimetro di servizio dei Controlli di servizio VPC del progetto di destinazione, l'entità IAM deve avere i seguenti metodi:
  - bigquery.datasets.get
  - bigquery.tables.list
  - bigquery.tables.get,
  - bigquery.tables.getData
- Nella configurazione del perimetro di servizio dei Controlli di servizio VPC del progetto di origine, il metodo dell'entità IAM utilizzata deve essere impostato su All Methods.

Copiare un set di dati

Seleziona una delle seguenti opzioni:

Console

Abilita BigQuery Data Transfer Service per il set di dati di destinazione.

Abilitare l'API BigQuery Data Transfer Service
Assicurati di disporre dei ruoli richiesti.

Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub (Opzione 2 più avanti in questi passaggi), devi disporre dell'autorizzazione pubsub.topics.setIamPolicy.

Se configuri solo le notifiche email, le autorizzazioni Pub/Sub non sono necessarie. Per ulteriori informazioni, vedi Eseguire notifiche di BigQuery Data Transfer Service.
Crea un set di dati BigQuery nella stessa regione o in una diversa dal set di dati di origine.

Opzione 1: utilizza la funzione di copia di BigQuery

Per creare un trasferimento una tantum, utilizza la funzione di copia di BigQuery:

Vai alla pagina BigQuery.

Vai a BigQuery
Nel riquadro Spazio di esplorazione, espandi il progetto e seleziona un set di dati.
Nella sezione Informazioni sul set di dati, fai clic su Copia, poi attieniti alla procedura seguente:
1. Nel campo Set di dati, crea un nuovo set di dati o seleziona un ID del set di dati esistente dall'elenco.
  
  I nomi dei set di dati all'interno di un progetto devono essere univoci. Il progetto e il set di dati possono trovarsi in regioni diverse, ma non tutte le regioni sono supportate per la copia del set di dati tra regioni.
  
  Nel campo Posizione, viene visualizzata la posizione del set di dati di origine.
2. (Facoltativo) Per sovrascrivere sia i dati sia lo schema delle tabelle di destinazione con le tabelle di origine, seleziona la casella di controllo Sovrascrivi le tabelle di destinazione. Entrambe le tabelle di origine e di destinazione devono avere lo stesso schema di partizionamento.
3. Per copiare il set di dati, fai clic su Copia.

Opzione 2: utilizza BigQuery Data Transfer Service

Per pianificare copie ricorrenti e configurare notifiche email o Pub/Sub, utilizza BigQuery Data Transfer Service nella console Google Cloud:

Vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Fai clic su Crea un trasferimento.
Nell'elenco Origine, seleziona Copia set di dati.
Nel campo Nome visualizzato, inserisci un nome per l'esecuzione del trasferimento.
Nella sezione Opzioni di pianificazione, procedi nel seguente modo:
1. Per Frequenza di ripetizione, scegli un'opzione per la frequenza di esecuzione del trasferimento:
  
  Se selezioni Personalizzata, inserisci una frequenza personalizzata, ad esempio every day 00:00. Per ulteriori informazioni, vedi Formattazione della pianificazione.
  
  Nota: la frequenza minima tra i job di copia è 12 ore.
2. In Data di inizio e ora di esecuzione, inserisci la data e l'ora di inizio del trasferimento. Se scegli Inizia ora, questa opzione viene disattivata.
Nella sezione Impostazioni destinazione, seleziona un set di dati di destinazione per archiviare i dati di trasferimento. Puoi anche fare clic su CREA NUOVO SET DI DATI per creare un nuovo set di dati prima di selezionarlo per questo trasferimento.
Nella sezione Dettagli origine dati, inserisci le seguenti informazioni:
1. In Set di dati di origine, inserisci l'ID del set di dati che vuoi copiare.
2. In Progetto di origine, inserisci l'ID del set di dati di origine.
Per sovrascrivere i dati e lo schema delle tabelle di destinazione con le tabelle di origine, seleziona la casella di controllo Sovrascrivi le tabelle di destinazione. Le tabelle di origine e di destinazione devono avere lo stesso schema di partizionamento.
Nel menu Account di servizio, seleziona un account di servizio tra quelli associati al tuo progetto Google Cloud. Puoi associare un account di servizio al trasferimento, anziché utilizzare le tue credenziali utente. Per ulteriori informazioni sull'utilizzo degli account di servizio con trasferimenti di dati, consulta Utilizzare gli account di servizio.
- Se hai eseguito l'accesso con un'identità federata, è necessario un account di servizio per creare un trasferimento. Se hai eseguito l'accesso con un Account Google, un account di servizio per il trasferimento è facoltativo.
- L'account di servizio deve avere i ruoli richiesti.
(Facoltativo) Nella sezione Opzioni di notifica, segui questi passaggi:
- Per attivare le notifiche via email, fai clic sul pulsante di attivazione/disattivazione. Se abiliti questa opzione, il proprietario della configurazione di trasferimento riceve una notifica via email se un trasferimento non va a buon fine.
- Per abilitare le notifiche Pub/Sub, fai clic sul pulsante di attivazione/disattivazione, quindi seleziona il nome di un argomento dall'elenco o fai clic su Crea un argomento. Questa opzione configura le notifiche dell'esecuzione di Pub/Sub per il trasferimento.
Fai clic su Salva.

bq

Abilita BigQuery Data Transfer Service per il set di dati di destinazione.
Assicurati di disporre dei ruoli richiesti.
Per creare un set di dati BigQuery, utilizza il comando bq mk con il flag di creazione del set di dati --dataset e il flag location:
```
bq mk \
  --dataset \
  --location=LOCATION \
  PROJECT:DATASET
```
Sostituisci quanto segue:
- LOCATION: la posizione in cui vuoi copiare il set di dati
- PROJECT: l'ID progetto del set di dati di destinazione
- DATASET: il nome del set di dati di destinazione
Per copiare un set di dati, utilizza il comando bq mk con il flag di creazione del trasferimento --transfer_config e il flag --data_source. Devi impostare il flag --data_source su cross_region_copy. Per un elenco completo dei valori validi per il flag --data_source, consulta i flag di trasferimento-config nel riferimento dello strumento a riga di comando bq.
```
bq mk \
  --transfer_config \
  --project_id=PROJECT \
  --data_source=cross_region_copy \
  --target_dataset=DATASET \
  --display_name=NAME \
 --service_account_name=SERCICE_ACCOUNT \
  --params='PARAMETERS'
```
Sostituisci quanto segue:
- NAME: il nome visualizzato per il job di copia o la configurazione di trasferimento
- SERVICE_ACCOUNT: il nome dell'account di servizio utilizzato per autenticare il trasferimento. L'account di servizio deve essere di proprietà dello stesso project_id utilizzato per creare il trasferimento e deve disporre di tutte le autorizzazioni richieste.
- PARAMETERS: i parametri per la configurazione di trasferimento in formato JSON
  
  Di seguito sono riportati alcuni parametri per la configurazione della copia di un set di dati:
  - source_dataset_id: l'ID del set di dati di origine che vuoi copiare
  - source_project_id: l'ID del progetto in cui si trova il set di dati di origine
  - overwrite_destination_table: un flag facoltativo che consente di troncare le tabelle di una copia precedente e aggiornare
  Entrambe le tabelle di origine e di destinazione devono avere lo stesso schema di partizionamento.
I seguenti esempi mostrano la formattazione dei parametri in base all'ambiente del sistema:
- Linux: usa le virgolette singole per racchiudere la stringa JSON, ad esempio:
```
'{"source_dataset_id":"mydataset","source_project_id":"mysourceproject","overwrite_destination_table":"true"}'
```
- Riga di comando di Windows: utilizza le virgolette doppie per racchiudere la stringa JSON e le virgolette doppie nella stringa con una barra rovesciata, ad esempio:
```
"{\"source_dataset_id\":\"mydataset\",\"source_project_id\":\"mysourceproject\",\"overwrite_destination_table\":\"true\"}"
```
- PowerShell: utilizza le virgolette singole per racchiudere la stringa JSON e le virgolette doppie nella stringa con una barra rovesciata, ad esempio:
```
'{\"source_dataset_id\":\"mydataset\",\"source_project_id\":\"mysourceproject\",\"overwrite_destination_table\":\"true\"}'
```
Ad esempio, il seguente comando crea una configurazione di copia del set di dati denominata My Transfer con un set di dati di destinazione denominato mydataset e un progetto con ID myproject.
```
bq mk \
  --transfer_config \
  --project_id=myproject \
  --data_source=cross_region_copy \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{
      "source_dataset_id":"123_demo_eu",
      "source_project_id":"mysourceproject",
      "overwrite_destination_table":"true"
      }'
```

API

Abilita BigQuery Data Transfer Service per il set di dati di destinazione.
Assicurati di disporre dei ruoli richiesti.
Per creare un set di dati BigQuery, chiama il metodo datasets.insert con una risorsa del set di dati definita.
Per copiare un set di dati, utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Java

Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to copy dataset from another gcp project
public class CopyDataset {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String destinationProjectId = "MY_DESTINATION_PROJECT_ID";
    final String destinationDatasetId = "MY_DESTINATION_DATASET_ID";
    final String sourceProjectId = "MY_SOURCE_PROJECT_ID";
    final String sourceDatasetId = "MY_SOURCE_DATASET_ID";
    Map<String, Value> params = new HashMap<>();
    params.put("source_project_id", Value.newBuilder().setStringValue(sourceProjectId).build());
    params.put("source_dataset_id", Value.newBuilder().setStringValue(sourceDatasetId).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(destinationDatasetId)
            .setDisplayName("Your Dataset Copy Name")
            .setDataSourceId("cross_region_copy")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .setSchedule("every 24 hours")
            .build();
    copyDataset(destinationProjectId, transferConfig);
  }

  public static void copyDataset(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = dataTransferServiceClient.createTransferConfig(request);
      System.out.println("Copy dataset created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Copy dataset was not created." + ex.toString());
    }
  }
}

Python

Prima di provare questo esempio, segui le istruzioni di configurazione di Python disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Python.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.

from google.cloud import bigquery_datatransfer

transfer_client = bigquery_datatransfer.DataTransferServiceClient()

destination_project_id = "my-destination-project"
destination_dataset_id = "my_destination_dataset"
source_project_id = "my-source-project"
source_dataset_id = "my_source_dataset"
transfer_config = bigquery_datatransfer.TransferConfig(
    destination_dataset_id=destination_dataset_id,
    display_name="Your Dataset Copy Name",
    data_source_id="cross_region_copy",
    params={
        "source_project_id": source_project_id,
        "source_dataset_id": source_dataset_id,
    },
    schedule="every 24 hours",
)
transfer_config = transfer_client.create_transfer_config(
    parent=transfer_client.common_project_path(destination_project_id),
    transfer_config=transfer_config,
)
print(f"Created transfer config: {transfer_config.name}")

Per evitare costi di archiviazione aggiuntivi, valuta la possibilità di eliminare il set di dati precedente.

Visualizza job di copia del set di dati

Per vedere lo stato e visualizzare i dettagli di un job di copia del set di dati nella console Google Cloud, segui questi passaggi:

Nella console Google Cloud, vai alla pagina Trasferimenti di dati.

Vai a Trasferimenti di dati
Seleziona un trasferimento di cui vuoi visualizzare i dettagli del trasferimento, quindi segui questi passaggi:
1. Nella pagina Dettagli trasferimento, seleziona un'esecuzione del trasferimento.
2. Per aggiornare, fai clic su Aggiorna.

Ricrea i set di dati in un'altra località

Per spostare manualmente un set di dati da una posizione a un'altra:

Esporta i dati dalle tabelle BigQuery in un bucket Cloud Storage nella stessa località del set di dati o in una posizione all'interno di quella del set di dati. Ad esempio, se il tuo set di dati si trova nella località a più regioni EU, potresti esportare i dati nella località europe-west1 in Belgio, che fa parte dell'UE.

L'esportazione dei dati da BigQuery è gratuita, mentre l'archiviazione dei dati esportati in Cloud Storage comporta un addebito di costi. Le esportazioni BigQuery sono soggette ai limiti dei job di esportazione.
Copia o sposta i dati dal bucket Cloud Storage di esportazione in un nuovo bucket che hai creato nella località di destinazione. Ad esempio, se stai spostando i dati dalla regione multiregionale US alla regione di Tokyo asia-northeast1, trasferirai i dati in un bucket creato a Tokyo. Per informazioni sul trasferimento degli oggetti Cloud Storage, consulta Copiare, rinominare e spostare oggetti nella documentazione di Cloud Storage.

Il trasferimento di dati tra regioni comporta addebiti per il traffico di rete in uscita in Cloud Storage.
Crea un nuovo set di dati BigQuery nella nuova località, quindi carica i dati del bucket Cloud Storage nel nuovo set di dati.

Non viene addebitato alcun costo per il caricamento dei dati in BigQuery, ma sono previsti costi per l'archiviazione dei dati in Cloud Storage fino a quando non elimini i dati o il bucket. Ti vengono addebitati anche i costi per l'archiviazione dei dati in BigQuery dopo il caricamento. Il caricamento di dati in BigQuery è soggetto ai limiti dei job di caricamento.

Puoi anche utilizzare Cloud Composer per spostare e copiare set di dati di grandi dimensioni in modo programmatico.

Per maggiori informazioni sull'utilizzo di Cloud Storage per archiviare e spostare set di dati di grandi dimensioni, consulta Utilizzare Cloud Storage con i big data.

Proteggi i set di dati

Per controllare l'accesso ai set di dati in BigQuery, consulta Controllo dell'accesso ai set di dati. Per informazioni sulla crittografia dei dati, vedi Crittografia at-rest.

Eliminazione set di dati

Quando elimini un set di dati utilizzando la console Google Cloud, le tabelle e le viste nel set di dati, inclusi i relativi dati, vengono eliminate. Quando elimini un set di dati utilizzando lo strumento a riga di comando bq, devi utilizzare il flag -r per eliminare le tabelle e le viste.

Per eliminare un set di dati, seleziona una delle seguenti opzioni:

Console

Vai alla pagina BigQuery.

Vai a BigQuery
Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.
Espandi l'opzione Azioni e fai clic su Elimina.
Nella finestra di dialogo Elimina set di dati, digita delete nel campo, quindi fai clic su Elimina.

SQL

Per eliminare un set di dati, utilizza l'istruzione DDL DROP SCHEMA.

L'esempio seguente elimina un set di dati denominato mydataset:

Nella console Google Cloud, vai alla pagina BigQuery.

Vai a BigQuery
Nell'Editor query, inserisci la seguente istruzione:
```
DROP SCHEMA IF EXISTS mydataset;
```
Per impostazione predefinita, questa operazione consente di eliminare solo un set di dati vuoto. Per eliminare un set di dati e i relativi contenuti, utilizza la parola chiave CASCADE:
```
DROP SCHEMA IF EXISTS mydataset CASCADE;
```
Fai clic su Esegui.

Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.

bq

Utilizza il comando bq rm con il flag --dataset o -d, che è facoltativo. Se il set di dati contiene tabelle, devi utilizzare il flag -r per rimuovere tutte le tabelle nel set di dati. Se usi il flag -r, puoi omettere il flag --dataset o -d.

Dopo aver eseguito il comando, il sistema chiede la conferma. Puoi utilizzare il flag -f per saltare la conferma.

Se stai eliminando una tabella in un progetto diverso da quello predefinito, aggiungi l'ID progetto al nome del set di dati nel seguente formato: PROJECT_ID:DATASET.

bq rm -r -f -d PROJECT_ID:DATASET

Sostituisci quanto segue:

PROJECT_ID: il tuo ID progetto
DATASET: il nome del set di dati che stai eliminando

Esempi:

Inserisci il comando seguente per rimuovere un set di dati denominato mydataset e tutte le tabelle al suo interno dal tuo progetto predefinito. Il comando utilizza il flag -d.

bq rm -r -d mydataset

Quando richiesto, digita y e premi Invio.

Inserisci il seguente comando per rimuovere mydataset e tutte le tabelle al suo interno da myotherproject. Il comando non utilizza il flag facoltativo -d. Il flag -f viene utilizzato per saltare la conferma.

bq rm -r -f myotherproject:mydataset

Puoi usare il comando bq ls per confermare che il set di dati è stato eliminato.

API

Chiama il metodo datasets.delete per eliminare il set di dati e imposta il parametro deleteContents su true per eliminare le tabelle al suo interno.

C#

Il seguente esempio di codice elimina un set di dati vuoto.

Prima di provare questo esempio, segui le istruzioni di configurazione di C# disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery C#.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.


using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryDeleteDataset
{
    public void DeleteDataset(
        string projectId = "your-project-id",
        string datasetId = "your_empty_dataset"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Delete a dataset that does not contain any tables
        client.DeleteDataset(datasetId: datasetId);
        Console.WriteLine($"Dataset {datasetId} deleted.");
    }
}

Il seguente esempio di codice elimina un set di dati e tutti i relativi contenuti:

// Copyright(c) 2018 Google LLC
//
// Licensed under the Apache License, Version 2.0 (the "License"); you may not
// use this file except in compliance with the License. You may obtain a copy of
// the License at
//
// http://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
// WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
// License for the specific language governing permissions and limitations under
// the License.
//

using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryDeleteDatasetAndContents
{
    public void DeleteDatasetAndContents(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_with_tables"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        // Use the DeleteDatasetOptions to delete a dataset and its contents
        client.DeleteDataset(
            datasetId: datasetId,
            options: new DeleteDatasetOptions() { DeleteContents = true }
        );
        Console.WriteLine($"Dataset {datasetId} and contents deleted.");
    }
}

Go

Prima di provare questo esempio, segui le istruzioni di configurazione di Go disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Go.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// deleteDataset demonstrates the deletion of an empty dataset.
func deleteDataset(projectID, datasetID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	// To recursively delete a dataset and contents, use DeleteWithContents.
	if err := client.Dataset(datasetID).Delete(ctx); err != nil {
		return fmt.Errorf("Delete: %v", err)
	}
	return nil
}

Java

Il seguente esempio di codice elimina un set di dati vuoto.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQuery.DatasetDeleteOption;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.DatasetId;

public class DeleteDataset {

  public static void runDeleteDataset() {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String datasetName = "MY_DATASET_NAME";
    deleteDataset(projectId, datasetName);
  }

  public static void deleteDataset(String projectId, String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      DatasetId datasetId = DatasetId.of(projectId, datasetName);
      boolean success = bigquery.delete(datasetId, DatasetDeleteOption.deleteContents());
      if (success) {
        System.out.println("Dataset deleted successfully");
      } else {
        System.out.println("Dataset was not found");
      }
    } catch (BigQueryException e) {
      System.out.println("Dataset was not deleted. \n" + e.toString());
    }
  }
}

Il seguente esempio di codice elimina un set di dati e tutti i relativi contenuti:

/*
 * Copyright 2020 Google LLC
 *
 * Licensed under the Apache License, Version 2.0 (the "License");
 * you may not use this file except in compliance with the License.
 * You may obtain a copy of the License at
 *
 * http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package com.example.bigquery;

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.DatasetId;

// Sample to delete dataset with contents.
public class DeleteDatasetAndContents {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "MY_PROJECT_ID";
    String datasetName = "MY_DATASET_NAME";
    deleteDatasetAndContents(projectId, datasetName);
  }

  public static void deleteDatasetAndContents(String projectId, String datasetName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      DatasetId datasetId = DatasetId.of(projectId, datasetName);
      // Use the force parameter to delete a dataset and its contents
      boolean success = bigquery.delete(datasetId, BigQuery.DatasetDeleteOption.deleteContents());
      if (success) {
        System.out.println("Dataset deleted with contents successfully");
      } else {
        System.out.println("Dataset was not found");
      }
    } catch (BigQueryException e) {
      System.out.println("Dataset was not deleted with contents. \n" + e.toString());
    }
  }
}

Node.js

Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Node.js.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function deleteDataset() {
  // Deletes a dataset named "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset';

  // Create a reference to the existing dataset
  const dataset = bigquery.dataset(datasetId);

  // Delete the dataset and its contents
  await dataset.delete({force: true});
  console.log(`Dataset ${dataset.id} deleted.`);
}

PHP

Prima di provare questo esempio, segui le istruzioni di configurazione di PHP disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery PHP.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$table = $dataset->delete();
printf('Deleted dataset %s' . PHP_EOL, $datasetId);

Python

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.


from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set model_id to the ID of the model to fetch.
# dataset_id = 'your-project.your_dataset'

# Use the delete_contents parameter to delete a dataset and its contents.
# Use the not_found_ok parameter to not receive an error if the dataset has already been deleted.
client.delete_dataset(
    dataset_id, delete_contents=True, not_found_ok=True
)  # Make an API request.

print("Deleted dataset '{}'.".format(dataset_id))

Ruby

Il seguente esempio di codice elimina un set di dati vuoto.

Prima di provare questo esempio, segui le istruzioni di configurazione di Ruby disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Ruby.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Installa il client Python per l'API BigQuery Data Transfer con pip install google-cloud-bigquery-datatransfer. Quindi crea una configurazione di trasferimento per copiare il set di dati.

require "google/cloud/bigquery"

def delete_dataset dataset_id = "my_empty_dataset"
  bigquery = Google::Cloud::Bigquery.new

  # Delete a dataset that does not contain any tables
  dataset = bigquery.dataset dataset_id
  dataset.delete
  puts "Dataset #{dataset_id} deleted."
end

Il seguente esempio di codice elimina un set di dati e tutti i relativi contenuti:

# Copyright 2020 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
require "google/cloud/bigquery"

def delete_dataset_and_contents dataset_id = "my_dataset_with_tables"
  bigquery = Google::Cloud::Bigquery.new

  # Use the force parameter to delete a dataset and its contents
  dataset = bigquery.dataset dataset_id
  dataset.delete force: true
  puts "Dataset #{dataset_id} and contents deleted."
end

Ripristina tabelle da set di dati eliminati

Puoi ripristinare le tabelle da un set di dati eliminato che si trovano all'interno della finestra di spostamento cronologico del set di dati. Per ripristinare l'intero set di dati, vedi Annullare l'eliminazione dei set di dati.

Crea un set di dati con lo stesso nome e nella stessa posizione dell'originale.
Scegli un timestamp precedente all'eliminazione del set di dati originale utilizzando un formato in millisecondi dall'epoca, ad esempio 1418864998000.
Copia la tabella originaldataset.table1 nel momento 1418864998000 nel nuovo set di dati:
```
bq cp originaldataset.table1@1418864998000 mydataset.mytable
```

Annulla eliminazione set di dati

Puoi annullare l'eliminazione di un set di dati per ripristinarlo allo stato in cui si trovava al momento dell'eliminazione. Puoi annullare l'eliminazione solo dei set di dati che rientrano nella tua finestra di spostamento cronologico. Questo recupero include tutti gli oggetti contenuti nel set di dati, le proprietà del set di dati e le impostazioni di sicurezza. Per le risorse non recuperate, consulta Annullare l'eliminazione delle limitazioni del set di dati.

Annulla eliminazione limitazioni del set di dati

I set di dati ripristinati potrebbero fare riferimento a entità di sicurezza che non esistono più.
I riferimenti a un set di dati eliminato nei set di dati collegati non vengono ripristinati tramite l'annullamento dell'eliminazione. Gli iscritti devono iscriversi di nuovo per ripristinare manualmente i link.
L'annullamento dell'eliminazione non consente di ripristinare i tag aziendali.
Devi aggiornare manualmente le viste materializzate e autorizzare di nuovo le viste autorizzate, i set di dati autorizzati e le routine autorizzate. Tieni presente che, quando le risorse autorizzate (viste, set di dati e routine) vengono eliminate, possono trascorrere fino a 24 ore prima che l'autorizzazione venga eliminata. Di conseguenza, se annulli l'eliminazione di un set di dati con una risorsa autorizzata meno di 24 ore dopo l'eliminazione, è possibile che non sia necessaria una nuova autorizzazione. Come best practice, verifica sempre l'autorizzazione dopo aver annullato l'eliminazione delle risorse.

Annullare l'eliminazione di un set di dati

Per annullare l'eliminazione di un set di dati, seleziona una delle seguenti opzioni:

SQL

Utilizza l'istruzione UNDROP SCHEMA Data Definition Language (DDL):

Nella console Google Cloud, vai alla pagina BigQuery.

Vai a BigQuery
Nell'Editor query, inserisci la seguente istruzione:
```
UNDROP SCHEMA DATASET_ID;
```
Sostituisci DATASET_ID con il set di dati di cui vuoi annullare l'eliminazione.
Specifica la posizione del set di dati di cui vuoi annullare l'eliminazione.
Fai clic su Esegui.

Per saperne di più su come eseguire le query, consulta Esecuzione di query interattive.

API

Chiama il metodo datasets.undelete.

Quando annulli l'eliminazione di un set di dati, potrebbero verificarsi i seguenti errori:

ALREADY_EXISTS: esiste già un set di dati con lo stesso nome nella regione in cui hai provato a annullare l'eliminazione. Non puoi utilizzare l'annullamento dell'eliminazione per sovrascrivere o unire i set di dati.
NOT_FOUND: il set di dati che stai cercando di recuperare ha superato la finestra di spostamento cronologico o non è mai esistito.
ACCESS_DENIED: non hai le autorizzazioni corrette per annullare l'eliminazione di questo set di dati.

Quote

Per informazioni sulle quote di copia, vedi Copia di job. L'utilizzo per i job di copia è disponibile in INFORMATION_SCHEMA. Per scoprire come eseguire una query sulla vista INFORMATION_SCHEMA.JOBS, consulta Utilizzare i job di copia.

Prezzi

Gli addebiti per il traffico in uscita dai dati per i dati copiati tra regioni o regioni multiple sono fatturati alle stesse tariffe dei prezzi per l'estrazione dei dati.

BigQuery invia dati compressi da copiare tra regioni diverse, in modo che i dati fatturati possano essere inferiori alle dimensioni effettive del set di dati. Per saperne di più, consulta la pagina relativa ai prezzi di BigQuery.

Passaggi successivi

Scopri come creare set di dati.
Scopri come aggiornare i set di dati.