Crea tabelle BigLake di Archiviazione blob

Questo documento descrive come creare un BigLake di archiviazione BLOB di Azure tabella. Una tabella BigLake consente di utilizzare la delega dell'accesso per eseguire query sui dati in Blob Storage. La delega dell'accesso scinde l'accesso alla tabella BigLake dall'accesso allo store di dati sottostante.

Per informazioni su come i dati fluiscono tra BigQuery e Blob Storage, consulta Flusso di dati durante l'esecuzione di query sui dati.

Prima di iniziare

Assicurati di avere una connessione per accedere ai dati nello spazio di archiviazione BLOB.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare una tabella esterna, chiedi all'amministratore di concederti Ruolo IAM Amministratore BigQuery (roles/bigquery.admin) per il tuo set di dati. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare una tabella esterna. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per creare una tabella esterna, sono necessarie le seguenti autorizzazioni:

  • bigquery.tables.create
  • bigquery.connections.delegate

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea un set di dati

Prima di creare una tabella esterna, devi creare un set di dati nella regione supportata. Seleziona una di le seguenti opzioni:

Console

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, seleziona il progetto in cui vuoi creare il set di dati.
  3. Espandi Visualizza azioni e fai clic su Crea set di dati.
  4. Nella pagina Crea set di dati, specifica i seguenti dettagli:
    1. In ID set di dati, inserisci un nome univoco per il set di dati.
    2. Per Località dei dati, scegli una regione supportata.
    3. (Facoltativo) Per eliminare automaticamente le tabelle, seleziona la casella di controllo Abilita scadenza della tabella e imposta la Durata massima predefinita della tabella in giorni. I dati in Azure non vengono eliminati alla scadenza della tabella.
    4. Se vuoi utilizzare le regole di confronto predefinite, Espandi la sezione Opzioni avanzate, quindi seleziona l'opzione Attiva le regole di confronto predefinite.
    5. Fai clic su Crea set di dati.

SQL

Utilizza l'istruzione DDL CREATE SCHEMA. L'esempio seguente crea un set di dati nella regione azure-eastus2:

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor query, inserisci la seguente istruzione:

    CREATE SCHEMA mydataset
OPTIONS (
  location = 'azure-eastus2');

  3. Fai clic su Esegui.

Per ulteriori informazioni su come eseguire query, consulta Eseguire una query interattiva.

bq

In un ambiente a riga di comando, crea un set di dati utilizzando bq mk comando:

bq --location=LOCATION mk \
    --dataset \
PROJECT_ID:DATASET_NAME

Il parametro --project_id sostituisce il progetto predefinito.

Sostituisci quanto segue:

  • LOCATION: la posizione del set di dati

    Per informazioni sulle regioni supportate, consulta Località. Dopo aver creato un set di dati, non puoi modificarne la posizione. Puoi impostare un valore predefinito per la località utilizzando File .bigqueryrc.

  • PROJECT_ID: il tuo ID progetto

  • DATASET_NAME: il nome del set di dati che vuoi creare

    Per creare un set di dati in un progetto diverso da quello predefinito, aggiungi l'ID progetto al nome del set di dati nel seguente formato: PROJECT_ID:DATASET_NAME.

Crea tabelle BigLake su dati non partizionati

Seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.

  3. Nella sezione Informazioni sul set di dati, fai clic su Crea tabella.

  4. Nella sezione Origine della pagina Crea tabella:

    1. In Crea tabella da, seleziona Archiviazione BLOB di Azure.

    2. In Seleziona percorso di archiviazione BLOB di Azure, inserisci un percorso di archiviazione BLOB di Azure utilizzando il seguente formato: azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH

      Sostituisci quanto segue:

      • AZURE_STORAGE_ACCOUNT_NAME: il nome dell'account Archiviazione blob. La regione dell'account deve essere la stessa come regione del set di dati.
      • CONTAINER_NAME: il nome dello spazio di archiviazione BLOB containerizzato.
      • FILE_PATH: il percorso dei dati che punta a i dati di Archiviazione BLOB. Ad esempio, per un singolo file CSV, FILE_PATH può essere myfile.csv.

    3. Per Formato file, seleziona il formato dei dati in Azure. I formati supportati sono AVRO, CSV, DELTA_LAKE, ICEBERG, JSONL, ORC e PARQUET.

  5. Nella sezione Destinazione:

    1. In Set di dati, scegli il set di dati appropriato.
    2. Nel campo Tabella, inserisci il nome della tabella.
    3. Verifica che l'opzione Tipo di tabella sia impostata su Tabella esterna.
    4. Per ID connessione, scegli l'ID connessione appropriato dal menu a discesa. Per informazioni sulle connessioni, vedi Connettersi a Archiviazione BLOB.

  6. Nella sezione Schema, puoi attivare il rilevamento automatico dello schema o specificare manualmente uno schema se disponi di un file di origine. Se non hai un file di origine, devi specificare manualmente uno schema.

    • Per attivare il rilevamento automatico dello schema, seleziona l'opzione Rilevamento automatico.

    • Per specificare manualmente uno schema, lascia l'opzione Rilevamento automatico deselezionata. Attiva Modifica come testo e inserisci lo schema della tabella come Array JSON.

  7. Fai clic su Crea tabella.

SQL

Per creare una tabella BigLake, utilizza l'istruzione CREATE EXTERNAL TABLE con la clausola WITH CONNECTION:

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor di query, inserisci la seguente istruzione:

    CREATE EXTERNAL TABLE DATASET_NAME.TABLE_NAME
WITH CONNECTION `AZURE_LOCATION.CONNECTION_NAME`
  OPTIONS (
    format = 'DATA_FORMAT',
    uris = ['azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH']);

    Sostituisci quanto segue:

    • DATASET_NAME: il nome del set di dati che hai creato
    • TABLE_NAME: il nome che vuoi assegnare a questa tabella
    • AZURE_LOCATION: una località Azure in Google Cloud, ad esempio azure-eastus2
    • CONNECTION_NAME: il nome della connessione che creato
    • DATA_FORMAT: uno dei formati federati BigQuery supportati, come AVRO, CSV, DELTA_LAKE o ICEBERG (anteprima)
    • AZURE_STORAGE_ACCOUNT_NAME: il nome dell'account Archiviazione blob
    • CONTAINER_NAME: il nome del contenitore di Archiviazione blob
    • FILE_PATH: il percorso dei dati che punta allo Dati Archiviazione BLOB

  3. Fai clic su Esegui.

Per ulteriori informazioni su come eseguire query, consulta Eseguire una query interattiva.

Esempio:

CREATE EXTERNAL TABLE absdataset.abstable
WITH CONNECTION `azure-eastus2.abs-read-conn`
  OPTIONS (
    format = 'CSV', uris = ['azure://account_name.blob.core.windows.net/container/path/file.csv']);

bq

Crea un file di definizione della tabella:

bq mkdef  \
    --source_format=DATA_FORMAT \
    --connection_id=AZURE_LOCATION.CONNECTION_NAME \
    "azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH" > table_def

Sostituisci quanto segue:

  • DATA_FORMAT: uno dei formati federati BigQuery supportati, come AVRO, CSV, ICEBERG o PARQUET
  • AZURE_LOCATION: una località Azure in Google Cloud, come azure-eastus2
  • CONNECTION_NAME: il nome della connessione che hai creato
  • AZURE_STORAGE_ACCOUNT_NAME: il nome dell'account Archiviazione blob
  • CONTAINER_NAME: il nome del container di archiviazione BLOB
  • FILE_PATH: il percorso dei dati che punta ai dati di Cloud Storage

A questo punto, crea la tabella BigLake:

bq mk --external_table_definition=table_def DATASET_NAME.TABLE_NAME

Sostituisci quanto segue:

  • DATASET_NAME: il nome del set di dati che hai creato
  • TABLE_NAME: il nome che vuoi assegnare a questa tabella

Ad esempio, i comandi seguenti creano una nuova tabella BigLake, my_dataset.my_table, che può eseguire query sui dati dello spazio di archiviazione BLOB archiviati nel percorso azure://account_name.blob.core.windows.net/container/path e ha una connessione di lettura nella località azure-eastus2:

bq mkdef \
    --source_format=AVRO \
    --connection_id=azure-eastus2.read-conn \
    "azure://account_name.blob.core.windows.net/container/path" > table_def

bq mk \
    --external_table_definition=table_def my_dataset.my_table

API

Chiama il metodo tables.insert API e crea un'istanza ExternalDataConfiguration nella risorsa Table che trasmetti.

Specifica la proprietà schema o imposta la proprietà autodetect su true per attivare il rilevamento automatico dello schema per le origini dati supportate.

Specifica la proprietà connectionId per identificare la connessione da utilizzare per la connessione a Blob Storage.

Creazione di tabelle BigLake su dati partizionati

Puoi creare una tabella BigLake per i dati partizionati di Hive in Archiviazione BLOB. Una volta creata una tabella con partizioni esterne, non puoi modificare la chiave di partizione. Devi ricreare la tabella per modificare di partizione.

Per creare una tabella BigLake basata su dati partizionati da Hive, seleziona una delle seguenti opzioni:

Console

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e seleziona un set di dati.

  3. Fai clic su Visualizza azioni e poi su Crea tabella. Viene visualizzato il riquadro Crea tabella.

  4. Nella sezione Origine, specifica i seguenti dettagli:

    1. In Crea tabella da, seleziona una delle seguenti opzioni:

      • Amazon S3
      • Azure Blob Storage

    2. Specifica il percorso della cartella utilizzando caratteri jolly. Ad esempio:

      • Per Amazon S3: s3://mybucket/*
      • Per Archiviazione blob: azure://mystorageaccount.blob.core.windows.net/mycontainer/*

      La cartella deve trovarsi nella stessa posizione del set di dati contenente la tabella che vuoi creare, aggiungere o sovrascrivere.

    3. Nell'elenco Formato file, seleziona il tipo di file.

    4. Seleziona la casella di controllo Partizionamento dei dati di origine e poi specifica i seguenti dettagli:

      1. In Seleziona prefisso URI di origine, inserisci il Prefisso URI. Ad esempio, s3://mybucket/my_files.
      2. (Facoltativo) Per richiedere un filtro di partizione per tutte le query per questa tabella, seleziona la casella di controllo Richiedi filtro di partizione. La richiesta di un filtro di partizionamento può ridurre i costi e migliorare delle prestazioni. Per ulteriori informazioni, vedi Richiedere filtri dei predicati sulle chiavi di partizione nelle query.

      3. Nella sezione Modalità di inferenza della partizione, seleziona una delle le seguenti opzioni:

        • Induce automaticamente i tipi: imposta lo schema di partizione modalità di rilevamento su AUTO.
        • Tutte le colonne sono stringhe: imposta lo schema di partizione modalità di rilevamento su STRINGS.
        • Fornisci personale: imposta la modalità di rilevamento dello schema di partizione su CUSTOM e inserisci manualmente lo schema le informazioni per le chiavi di partizione. Per ulteriori informazioni, vedi Fornisci uno schema della chiave di partizione personalizzato.

  5. Nella sezione Destinazione, specifica i seguenti dettagli:

    1. In Progetto, seleziona il progetto in cui vuoi creare la tabella.
    2. In Set di dati, seleziona il set di dati in cui creare nella tabella.
    3. In Tabella, inserisci il nome della tabella che ti interessa. per creare.
    4. In Tipo di tabella, verifica che sia selezionata l'opzione Tabella esterna.
    5. Per ID connessione, seleziona la connessione che hai creato in precedenza.

  6. Nella sezione Schema, puoi attivare il rilevamento automatico dello schema o specificare manualmente uno schema se disponi di un file di origine. Se non disponi di un file di origine, devi specificare manualmente uno schema.

    • Per attivare il rilevamento automatico dello schema, seleziona l'opzione Rilevamento automatico.

    • Per specificare manualmente uno schema, lascia l'opzione Rilevamento automatico deselezionata. Attiva Modifica come testo e inserisci lo schema della tabella come Array JSON.

  7. Per ignorare le righe con valori di colonna aggiuntivi che non corrispondono allo schema, espandi la sezione Opzioni avanzate e seleziona Valori sconosciuti.

  8. Fai clic su Crea tabella.

SQL

Utilizza l'istruzione DDL CREATE EXTERNAL TABLE:

  1. Nella console Google Cloud, vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nell'editor di query, inserisci la seguente istruzione:

    CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.EXTERNAL_TABLE_NAME`
WITH PARTITION COLUMNS
(
  PARTITION_COLUMN PARTITION_COLUMN_TYPE,
)
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  hive_partition_uri_prefix = "HIVE_PARTITION_URI_PREFIX",
  uris=['FILE_PATH'],
  format ="TABLE_FORMAT"
);

    Sostituisci quanto segue:

    • PROJECT_ID: il nome del progetto in cui vuoi creare la tabella, ad esempio myproject
    • DATASET: il nome del Set di dati BigQuery in cui vuoi creare la tabella ad esempio, mydataset
    • EXTERNAL_TABLE_NAME: il nome della tabella che vuoi creare, ad esempio mytable
    • PARTITION_COLUMN: il nome del colonna di partizionamento
    • PARTITION_COLUMN_TYPE: il tipo di colonna di partizionamento
    • REGION: la regione che contiene connessione, ad esempio us
    • CONNECTION_ID: il nome della connessione per esempio, myconnection
    • HIVE_PARTITION_URI_PREFIX: partizionamento hive URI, ad esempio:

      • s3://mybucket/
      • azure://mystorageaccount.blob.core.windows.net/mycontainer/
    • FILE_PATH: percorso dell'origine dati per il tabella esterna che vuoi creare, ad esempio:

      • s3://mybucket/*.parquet
      • azure://mystorageaccount.blob.core.windows.net/mycontainer/*.parquet
    • TABLE_FORMAT: il formato della tabella che che vuoi creare, ad esempio PARQUET

  3. Fai clic su Esegui.

Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.

Esempi

L'esempio seguente crea una tabella BigLake su dati partizionati in Amazon S3. Lo schema viene rilevato automaticamente.

CREATE EXTERNAL TABLE `my_dataset.my_table`
WITH PARTITION COLUMNS
(
  sku STRING,
)
WITH CONNECTION `us.my-connection`
OPTIONS(
  hive_partition_uri_prefix = "s3://mybucket/products",
  uris = ['s3://mybucket/products/*']
);

L'esempio seguente crea una tabella BigLake sopra di dati partizionati nello spazio di archiviazione BLOB. Lo schema è specificato.

CREATE EXTERNAL TABLE `my_dataset.my_table`
(
  ProductId INTEGER,
  ProductName, STRING,
  ProductType, STRING
)
WITH PARTITION COLUMNS
(
  sku STRING,
)
WITH CONNECTION `us.my-connection`
OPTIONS(
  hive_partition_uri_prefix = "azure://mystorageaccount.blob.core.windows.net/mycontainer/products",
  uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/*']
);

bq

Innanzitutto, utilizza il comando bq mkdef per creare un file di definizione della tabella:

bq mkdef \
--source_format=SOURCE_FORMAT \
--connection_id=REGION.CONNECTION_ID \
--hive_partitioning_mode=PARTITIONING_MODE \
--hive_partitioning_source_uri_prefix=URI_SHARED_PREFIX \
--require_hive_partition_filter=BOOLEAN \
 URIS > DEFINITION_FILE

Sostituisci quanto segue:

  • SOURCE_FORMAT: il formato della fonte di dati esterni. Ad esempio, CSV.
  • REGION: la regione che contiene connessione attiva, ad esempio us.
  • CONNECTION_ID: il nome della connessione, ad esempio myconnection.
  • PARTITIONING_MODE: la modalità di partizionamento Hive. Utilizza uno dei seguenti valori:
    • AUTO: rileva automaticamente i nomi e i tipi di chiavi.
    • STRINGS: converti automaticamente i nomi delle chiavi in stringhe.
    • CUSTOM: codifica lo schema della chiave nel prefisso dell'URI di origine.
  • URI_SHARED_PREFIX: il prefisso dell'URI di origine.
  • BOOLEAN: specifica se è necessario un filtro predicato al momento della query. Questo flag è facoltativo. Il valore predefinito è false.
  • URIS: il percorso della cartella Amazon S3 o Blob Storage, utilizzando il formato carattere jolly.
  • DEFINITION_FILE: il percorso file di definizione della tabella sul tuo in una macchina virtuale.

Se PARTITIONING_MODE è CUSTOM, includi lo schema della chiave di partizione nel prefisso dell'URI di origine, utilizzando il seguente formato:

--hive_partitioning_source_uri_prefix=GCS_URI_SHARED_PREFIX/{KEY1:TYPE1}/{KEY2:TYPE2}/...

Dopo aver creato il file di definizione della tabella, utilizza il metodo Comando bq mk per crea la tabella BigLake:

bq mk --external_table_definition=DEFINITION_FILE \
DATASET_NAME.TABLE_NAME \
SCHEMA

Sostituisci quanto segue:

  • DEFINITION_FILE: il percorso del file di definizione della tabella.
  • DATASET_NAME: il nome del set di dati che contiene tabella.
  • TABLE_NAME: il nome della tabella che stai creando.
  • SCHEMA: specifica un percorso a un File di schema JSON, o specifica lo schema nella forma field:data_type,field:data_type,.... Per utilizzare lo schema rilevamento automatico, ometti questo argomento.

Esempi

L'esempio seguente utilizza la AUTO modalità di partizione Hive per i dati Amazon S3:

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=AUTO \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  --metadata_cache_mode=AUTOMATIC \
  s3://mybucket/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

L'esempio seguente utilizza la modalità di partizionamento Hive STRING per Amazon S3 dati:

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=STRING \
  --hive_partitioning_source_uri_prefix=s3://mybucket/myTable \
  s3://mybucket/myTable/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

L'esempio seguente utilizza la modalità di partizione Hive CUSTOM per i dati di Archiviazione blob:

bq mkdef --source_format=CSV \
  --connection_id=us.my-connection \
  --hive_partitioning_mode=CUSTOM \
  --hive_partitioning_source_uri_prefix=azure://mystorageaccount.blob.core.windows.net/mycontainer/{dt:DATE}/{val:STRING} \
  azure://mystorageaccount.blob.core.windows.net/mycontainer/* > mytable_def

bq mk --external_table_definition=mytable_def \
  mydataset.mytable \
  Region:STRING,Quarter:STRING,Total_sales:INTEGER

API

Per impostare la partizione Hive utilizzando l'API BigQuery, includi l'oggetto hivePartitioningOptions nell'oggetto ExternalDataConfiguration quando crei il file di definizione della tabella. Per creare una tabella BigLake, devi anche specificare un valore per il campo connectionId.

Se imposti il campo hivePartitioningOptions.mode su CUSTOM, devi codificare lo schema della chiave di partizione hivePartitioningOptions.sourceUriPrefix come segue: s3://BUCKET/PATH_TO_TABLE/{KEY1:TYPE1}/{KEY2:TYPE2}/...

Per applicare l'utilizzo di un filtro predicato al momento della query, imposta il campo hivePartitioningOptions.requirePartitionFilter su true.

Tabelle Delta Lake

Delta Lake è un formato di tabella open source che supporta dati su scala petabyte tabelle. È possibile eseguire query sulle tabelle Delta Lake sia come tabelle temporanee che permanenti e sono supportate come tabelle BigLake.

Sincronizzazione dello schema

Delta Lake mantiene uno schema canonico nei propri metadati. Tu non può aggiornare uno schema utilizzando un file di metadati JSON. Per aggiornare lo schema:

  1. Usa il comando bq update con il flag --autodetect_schema:

    bq update --autodetect_schema
PROJECT_ID:DATASET.TABLE

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID progetto contenente la tabella che vuoi aggiornare

    • DATASET: il set di dati contenente la tabella che voglio aggiornare

    • TABLE: la tabella da aggiornare

Conversione del tipo

BigQuery converte i tipi di dati di Delta Lake nei seguenti tipi di dati BigQuery:

Tipo di Lake Delta Tipo di BigQuery
boolean BOOL
byte INT64
int INT64
long INT64
float FLOAT64
double FLOAT64
Decimal(P/S) NUMERIC o BIG_NUMERIC a seconda della precisione
date DATE
time TIME
timestamp (not partition column) TIMESTAMP
timestamp (partition column) DATETIME
string STRING
binary BYTES
array<Type> ARRAY<Type>
struct STRUCT
map<KeyType, ValueType> ARRAY<Struct<key KeyType, value ValueType>>

Limitazioni

Alle tabelle Delta Lake si applicano le seguenti limitazioni:

  • Alle tabelle Delta Lake si applicano i limiti delle tabelle esterne.

  • Le tabelle Delta Lake sono supportate solo BigQuery Omni e dispongono della funzionalità limitazioni.

  • Non puoi aggiornare una tabella con un nuovo file JSON con i metadati. Devi utilizzare un'impostazione Rileva l'operazione di aggiornamento della tabella dello schema. Per ulteriori informazioni, consulta la sezione Sincronizzazione dello schema.

  • Le funzionalità di sicurezza di BigLake proteggono solo Delta Lake quando si accede tramite i servizi BigQuery.

Creare una tabella Delta Lake

L'esempio seguente crea una tabella esterna utilizzando l'istruzione CREATE EXTERNAL TABLE con il formato Delta Lake:

CREATE [OR REPLACE] EXTERNAL TABLE table_name
WITH CONNECTION connection_name
OPTIONS (
         format = 'DELTA_LAKE',
         uris = ["parent_directory"]
       );

Sostituisci quanto segue:

  • table_name: il nome della tabella.

  • connection_name: il nome della connessione. La connessione deve identificare un'origine Amazon S3 o Blob Storage.

  • parent_directory: l'URI della directory principale.

Trasferimento cross-cloud con Delta Lake

L'esempio seguente utilizza l'istruzione LOAD DATA per caricare i dati nella tabella appropriata:

LOAD DATA [INTO | OVERWRITE] table_name
FROM FILES (
        format = 'DELTA_LAKE',
        uris = ["parent_directory"]
)
WITH CONNECTION connection_name;

Per altri esempi di trasferimenti di dati tra cloud, consulta Caricare dati con trasferimenti di dati tra cloud operazioni.

Esegui query su tabelle BigLake

Per ulteriori informazioni, vedi Dati di archiviazione BLOB di query.

Visualizzare i metadati delle risorse con INFORMATION_SCHEMA

Puoi visualizzare i metadati delle risorse con le visualizzazioni INFORMATION_SCHEMA. Quando esegui query sulle visualizzazioni JOBS_BY_*, JOBS_TIMELINE_BY_* e RESERVATION*, devi specificare la località di elaborazione della query che corrisponde alla regione della tabella. Per informazioni su BigQuery Omni luoghi, consulta Località. Per tutti in altre tabelle di sistema, la specifica della località del job di query è facoltativo.

Per informazioni sulle tabelle di sistema supportate da BigQuery Omni, vedi Limitazioni.

Per eseguire query sulle tabelle di sistema JOBS_* e RESERVATION*, seleziona una delle seguenti opzioni per specificare la località di elaborazione:

Console

  1. Vai alla pagina BigQuery.

    Vai a BigQuery

  2. Se la scheda Editor non è visibile, fai clic su Crea nuova query.

  3. Fai clic su Altro > Impostazioni query. Viene visualizzata la finestra di dialogo Impostazioni query.

  4. Nella finestra di dialogo Impostazioni query, per Impostazioni aggiuntive &gt;. Località dei dati, seleziona la regione BigQuery che si trova nella regione di BigQuery Omni. Ad esempio, se la regione BigQuery Omni è aws-us-east-1, specifica us-east4.

  5. Seleziona i campi rimanenti e fai clic su Salva.

bq

Utilizza il flag --location per impostare la località di elaborazione del job su regione BigQuery, ossia collocata nella regione di BigQuery Omni. Ad esempio, se la regione BigQuery Omni è aws-us-east-1, specifica us-east4.

Esempio

bq query --use_legacy_sql=false --location=us-east4 \
"SELECT * FROM region-azure-eastus2.INFORMATION_SCHEMA.JOBS limit 10;"

API

Se esegui i job in modo programmatico, Imposta l'argomento location sulla regione BigQuery che si trova nella regione di BigQuery Omni. Ad esempio, se la tua regione di BigQuery Omni è aws-us-east-1, specificare us-east4.

Controlli di servizio VPC

Puoi utilizzare i perimetri Controlli di servizio VPC per limitare l'accesso da BigQuery Omni a un servizio cloud esterno come un livello aggiuntivo di difesa. Ad esempio, i perimetri Controlli di servizio VPC possono limitare le esportazioni dalle tue tabelle BigQuery Omni a uno specifico bucket Amazon S3 o BLOB Storage.

Per saperne di più sui Controlli di servizio VPC, consulta Panoramica dei Controlli di servizio VPC.

Autorizzazione obbligatoria

Assicurati di disporre delle autorizzazioni necessarie per configurare i perimetri di servizio. Per visualizzare un elenco dei ruoli IAM richiesti per configurare i Controlli di servizio VPC; consulta l'articolo Controllo dell'accesso con IAM nel documentazione sui Controlli di servizio VPC.

Configurare i Controlli di servizio VPC utilizzando la console Google Cloud

  1. Nel menu di navigazione della console Google Cloud, fai clic su Sicurezza, quindi su Controlli di servizio VPC.

    Vai a Controlli di servizio VPC

  2. Per configurare Controlli di servizio VPC per BigQuery Omni, segui i passaggi nella sezione Creare un servizio perimetro guida. Nel riquadro Regole in uscita, segui questi passaggi:

    1. Nel riquadro Regole in uscita, fai clic su Aggiungi regola.

    2. Nella sezione Da attributi del client API, seleziona un'opzione dall'elenco Identity.

    3. Seleziona Attributi TO delle risorse esterne.

    4. Per aggiungere una risorsa esterna, fai clic su Aggiungi risorse esterne.

    5. Nella finestra di dialogo Aggiungi risorsa esterna, per Nome risorsa esterna, inserisci un nome risorsa valido. Ad esempio:

      • Per Amazon Simple Storage Service (Amazon S3): s3://BUCKET_NAME

        Sostituisci BUCKET_NAME con il nome del tuo bucket Amazon S3.

      • Per Archiviazione BLOB di Azure: azure://myaccount.blob.core.windows.net/CONTAINER_NAME

        Sostituisci CONTAINER NAME con il nome del tuo spazio di archiviazione BLOB containerizzato.

      Per un elenco degli attributi delle regole in uscita, consulta Riferimento per le regole in uscita.

    6. Seleziona i metodi che vuoi consentire nelle risorse esterne:

      1. Se vuoi consentire tutti i metodi, seleziona Tutti i metodi nella Metodi.
      2. Se vuoi consentire metodi specifici, seleziona Metodo selezionato, fai clic su Seleziona metodi e poi seleziona i metodi che vuoi consentire nelle risorse esterne.

    7. Fai clic su Crea perimetro.

Configura i Controlli di servizio VPC utilizzando gcloud CLI

Per configurare i Controlli di servizio VPC utilizzando gcloud CLI, segui questi passaggi passaggi:

  1. Imposta il criterio di accesso predefinito.
  2. Crea il file di input del criterio in uscita.
  3. Aggiungi il criterio in uscita.

Imposta il criterio di accesso predefinito

Un criterio di accesso è un container a livello di organizzazione per i livelli di accesso e i perimetri di servizio. Per informazioni sull'impostazione di criterio di accesso predefinito o su come ottenere il nome di un criterio di accesso, consulta Gestione di un criterio di accesso .

Crea il file di input del criterio in uscita

Un blocco di regole in uscita definisce l'accesso consentito alle risorse dall'interno di un perimetro fuori da questo perimetro. Per le risorse esterne, la proprietà externalResources definisce i percorsi delle risorse esterne a cui è consentito l'accesso dall'interno Perimetro Controlli di servizio VPC.

Le regole in uscita possono essere configurate utilizzando un file JSON o un file YAML. Nell'esempio seguente viene utilizzato il formato .yaml:

- egressTo:
    operations:
    - serviceName: bigquery.googleapis.com
      methodSelectors:
      - method: "*"
      *OR*
      - permission: "externalResource.read"
    externalResources:
      - EXTERNAL_RESOURCE_PATH
  egressFrom:
    identityType: IDENTITY_TYPE
    *OR*
    identities:
    - serviceAccount:SERVICE_ACCOUNT

  • egressTo: elenca le operazioni di servizio consentite sulle risorse Google Cloud in progetti specificati al di fuori del perimetro.

  • operations: elenca i servizi e le azioni o i metodi accessibili che un un client che soddisfa le condizioni di blocco from è autorizzato ad accedere.

  • serviceName: imposta bigquery.googleapis.com per BigQuery Omni.

  • methodSelectors: elenca i metodi a cui può accedere un client che soddisfa le condizioni from. Per i metodi e le autorizzazioni limitabili per i servizi, consulta Limitazioni del metodo dei servizi supportati.

  • method: un metodo di servizio valido oppure \"*\" per consentire tutti i metodi serviceName.

  • permission: un'autorizzazione di servizio valida, ad esempio \"*\", externalResource.read o externalResource.write. L'accesso alle risorse al di fuori del perimetro è consentito per le operazioni che richiedono questa autorizzazione.

  • externalResources: elenca le risorse esterne a cui possono accedere i client all'interno di un perimetro. Sostituisci EXTERNAL_RESOURCE_PATH con un valore valido bucket Amazon S3, ad esempio s3://bucket_name, oppure un Percorso del container di archiviazione BLOB, ad esempio azure://myaccount.blob.core.windows.net/container_name.

  • egressFrom: elenca le operazioni di servizio consentite su Google Cloud in progetti specificati all'interno del perimetro.

  • identityType o identities: definisce i tipi di identità che possono accedere alle risorse specificate al di fuori del perimetro. Sostituisci IDENTITY_TYPE con uno dei seguenti valori validi:

    • ANY_IDENTITY: per consentire tutte le identità.
    • ANY_USER_ACCOUNT: per autorizzare tutti gli utenti.
    • ANY_SERVICE_ACCOUNT: per consentire tutti gli account di servizio

  • identities: elenca gli account di servizio che possono accedere alle risorse specificate fuori dal perimetro.

  • serviceAccount (facoltativo): sostituisci SERVICE_ACCOUNT con l'account di servizio che può accedere alle risorse specificate al di fuori del perimetro.

Esempi

L'esempio seguente è un criterio che consente le operazioni in uscita dall'interno il perimetro alla località Amazon S3 s3://mybucket in AWS.

- egressTo:
    operations:
    - serviceName: bigquery.googleapis.com
      methodSelectors:
      - method: "*"
    externalResources:
      - s3://mybucket
      - s3://mybucket2
  egressFrom:
    identityType: ANY_IDENTITY

L'esempio seguente consente le operazioni in uscita in un contenitore Blob Storage:

- egressTo:
    operations:
    - serviceName: bigquery.googleapis.com
      methodSelectors:
      - method: "*"
    externalResources:
      - azure://myaccount.blob.core.windows.net/mycontainer
  egressFrom:
    identityType: ANY_IDENTITY

Per ulteriori informazioni sui criteri di uscita, consulta la pagina Informazioni di riferimento sulle regole di uscita.

Aggiungi il criterio in uscita

Per aggiungere il criterio in uscita quando crei un nuovo perimetro di servizio, utilizza il metodo Comando gcloud access-context-manager perimeters create. Ad esempio, il seguente comando crea una nuova perimetro denominato omniPerimeter che include il progetto con numero di progetto 12345, limita l'API BigQuery e aggiunge un criterio in uscita definita nel file egress.yaml:

gcloud access-context-manager perimeters create omniPerimeter \
    --title="Omni Perimeter" \
    --resources=projects/12345 \
    --restricted-services=bigquery.googleapis.com \
    --egress-policies=egress.yaml

Per aggiungere il criterio di uscita a un perimetro di servizio esistente, utilizza il comando gcloud access-context-manager perimeters update. Ad esempio, il comando seguente aggiunge un criterio in uscita definito nel egress.yaml a un perimetro di servizio esistente denominato omniPerimeter:

gcloud access-context-manager perimeters update omniPerimeter
    --set-egress-policies=egress.yaml

Verifica il perimetro

Per verificare il perimetro, utilizza il metodo Comando gcloud access-context-manager perimeters describe:

gcloud access-context-manager perimeters describe PERIMETER_NAME

Sostituisci PERIMETER_NAME con il nome del perimetro.

Ad esempio, il seguente comando descrive il perimetro omniPerimeter:

gcloud access-context-manager perimeters describe omniPerimeter

Per saperne di più, consulta Gestire i perimetri di servizio.

Consenti a BigQuery Omni di accedere all'archiviazione BLOB

Per richiedere feedback o assistenza per questa funzionalità, invia un'email all'indirizzo bq-omni-customer-support@google.com.

In qualità di amministratore di BigQuery, puoi creare una regola di rete per grantare a BigQuery Omni l'accesso alle tue risorse Blob Storage. Ciò garantisce che solo i VPC BigQuery Omni autorizzati possano interagire l'archiviazione BLOB, per migliorare la sicurezza dei dati.

Applica una regola di rete per la VPC BigQuery Omni

Per applicare una regola di rete, utilizza Azure PowerShell o Terraform:

Azure PowerShell

Esegui il seguente comando per aggiungere una regola di rete al tuo account di archiviazione che specifichi gli ID sottorete BigQuery Omni recuperati come VirtualNetworkResourceId. 

  Add-AzStorageAccountNetworkRule`
   -ResourceGroupName "RESOURCE_GROUP_NAME"`
   -Name "STORAGE_ACCOUNT_NAME"`
   -VirtualNetworkResourceId "SUBNET_ID1","SUBNET_ID2"

Sostituisci quanto segue:

  • RESOURCE_GROUP_NAME: nome del gruppo di risorse.
  • STORAGE_ACCOUNT_NAME: il nome dell'account di archiviazione.
  • SUBNET_ID1,SUBNET_ID1: gli ID subnet. Puoi trovare queste informazioni nella tabella di questa pagina.

Terraform

Aggiungi quanto segue al file di configurazione Terraform: 

  resource "azurerm_storage_account_network_rules" "example" {
    storage_account_name       = "STORAGE_ACCOUNT_NAME"
    resource_group_name        = "RESOURCE_GROUP_NAME"
    default_action             = "Allow"
    bypass                     = ["Logging", "Metrics", "AzureServices"]
    virtual_network_subnet_ids = ["SUBNET_ID1","SUBNET_ID2"]
  }

Sostituisci quanto segue:

  • STORAGE_ACCOUNT_NAME: il nome dell'account di archiviazione.
  • RESOURCE_GROUP_NAME: nome del gruppo di risorse.
  • SUBNET_ID1,SUBNET_ID1: gli ID subnet. Puoi trovare queste informazioni nella tabella di questa pagina.

ID risorse VPC BigQuery Omni

Regione ID subnet
azure-eastus2 /subscriptions/95f30708-58d1-48ba-beac-d71870c3b2f5/resourceGroups/bqe-prod-eastus2-resource-group/providers/Microsoft.Network/virtualNetworks/bqe-prod-eastus2-network/subnets/azure-prod-eastus21-yurduaaaaa-private
/subscriptions/95f30708-58d1-48ba-beac-d71870c3b2f5/resourceGroups/bqe-prod-eastus2-resource-group/providers/Microsoft.Network/virtualNetworks/bqe-prod-eastus2-network/subnets/azure-prod-eastus22-yurduaaaab-private

Limitazioni

Per un elenco completo delle limitazioni che si applicano alle tabelle BigLake basate su Amazon S3 e Blob Storage, consulta Limitazioni.

Passaggi successivi