Configura le tabelle BigLake Iceberg in BigQuery

Questa pagina descrive come configurare Datastream per la replica nelle tabelle BigLake Iceberg in BigQuery.

Le tabelle BigLake Iceberg offrono la stessa esperienza completamente gestita delle tabelle BigQuery standard, ma archiviano i dati nei bucket Cloud Storage di proprietà del cliente nel formato di tabella Apache Iceberg e nel formato di file Parquet. Puoi eseguire query e analizzare i dati utilizzando le funzionalità di BigQuery mantenendo i dati nei tuoi bucket di archiviazione.

Configura lo streaming nelle tabelle BigLake Iceberg

Per configurare lo stream in modo che importi i dati nelle tabelle BigLake Iceberg:

  1. Crea un bucket Cloud Storage in cui vuoi archiviare i dati.
  2. Crea una connessione alle risorse Cloud in BigQuery. Per informazioni su come creare questo tipo di connessione, vedi Crea e configura una connessione a una risorsa Cloud.

  3. Ottieni l'identificatore del account di servizio di connessione:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. Concedi l'accesso alla connessione di risorsa Cloud al bucket Cloud Storage che hai creato. Per farlo, aggiungi l'autorizzazione IAM storage.admin al account di servizio di connessione:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Crea uno stream di tabelle BigLake Iceberg.

    Per informazioni su come creare uno stream di tabelle BigLake Iceberg utilizzando la console Google Cloud , consulta Creare uno stream.

    Per informazioni su come creare una richiesta per trasmettere dati in streaming alle tabelle BigLake Iceberg utilizzando REST, Google Cloud CLI o Terraform, consulta Gestire i flussi utilizzando l'API.

Passaggi successivi