Configure tabelas Iceberg do BigLake no BigQuery

Esta página descreve como configurar o Datastream para replicação em tabelas Iceberg do BigLake no BigQuery.

As tabelas Iceberg do BigLake oferecem a mesma experiência totalmente gerida que as tabelas padrão do BigQuery, mas armazenam dados em contentores do Cloud Storage pertencentes ao cliente no formato de tabela Apache Iceberg e no formato de ficheiro Parquet. Pode consultar e analisar dados através das capacidades do BigQuery, mantendo os dados nos seus próprios contentores de armazenamento.

Configure o streaming para tabelas Iceberg do BigLake

Para configurar a sua stream para ingerir dados em tabelas Iceberg do BigLake:

  1. Crie um contentor do Cloud Storage onde quer armazenar os seus dados.
  2. Crie uma ligação de recursos da nuvem no BigQuery. Para obter informações sobre como criar este tipo de associação, consulte Crie e configure uma associação de recursos da nuvem.

  3. Obtenha o identificador da conta de serviço de associação:

    bq show --location=LOCATION --connection --project_id=PROJECT_ID
CONNECTION_NAME

  4. Conceda à ligação de recursos da nuvem acesso ao contentor do Cloud Storage que criou. Para o fazer, adicione a autorização de IAM storage.admin à conta de serviço de ligação:

    gcloud storage buckets add-iam-policy-binding gs://YOUR_GCS_BUCKET \
--member=serviceAccount:YOUR_SERVICE_ACCOUNT_ID \
--role=roles/storage.admin

  5. Crie uma stream de tabelas Iceberg do BigLake.

    Para obter informações sobre como criar uma stream de tabelas Iceberg do BigLake usando a Google Cloud consola, consulte Crie uma stream.

    Para obter informações sobre como criar um pedido para transmitir dados para tabelas do BigLake Iceberg através de REST, Google Cloud CLI ou Terraform, consulte o artigo Gerir streams através da API.

O que se segue?