Crea tablas de Delta Lake BigLake

Para solicitar comentarios o asistencia sobre esta función, envía un correo electrónico a biglake-help@google.com.

BigLake te permite acceder a las tablas de Delta Lake con un control de acceso más detallado. Delta Lake es un formato de almacenamiento de datos tabular y de código abierto desarrollado por Databricks que admite tablas de datos a escala de petabytes.

BigQuery admite las siguientes funciones con tablas de Delta Lake:

Delegación de acceso: Consulta datos estructurados en almacenes de datos externos con delegación de acceso. La delegación de acceso separa el acceso a la tabla de Delta Lake del acceso al almacén de datos subyacente.
Control de acceso detallado: Aplica la seguridad detallada a nivel de tabla, lo que incluye seguridad de nivel de fila y nivel de columna. Para las tablas de Delta Lake basadas en Cloud Storage, también puedes usar el enmascaramiento de datos dinámicos.
Evolución del esquema: Los cambios en el esquema en las tablas de Delta Lake se detectan de forma automática. Los cambios en el esquema se reflejan en la tabla de BigQuery.

Las tablas de Delta Lake también admiten todas las funciones de BigLake cuando las configuras como tablas de BigLake.

Antes de comenzar

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
Enable the BigQuery Connection and BigQuery Reservation APIs.
Enable the APIs
In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell
Asegúrate de tener un conjunto de datos de BigQuery.
Asegúrate de que tu versión del SDK de Google Cloud sea 366.0.0 o posterior:
```
gcloud version
```
Si es necesario, actualiza el SDK de Google Cloud.
Crea una conexión de recursos de Cloud según tu fuente de datos externa y otórgale acceso a Cloud Storage. Si no tienes los permisos adecuados para crear una conexión, pídele a tu administrador de BigQuery que cree una conexión y la comparta contigo.

Roles requeridos

Se requieren los siguientes permisos para crear una tabla de Delta Lake:

bigquery.tables.create
bigquery.connections.delegate

El rol predefinido de administración de identidades y accesos de BigQuery (roles/bigquery.admin) incluye estos permisos.

Si no eres principal en este rol, pídele a tu administrador que te otorgue estos permisos o que cree la tabla de Delta Lake por ti.

Además, para permitir que los usuarios de BigQuery consulten la tabla, la cuenta de servicio asociada con la conexión debe tener el siguiente permiso y acceso:

Rol de Visualizador de BigQuery (roles/bigquery.viewer)
Rol de Usuario de conexión de BigQuery (roles/bigquery.connectionUser)
Acceso al bucket de Cloud Storage que contiene los datos

Para obtener más información sobre los roles y los permisos de la administración de identidades y accesos en BigQuery, consulta Funciones y permisos predefinidos.

Crea tablas con Delta Lake

Para crear tablas de Delta Lake, sigue estos pasos.

SQL

Usa la declaración CREATE EXTERNAL TABLE para crear la tabla de Delta Lake:

CREATE EXTERNAL TABLE `PROJECT_ID.DATASET.DELTALAKE_TABLE_NAME`
WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`
OPTIONS (
  format ="DELTA_LAKE",
  uris=['DELTA_TABLE_GCS_BASE_PATH']);

Reemplaza los siguientes valores:

PROJECT_ID: el ID del proyecto en el que deseas crear la tabla de Delta Lake
DATASET: el conjunto de datos de BigQuery que contiene la tabla de Delta Lake
DELTALAKE_TABLE_NAME: el nombre de tu tabla de Delta Lake
REGION: la región que contiene la conexión para crear la tabla de Delta Lake, por ejemplo, us
CONNECTION_ID: el ID de conexión, por ejemplo, myconnection.

Cuando ves los detalles de conexión en la consola de Google Cloud, el ID de conexión es el valor en la última sección del ID de conexión completamente calificado que se muestra en ID de conexión, por ejemplo projects/myproject/locations/connection_location/connections/myconnection.
DELTA_TABLE_GCS_BASE_PATH: el prefijo de la tabla de Delta Lake

bq

En un entorno de línea de comandos, usa el comando bq mk para crear la tabla de Delta Lake:

bq mk --table --external_table_definition=DEFINITION_FILE PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

Reemplaza los siguientes valores:

DEFINITION_FILE: la ruta de acceso al archivo de definición de tablas.
PROJECT_ID: el ID del proyecto en el que deseas crear la tabla de Delta Lake
DATASET: el conjunto de datos de BigQuery que contiene la tabla de Delta Lake
DELTALAKE_TABLE_NAME: el nombre de tu tabla de Delta Lake

REST

Usa la API de BigQuery para crear una tabla de Delta Lake mediante una llamada al método de la API tables.insert:

REQUEST='{
  "autodetect": true,
  "externalDataConfiguration": {
  "sourceFormat": "DELTA_LAKE",
  "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
  "sourceUris": [
    "DELTA_TABLE_GCS_BASE_PATH"
  ],
 },
"tableReference": {
"tableId": "DELTALAKE_TABLE_NAME"
}
}'

echo $REQUEST | curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables?autodetect_schema=true

Reemplaza los siguientes valores:

PROJECT_ID: el ID del proyecto en el que deseas crear la tabla de Delta Lake
REGION: la región que contiene la conexión para crear la tabla de Delta Lake, por ejemplo, us
CONNECTION_ID: el ID de conexión, por ejemplo, myconnection.

Cuando ves los detalles de conexión en la consola de Google Cloud, el ID de conexión es el valor en la última sección del ID de conexión completamente calificado que se muestra en ID de conexión, por ejemplo projects/myproject/locations/connection_location/connections/myconnection.
DELTA_TABLE_GCS_BASE_PATH: el prefijo de la tabla de Delta Lake
DELTALAKE_TABLE_NAME: el nombre de tu tabla de Delta Lake
DATASET: el conjunto de datos de BigQuery que contiene la tabla de Delta Lake

Cuando creas tablas de Delta Lake, el prefijo de Delta Lake se usa como el URI de la tabla. Por ejemplo, para una tabla que tiene registros en el bucket gs://bucket/warehouse/basictable/_delta_log, el URI de la tabla es gs://bucket/warehouse/basictable. Cuando ejecutas consultas en la tabla Delta Lake, BigQuery lee datos bajo el prefijo para identificar la versión actual de la tabla y, luego, calcula los metadatos y los archivos de la tabla.

Actualiza las tablas de Delta Lake

Para actualizar el esquema de las tablas de Delta Lake, sigue estos pasos.

bq

En un entorno de línea de comandos, usa el comando bq update para actualizar el esquema de la tabla de Delta Lake:

bq update --autodetect_schema PROJECT_ID:DATASET.DELTALAKE_TABLE_NAME

Reemplaza los siguientes valores:

PROJECT_ID: el ID del proyecto en el que deseas crear la tabla de Delta Lake
DATASET: el conjunto de datos de BigQuery que contiene la tabla de Delta Lake
DELTALAKE_TABLE_NAME: el nombre de tu tabla de Delta Lake

REST

Usa la API de BigQuery para actualizar una tabla de Delta Lake mediante una llamada al método de la API tables.patch:

REQUEST='{
  "externalDataConfiguration": {
    "sourceFormat": "DELTA_LAKE",
    "sourceUris": [
      "DELTA_TABLE_GCS_BASE_PATH"
    ],
    "connectionId": "PROJECT_ID.REGION.CONNECTION_ID",
    "autodetect": true
  },
  "tableReference": {
    "tableId": "DELTALAKE_TABLE_NAME"
  }
}'
echo $REQUEST |curl -X POST -d @- -H "Content-Type: application/json" -H "Authorization: Bearer $(gcloud auth print-access-token)" https://bigquery.googleapis.com/bigquery/v2/projects/PROJECT_ID/datasets/DATASET/tables

Reemplaza los siguientes valores:

DELTA_TABLE_GCS_BASE_PATH: el prefijo de la tabla de Delta Lake
PROJECT_ID: el ID del proyecto en el que deseas crear la tabla de Delta Lake
REGION: la región que contiene la conexión para crear la tabla de Delta Lake, por ejemplo, us
CONNECTION_ID: el ID de conexión, por ejemplo, myconnection.

Cuando ves los detalles de conexión en la consola de Google Cloud, el ID de conexión es el valor en la última sección del ID de conexión completamente calificado que se muestra en ID de conexión, por ejemplo projects/myproject/locations/connection_location/connections/myconnection.
DELTALAKE_TABLE_NAME: el nombre de tu tabla de Delta Lake
DATASET: el conjunto de datos de BigQuery que contiene la tabla de Delta Lake

Consulta tablas de Delta Lake

Después de crear una tabla de BigLake de Delta Lake, puedes consultarla con la sintaxis de GoogleSQL, de la misma manera que lo harías con una tabla de BigQuery estándar. Por ejemplo:

SELECT field1, field2 FROM mydataset.my_cloud_storage_table;

Para obtener más información, ve a Consulta datos de Cloud Storage en tablas de BigLake.

Se usa una conexión externa asociada con una cuenta de servicio para conectarse al almacén de datos. Debido a que la cuenta de servicio recupera datos del almacén de datos, los usuarios solo necesitan acceso a la tabla de Delta Lake.

Asignación de datos

BigQuery convierte los tipos de datos de Delta Lake en tipos de datos de BigQuery, como se muestra en la siguiente tabla:

Tipo de Delta Lake	Tipo de BigQuery
`boolean`	`BOOL`
`byte`	`INT64`
`int`	`INT64`
`long`	`INT64`
`float`	`FLOAT64`
`double`	`FLOAT64`
`Decimal(P/S)`	`NUMERIC` o `BIG_NUMERIC`, según la precisión
`date`	`DATE`
`time`	`TIME`
`timestamp (not partition column)`	`TIMESTAMP`
`timestamp (partition column)`	`DATETIME`
`string`	`STRING`
`binary`	`BYTES`
`array<Type>`	`ARRAY<Type>`
`struct`	`STRUCT`
`map<KeyType, ValueType>`	`ARRAY<Struct<key KeyType, value ValueType>>`

Limitaciones

Las tablas de Delta Lake tienen limitaciones de tablas de BigLake y, también, las siguientes limitaciones:

Admite la versión de lector 3 de Delta Lake con vectores de eliminación y asignación de columnas.
Debes enumerar la versión de lector en el último archivo de entrada de registro. Por ejemplo, las tablas nuevas deben incluir 00000..0.json.
No se admiten las operaciones de captura de datos modificados (CDC). Se ignoran todas las operaciones de los CDC existentes.
El esquema se detecta de forma automática. No se admite la modificación del esquema mediante BigQuery.
Los nombres de las columnas de la tabla deben cumplir con las restricciones de nombres de columna de BigQuery.
No se admiten las vistas materializadas.
La API de Read no es compatible con Delta Lake.