La E/gestionada admite las siguientes funciones de BigQuery:
- Creación de tablas dinámicas
- Destinos dinámicos
- Para las lecturas, el conector usa la API Storage Read de BigQuery.
Para las escrituras, el conector usa los siguientes métodos de BigQuery:
- Si la fuente no está limitada y Dataflow usa el procesamiento de streaming exactamente una vez, el conector escribe en BigQuery mediante la API Storage Write de BigQuery con semántica de entrega exactamente una vez.
- Si la fuente no está limitada y Dataflow usa el procesamiento de streaming al menos una vez, el conector escribe en BigQuery mediante la API Storage Write de BigQuery con semántica de entrega al menos una vez.
- Si la fuente está delimitada, el conector usa cargas de archivos de BigQuery.
Requisitos
Los siguientes SDKs admiten la entrada/salida gestionada para BigQuery:
- Versión 2.61.0 o posterior del SDK de Apache Beam para Java
- Versión 2.61.0 o posterior del SDK de Apache Beam para Python
Configuración
La E/gestionada de BigQuery admite los siguientes parámetros de configuración:
BIGQUERY Leer
| Configuración | Tipo | Descripción |
|---|---|---|
| kms_key |
str
|
Usar esta clave de Cloud KMS para cifrar los datos |
| query |
str
|
Consulta de SQL que se va a ejecutar para leer datos de la tabla de BigQuery. |
| row_restriction |
str
|
Lee solo las filas que coincidan con este filtro, que debe ser compatible con el estándar SQL de Google. No se admite cuando se lee mediante una consulta. |
| fields |
list[str]
|
Leer solo los campos (columnas) especificados de una tabla de BigQuery. Es posible que los campos no se devuelvan en el orden especificado. Si no se especifica ningún valor, se devuelven todos los campos. Ejemplo: "col1, col2, col3" |
| tabla |
str
|
Nombre completo de la tabla de BigQuery de la que se van a leer los datos. Formato: [${PROJECT}:]${DATASET}.${TABLE} |
BIGQUERY Escribir
| Configuración | Tipo | Descripción |
|---|---|---|
| tabla |
str
|
La tabla de BigQuery en la que se va a escribir. Formato: [${PROJECT}:]${DATASET}.${TABLE} |
| drop |
list[str]
|
Lista de nombres de campos que se van a eliminar del registro de entrada antes de escribir. Se excluye mutuamente con "keep" y "only". |
| keep |
list[str]
|
Lista de nombres de campos que se conservarán en el registro de entrada. El resto de los campos se descartan antes de escribir. Se excluye mutuamente con "drop" y "only". |
| kms_key |
str
|
Usar esta clave de Cloud KMS para cifrar los datos |
| solo |
str
|
Nombre de un campo de registro que se debe escribir. Se excluye mutuamente con "keep" y "drop". |
| triggering_frequency_seconds |
int64
|
Determina la frecuencia con la que se debe confirmar el progreso en BigQuery. El valor predeterminado es cada 5 segundos. |
Siguientes pasos
Para obtener más información y ejemplos de código, consulta los siguientes temas: