La E/S administrada admite las siguientes funciones para BigQuery:
- Creación de tablas dinámicas
- Destinos dinámicos
- Para las operaciones de lectura, el conector usa la API de BigQuery Storage Read.
Para las operaciones de escritura, el conector usa los siguientes métodos de BigQuery:
- Si la fuente no tiene límites, el conector realiza operaciones de escritura directas en BigQuery mediante la API de BigQuery Storage Write en modo del tipo “exactamente una vez”.
- Si la fuente está delimitada, el conector usa cargas de archivos de BigQuery.
Requisitos
Se requiere la versión 2.61.0 o posterior del SDK de Apache Beam para Java.
Configuración
| Lee y escribe la configuración | Tipo de datos | Descripción |
|---|---|---|
table |
string | La tabla de BigQuery en la que se leerá o escribirá. Tiene el formato "PROJECT.DATASET.TABLE". Ejemplo:
"my_project.dataset1.table1". |
kms_key |
string | Especifica una clave de Cloud Key Management Service (Cloud KMS) para encriptar la tabla de BigQuery cuando se escriben datos o para encriptar las tablas temporales que se crean durante las operaciones de lectura. |
| Se lee la configuración | Tipo de datos | Descripción |
fields |
lista de cadenas | Es una lista de columnas que se deben leer de la tabla. Este parámetro permite lecturas eficientes cuando una tabla contiene muchas columnas. |
query |
string | Una consulta de SQL de la que se leerá. Si se especifica, el conector ejecuta la consulta en BigQuery y lee los resultados. |
row_restriction |
string | Un predicado que filtra los datos del servidor. Examplo:
"age > 18". |
| Cómo escribir la configuración | Tipo de datos | Descripción |
triggering_frequency |
integer | Para las fuentes ilimitadas, especifica la frecuencia con la que se activan las operaciones de escritura de archivos, en segundos. |
Para las operaciones de lectura, debes especificar table o query. Para las operaciones de escritura, debes especificar table.
Para obtener más información, consulta los siguientes temas: