A E/S gerenciada oferece suporte aos seguintes recursos do BigQuery:
- Criação de tabelas dinâmicas
- Destinos dinâmicos
- Para leituras, o conector usa a API BigQuery Storage Read.
Para gravações, o conector usa os seguintes métodos do BigQuery:
- Se a origem for ilimitada, o conector vai realizar gravações diretas no BigQuery usando a API BigQuery Storage Write no modo "exatamente uma vez".
- Se a origem for delimitada, o conector vai usar carregamentos de arquivo do BigQuery.
Requisitos
Requer a versão 2.61.0 ou posterior do SDK do Apache Beam para Java.
Configuração
| Ler e gravar configuração | Tipo de dado | Descrição |
|---|---|---|
table |
string | A tabela do BigQuery a ser lida ou gravada. Formate como
"PROJECT.DATASET.TABLE". Exemplo:
"my_project.dataset1.table1". |
kms_key |
string | Especifica uma chave do Cloud Key Management Service (Cloud KMS) para criptografar a tabela do BigQuery durante a gravação ou para criptografar tabelas temporárias criadas durante as leituras. |
| Ler configuração | Tipo de dado | Descrição |
fields |
lista de strings | Uma lista de colunas a serem lidas da tabela. Esse parâmetro permite leituras eficientes quando uma tabela contém muitas colunas. |
query |
string | Uma consulta SQL para leitura. Se especificado, o conector executa a consulta no BigQuery e lê os resultados da consulta. |
row_restriction |
string | Um predicado que filtra dados no lado do servidor. Exemplo:
"age > 18". |
| Gravar configuração | Tipo de dado | Descrição |
triggering_frequency |
integer | Para origens ilimitadas, especifica a frequência com que as gravações de arquivos são acionadas, em segundos. |
Para leituras, especifique table ou query. Para gravações, é necessário
especificar table.
Para mais informações, consulte os tópicos a seguir: