A E/S gerenciada oferece suporte aos seguintes recursos do Apache Iceberg:
| Catálogos |
|
|---|---|
| Capacidades de leitura | Leitura em lote |
| Recursos de gravação |
|
Para tabelas do BigQuery para o Apache Iceberg,
use o
conector BigQueryIO
com a API BigQuery Storage. A tabela já precisa existir. A criação de tabelas dinâmicas não é
compatível.
Requisitos
Requer a versão 2.58.0 ou posterior do SDK do Apache Beam para Java.
Configuração
A E/S gerenciada usa os seguintes parâmetros de configuração para o Apache Iceberg:
| Ler e gravar configuração | Tipo de dado | Descrição |
|---|---|---|
table |
string | O identificador da tabela do Apache Iceberg. Exemplo:
"db.table1". |
catalog_name |
string | O nome do catálogo. Exemplo: "local". |
catalog_properties |
mapa | Mapa das propriedades de configuração do Apache Iceberg
no seu catálogo. As propriedades obrigatórias dependem do catálogo. Para mais
informações, consulte
CatalogUtil na documentação do Apache Iceberg. |
config_properties |
mapa | Um conjunto opcional de propriedades de configuração do Hadoop. Para mais
informações, consulte
CatalogUtil na documentação do Apache Iceberg. |
| Gravar configuração | Tipo de dado | Descrição |
triggering_frequency_seconds |
integer | Para pipelines de gravação de streaming, a frequência com que o sink tenta produzir snapshots, em segundos. |
Para mais informações e exemplos de código, consulte os seguintes tópicos: