Todas as amostras de código do Dataflow
Esta página contém amostras de código do Dataflow. Para pesquisar e filtrar exemplos de código de outros produtos Google Cloud , consulte a pesquisa de exemplos de código doGoogle Cloud .
Acessar detalhes da execução do estágio (Ruby)
Demonstra como acessar informações sobre os workers e itens de trabalho em um estágio.
- Dataflow
- Ruby
Acessar o estado de um job de forma assíncrona
Demonstra como receber o estado de um job especificado de forma assíncrona.
- Dataflow
- JavaScript
- Java
- Node JS
- C#
- Python
Gravar no BigQuery usando um esquema de tabela
Gravar do Dataflow em uma tabela nova ou atual do BigQuery, fornecendo um esquema de tabela
- Dataflow
- Java
Listar jobs (assíncronos)
Demonstra como listar jobs de maneira assíncrona.
- Dataflow
- JavaScript
- Python
- C#
- Java
- Node JS
Acessar um modelo (assíncrono)
Demonstra como receber metadados e metadados de tempo de execução sobre um modelo.
- Dataflow
- Java
- Node JS
- JavaScript
- Python
- C#
Gravar no Apache Iceberg
Usar a transformação de E/S gerenciada do Dataflow para gravar no Apache Iceberg
- Dataflow
- Java
Snapshot do estado de um job de streaming (Ruby)
Demonstra como criar um snapshot do estado de um job de streaming.
- Dataflow
- Ruby
Receber detalhes da execução do job
Demonstra como solicitar informações detalhadas sobre o status da execução do job.
- Dataflow
- Python
- Java
- Go
- C#
Grave mensagens com atributos personalizados no Pub/Sub
Use o Dataflow para gravar mensagens com atributos personalizados no Pub/Sub
- Dataflow
- Python
- Java
Verificar se há jobs ativos em um projeto (assíncronos)
Demonstra como verificar de forma assíncrona se os jobs ativos existem em um projeto.
- Dataflow
- Python
- C#
- JavaScript
- Node JS
- Java
Listar os jobs de um projeto em todas as regiões
Demonstra como listar os jobs de um projeto em todas as regiões.
- Dataflow
- C#
- Java
- Python
- Go
Fazer streaming para o BigQuery com processamento único
Use a API Storage Write para fazer streaming do Dataflow para o BigQuery com processamento único
- Dataflow
- Java
Criar um job a partir de um modelo
Demonstra como criar um job usando um modelo.
- Dataflow
- Python
- Ruby
- Go
- C#
- Java
Acessar detalhes da execução do estágio (assíncrono)
Demonstra como acessar informações sobre os workers e itens de trabalho em um estágio.
- Dataflow
- C#
- JavaScript
- Python
- Node JS
- Java
Atualizar o estado de um job atual (assíncrono)
Demonstra como atualizar o estado de um job atual de forma assíncrona.
- Dataflow
- Python
- Node JS
- JavaScript
- C#
- Java
Snapshot do estado de um job de streaming (assíncrono)
Demonstra como criar um snapshot do estado de um job de streaming de maneira assíncrona.
- Dataflow
- C#
- Node JS
- JavaScript
- Java
- Python
Acessar métricas do job
Demonstra como coletar um conjunto de métricas que descrevem o progresso de um job.
- Dataflow
- C#
- Java
- Python
- Go
Enviar texto para o Cloud Storage
Use o conector TextIO para gravar arquivos de texto em um bucket do Cloud Storage.
- Dataflow
- Python
- Java
Verificar se há jobs ativos em um projeto
Demonstra como verificar se os jobs ativos existem em um projeto.
- Dataflow
- Go
- Python
- Java
- C#
Verificar se há jobs ativos em um projeto (Ruby)
Demonstra como verificar se os jobs ativos existem em um projeto.
- Dataflow
- Ruby
Acessar um snapshot (assíncrono)
Demonstra como receber um snapshot.
- Dataflow
- JavaScript
- Java
- C#
- Node JS
- Python
Criar um job de maneira assíncrona
Demonstra como criar um job de maneira assíncrona.
- Dataflow
- C#
- Java
- Python
- JavaScript
- Node JS
Executar um modelo
Neste exemplo, demonstramos a execução básica de um modelo do Dataflow por nome do job e caminho do modelo.
- Dataflow
- Python
Instantâneo do estado de um job de streaming
Demonstra como criar um snapshot do estado de um job de streaming.
- Dataflow
- Java
- Python
- Go
- C#
Listar mensagens do job (assíncrono)
Demonstra como solicitar uma lista de mensagens de job de forma assíncrona.
- Dataflow
- Python
- Node JS
- Java
- C#
- JavaScript
Acessar métricas do job (Ruby)
Demonstra como coletar um conjunto de métricas que descrevem o progresso de um job.
- Dataflow
- Ruby
Ler com projeção e filtragem
Use o conector do BigQueryIO no modo DIRECT_READ com projeção e filtragem de colunas.
- Dataflow
- Java
Acessar detalhes da execução do job (Ruby)
Solicite informações detalhadas sobre o status da execução do job.
- Dataflow
- Ruby
Listar mensagens do job
Demonstra como solicitar uma lista de mensagens de job.
- Dataflow
- Python
- Java
- C#
- Go
Ler vários tópicos do Kafka no Dataflow
Mostra como criar um pipeline do Dataflow que lê de vários tópicos do Kafka e executa diferentes lógicas de negócios com base no nome do tópico.
- Dataflow
- Python
- Java
Iniciar um modelo Flex de forma assíncrona
Demonstra como iniciar um modelo Flex de forma assíncrona.
- Dataflow
- Node JS
- C#
- Python
- JavaScript
- Java
Listar os jobs de um projeto em todas as regiões (Ruby)
Demonstra como listar os jobs de um projeto em todas as regiões.
- Dataflow
- Ruby
Receber detalhes da execução do job (assíncrono)
Demonstra como solicitar de maneira assíncrona informações detalhadas sobre o status de execução do job.
- Dataflow
- JavaScript
- Node JS
- Java
- C#
- Python
Excluir um snapshot (assíncrono)
Demonstra como excluir um snapshot.
- Dataflow
- Python
- Java
- C#
- JavaScript
- Node JS
Receber detalhes da execução do estágio
Demonstra como acessar informações sobre os workers e itens de trabalho em um estágio.
- Dataflow
- Java
- C#
- Python
- Go
Listar os jobs de um projeto em todas as regiões (assíncronos)
Demonstra como listar os jobs de um projeto em todas as regiões de maneira assíncrona.
- Dataflow
- JavaScript
- Java
- C#
- Python
- Node JS
Criar um job a partir de um modelo (assíncrono)
Demonstra como criar um job usando um modelo.
- Dataflow
- Python
- Node JS
- C#
- JavaScript
- Java
Atualizar o estado de um job atual
Demonstra como atualizar o estado de um job atual.
- Dataflow
- Go
- Python
- C#
- Java
Usar chaves de criptografia gerenciadas pelo cliente
Nesta amostra, mostramos como usar chaves de criptografia gerenciadas pelo cliente com um pipeline do Dataflow.
- Dataflow
- Python
- Java
Ler no Apache Iceberg
Usar a transformação de E/S gerenciada do Dataflow para ler dados do Apache Iceberg
- Dataflow
- Java
Ler do Cloud Storage
Criar um pipeline do Dataflow para ler de um bucket do Cloud Storage
- Dataflow
- Java
Ler do Apache Kafka para o Dataflow
Mostra como criar um pipeline do Dataflow que faz leituras no Apache Kafka
- Dataflow
- Python
- Java
Iniciar um modelo (assíncrono)
Demonstra como iniciar um modelo.
- Dataflow
- C#
- Node JS
- Java
- JavaScript
- Python
Receber um modelo
Demonstra como receber metadados e metadados de tempo de execução sobre um modelo.
- Dataflow
- Ruby
- Go
- Java
- C#
- Python
Acessar métricas do job (assíncrono)
Demonstra como coletar um conjunto de métricas que descrevem o progresso detalhado de um job.
- Dataflow
- C#
- Java
- Python
- JavaScript
- Node JS