Comece a usar o Dataflow

O serviço Dataflow executa pipelines definidos pelo SDK do Apache Beam. No entanto, para muitos exemplos de utilização, não precisa de escrever código com o SDK, porque o Dataflow oferece várias opções sem código e com pouco código.

  • Modelos. O Dataflow oferece modelos pré-criados para mover dados de um produto para outro. Por exemplo, pode usar um modelo para mover dados do Pub/Sub para o BigQuery.

  • Criador de tarefas. O criador de tarefas é uma IU visual para criar pipelines do Dataflow naGoogle Cloud consola. Suporta um subconjunto de origens e destinos do Apache Beam, bem como transformações, como junções, funções Python e consultas SQL. Recomendamos o criador de tarefas para exemplos de utilização simples, como a movimentação de dados.

  • Transformações prontas a usar para aprendizagem automática. Para pipelines de aprendizagem automática (AA), o Dataflow oferece transformações prontas a usar que requerem um código mínimo para configurar. Como ponto de partida, execute um exemplo de bloco de notas de ML no Google Colab. Para saber mais, consulte a vista geral do Dataflow ML.

  • SDK do Apache Beam. Para tirar o máximo partido do Apache Beam, use o SDK para escrever um pipeline personalizado em Python, Java ou Go.

Para ajudar na sua decisão, a tabela seguinte apresenta alguns exemplos comuns.

Quero … Abordagem recomendada
Mover dados de uma origem para um destino, sem lógica personalizada.

Criador de tarefas ou modelo

Recomendamos que comece com o criador de empregos. Se o criador de tarefas não suportar o seu exemplo de utilização, verifique se existe um modelo para o mesmo.
Mover dados de uma origem para um destino e aplicar lógica personalizada através de funções Python ou SQL. Criador de tarefas
Usar um modelo de ML no meu pipeline ou preparar os meus dados para preparação ou inferência. Dataflow ML transformações prontas a usar
Escrever um pipeline que requer funcionalidades mais avançadas do Apache Beam. SDK do Apache Beam para Java, Python ou Go

O que se segue?