conceitos

• Modelo de programação do Apache Beam

  Uma visão geral do modelo de programação unificado do Apache Beam para processamento de dados em lote e streaming. Saiba mais sobre os fundamentos do modelo de programação, incluindo canais, PCollections, transformações e E/S de canais.

• Pipelines de streaming

  Uma visão geral de como o Dataflow processa dados de streaming.

• Modelos do Dataflow

  Uma visão geral de como usar modelos do Dataflow para organizar seus pipelines no Google Cloud e executá-los usando o Console do Google Cloud, a Google Cloud CLI ou as chamadas de API REST.

• Segurança e permissões

  Uma visão geral de como segurança e permissões de dados e recursos de nuvem gerenciados do pipeline são processados pelo Dataflow.

• Controle de acesso com o IAM

  Uma visão geral de como o acesso de usuários do projeto a recursos específicos do Dataflow é controlado.

• Dependências de SDK e worker

  Uma visão geral das informações de pacote de worker e dependência para os SDKs do Apache Beam e do Dataflow.

• Endpoints regionais

  Uma visão geral dos endpoints regionais do Dataflow usados para especificar uma região com o objetivo de implantar os jobs.

• Streaming com o Pub/Sub

  Uma visão geral da integração do Dataflow com o Pub/Sub.

• Suporte a GPUs

  Uma visão geral de como as GPUs funcionam com o Dataflow.

• Detalhes da execução

  Uma visão geral da guia Detalhes da execução na interface do usuário de monitoramento baseada na Web.

• Registro de auditoria

  Uma visão geral dos registros de auditoria criados pelo Dataflow como parte dos registros de auditoria do Cloud.