Parcerias e integrações do Dataflow

Os parceiros do Google Cloud integraram o Dataflow com alguns dos produtos líderes do setor para análise e processamento de dados. As integrações são realizadas com APIs abertas fornecidas pelo Dataflow.

Integrações de serviço do Dataflow

Logotipo da Confluent

O Confluent Cloud é um serviço de dados de streaming totalmente gerenciado com base no Apache Kafka de código aberto. Engenheiros que queiram criar aplicativos de streaming podem começar em poucos minutos com um cluster Kafka totalmente construído e serviços relacionados. Oferecendo o mais alto SLA do setor e apoiado pela profunda experiência dos criadores do Apache Kafka, o Confluent Cloud permite que você implante seus aplicativos essenciais aos negócios em qualquer escala e com total confiança. O Dataflow oferece total integração com o Apache Kafka como origem/coletor para pipelines de streaming, e o Confluent Cloud pode ajudar a reduzir ainda mais a sobrecarga de gerenciamento para sua infraestrutura de streaming.

Logotipo do Talend

A Talend Cloud oferece uma plataforma única para tarefas de integração de dados simples e complexas em nuvem pública, privada e híbrida, bem como ambientes locais e maior colaboração entre TI e equipes comerciais. Combinado com soluções de autoatendimento e centenas de conectores pré-criados de aplicativos SaaS, a Talend permite atender de forma econômica às demandas de volumes de dados, usuários e casos de uso cada vez maiores. A Talend Cloud oferece aos desenvolvedores um editor visual para construir pipelines de dados executados com o serviço do Dataflow.

Logotipo da Snowplow

Com a Snowplow, é possível coletar dados de eventos avançados e de alta qualidade de todas as suas plataformas e produtos. Seus dados estão disponíveis em tempo real e são entregues ao BigQuery ou ao armazenamento de dados de sua preferência podendo ser facilmente combinados a outros conjuntos de dados e usados para fornecer ferramentas de BI, relatórios personalizados ou modelos de aprendizado de máquina.

O pipeline da Snowplow usa o Dataflow para processamento de dados e é executado no projeto do Google Cloud, o que garante a propriedade e o controle completos dos seus dados. Veja um exemplo de ponta a ponta (em inglês).

Executores de SDK do Dataflow

Logotipo da Ververica

A Ververica permite análise de stream para as massas por meio de sua plataforma de código aberto, a Apache Flink, um mecanismo de processamento de stream que fornece distribuição de dados, comunicação e tolerância a falhas para cálculos distribuídos em streams de dados. A Apache Flink fornece um back-end portátil para seus programas gravados no Apache Beam, o SDK de código aberto para o Dataflow. Saiba mais sobre o executor de Flink neste link ou visualize no GitHub (páginas em inglês).