Solução de análise de stream

Ingestão, processamento e análise de streams de eventos em tempo real para infraestruturas totalmente gerenciadas

Faça uma avaliação gratuita Entre em contato com a equipe de vendas

Análise de stream aberta e integrada

A análise de stream surgiu como uma alternativa mais simples e rápida para ETL em lote. O objetivo é extrair o valor máximo de eventos e aplicativos de interação com o usuário, além de registros de máquina. A ingestão, o processamento e a análise rápida e eficiente desses streams de dados são essenciais para detecção de fraude, análise de sequência de cliques e recomendações on-line, entre vários outros exemplos. Para esses casos de uso, o Google Cloud oferece uma solução de análise de stream aberta e integrada, fácil de adotar, escalonar e gerenciar.

Resposta a eventos em tempo real

Faça a ingestão de milhões de eventos de streaming por segundo de qualquer lugar do mundo por meio do Cloud Pub/Sub, com a tecnologia de rede privada exclusiva e de alta velocidade do Google. Processe os streams com o Cloud Dataflow para assegurar uma transformação de dados única, confiável e de baixa latência. Envie os dados transformados ao BigQuery, o serviço de armazenamento de dados nativo da nuvem, para análise imediata via SQL ou outras ferramentas de visualização conhecidas. Por fim, adicione análise preditiva a atividades como detecção de fraudes, personalização em tempo real e casos de uso similares ao integrar APIs e modelos do Cloud Machine Learning baseados em TensorFlow aos seus canais de dados por streaming.

Desenvolvimento acelerado, sem comprometer nada

A análise de stream no GCP simplifica canais ETL sem comprometer a solidez, a precisão ou a funcionalidade. O Cloud Dataflow possibilita o desenvolvimento rápido de canais por meio de APIs expressivas em Java e Python no SDK do Apache Beam. Elas fornecem um conjunto avançado de bases de análise de janelas e sessões, assim como um ecossistema de conectores de coletor e fonte. Além disso, com o modelo de desenvolvimento exclusivo e unificado do Beam, é possível reutilizar mais códigos nos canais de stream e em lote.

Operações e gerenciamento simplificados

Quando você implementar seus canais de processamento de dados por streaming, a abordagem sem servidor do GCP removerá a sobrecarga operacional com o gerenciamento automático de desempenho, escalonabilidade, segurança e conformidade. Por meio da integração com o Stackdriver, a solução de monitoramento e geração de registros unificada do GCP, você faz o monitoramento e resolve problemas nos seus canais enquanto eles estão em execução. A visualização sofisticada, a geração de registros e o sistema de alertas avançado ajudam você a identificar e a tomar medidas em relação a possíveis problemas.

Use suas ferramentas e sistemas favoritos

A análise de stream no GCP foi projetada para ser aberta e interoperável. A API aberta e os diversos clientes do Cloud Pub/Sub permitem implantações híbridas e em várias nuvens. Para os usuários do Apache Kafka, o Confluent é o método recomendado pelo Google para executar o Kafka gerenciado. Além disso, um conector do Cloud Dataflow facilita a integração por conta própria com o GCP. O BigQuery funciona perfeitamente com as ferramentas de ETL e BI que você já conhece por meio de SQL padrão. Podem ser usados no Cloud Dataflow, no Apache Spark e no Apache Flink canais de processamento de dados escritos com o SDK 2.x do Cloud Dataflow baseado em Beam. Por fim, o suporte a Spark está disponível via Cloud Dataproc para cargas de trabalho por streaming e em lote.

COMPONENTES DA SOLUÇÃO

Serviço Caso de uso para análise de stream
Cloud Pub/Sub Para ingestão de dados por streaming em grande escala originados de qualquer lugar do mundo. Alternativa de código aberto para esta solução: Apache Kafka.
Cloud Dataflow Para transformar e enriquecer dados ingeridos pelos modos de streaming e em lote com a mesma confiabilidade e expressividade. Alternativa de código aberto para esta solução: Spark no Cloud Dataproc.
BigQuery Serviço de armazenamento de dados totalmente gerenciado e compatível com 100 mil inserções de linhas de streaming por segundo, que permite análise ad hoc de dados em tempo real com SQL padrão.
Apache Beam Biblioteca de desenvolvimento unificada para programação de canais por streaming e em lote. Fornecido pelo Google como SDK 2.x do Cloud Dataflow.
Cloud Machine Learning Adicione uma camada extra de inteligência ao seu canal com o uso de modelos de aprendizado de máquina baseados em TensorFlow personalizados (Cloud Machine Learning Engine) ou prontos (APIs do Google Cloud) para executar os streams de eventos.
Cloud Bigtable Repositório de chave-valor com baixa latência e colunas largas, ideal para séries temporais de alto volume e aplicativos de leitura sensíveis à latência.

Outros recursos

Processamento único

Saiba o que significa "processamento único" no Cloud Dataflow.

Veja a postagem no blog

Cloud Dataflow: canais de amostra

Saiba como os canais funcionam por meio de exemplos de jogos para dispositivos móveis.

Veja a documentação

Codelab: NYC Taxi Tycoon

Use uma experiência prática de desenvolvimento de código com instruções passo a passo para aprender a processar dados por streaming com o Dataflow e o Pub/Sub.

Confira o app de amostra

Soluções para serviços financeiros

Crie um sistema de análise em tempo real com escalonabilidade capaz de processar milhares de streams de dados simultâneos.

Leia o artigo sobre a solução

Diagrama da arquitetura

Conheça a arquitetura ideal para otimizar a ingestão de análise em grande escala no Google Cloud Platform.

Leia o artigo

Princípios básicos do streaming

Leia o artigo inovador de Tyler Akidau sobre o mundo além do processamento em lote.

Leia o artigo