Análise de stream e insights em tempo real

Fazer a ingestão, o processamento e a análise de streams de evento em tempo real

Teste gratuitamente Entre em contato com a equipe de vendas

Muita facilidade nos processos em tempo real

A análise de stream do Google Cloud pode tornar seus dados organizados, úteis e acessíveis a partir do momento em que são gerados. Ela tem como base a infraestrutura de escalonamento automático dos principais componentes da plataforma, como Cloud Pub/Sub, Cloud Dataflow e BigQuery, a solução de streaming do Google reduz a complexidade ao provisionar os recursos específicos necessários para ingerir, processar e analisar volumes instáveis de dados em tempo real. Com o provisionamento estabelecido, o Google Cloud torna a análise de stream acessível para analistas e engenheiros de dados por meio de ferramentas simples e conhecidas.

Análise de stream do Google Cloud

Escalonar a infraestrutura verticalmente e reduzir os problemas

A infraestrutura de streaming do Google Cloud realiza um escalonamento automático para corresponder às necessidades específicas do seu job, mesmo se elas não tiverem sido completamente estabelecidas. Isso significa que é possível reduzir os desafios de volumes de dados variáveis, otimização de desempenho, provisionamento de recursos e muito mais, enquanto você se concentra em análises e insights em tempo real. O planejamento com antecedência e o excesso de provisionamento não serão necessários, assim como não será preciso pagar caro por recursos que não serão utilizados.

Escalonamento vertical de infraestrutura

Adotar a ingestão simples para eventos complexos

O Cloud Pub/Sub, o serviço de ingestão de stream do Google Cloud, pode ingerir e exibir milhões de eventos a cada segundo. Com o Cloud Pub/Sub, assim que um evento for publicado em um tópico, qualquer número de pipelines de dados poderão recebê-lo. Tópicos globais fazem com que a ingestão possa ser realizada sem problemas nas suas escolhas de região geográfica, seja diretamente a partir de servidores ou de dispositivos conectados por meio do IoT Core. A API de streaming do BigQuery fornece ingestão direta de stream ao armazenamento de dados dos casos de uso ELT com base em SQL. Se você for usuário do Apache Kafka, use o Confluent, um Google Cloud Partner, para fornecer o Kafka como um serviço nativo.

Serviço de ingestão de stream

Unificar o processamento em stream e em lote sem bloqueios

O Cloud Dataflow foi projetado para lidar com streaming real, em que os dados que precisam ser aprimorados e transformados para análise vêm em modos de lote, stream e stream de arquivos. Engenheiros podem usar o mesmo código em todos os modos no Apache Beam, o SDK de código aberto do Cloud Dataflow. O Beam fornece portabilidade de pipeline para Apache Flink, Samza e outros frameworks em ambientes híbridos ou de várias nuvens, além de ter uma flexibilidade de linguagem que inclui Python, SQL e Java. O Dataflow realiza o gerenciamento de recursos e garante o processamento único, o que torna os pipelines de streaming confiáveis e consistentes.

Processamento em lote e em streaming real

Manter suas ferramentas atuais enquanto explora a IA de última geração

Arquiteturas no local atuais e de streaming na nuvem geralmente implantam o Apache Kafka e o Apache Spark. O Google Cloud pode conectar, migrar e ampliar essas soluções por meio do Confluent Cloud e do Cloud Dataproc. A combinação desses serviços com a GUI do Cloud Data Fusion permite que engenheiros e analistas de dados construam pipelines de streaming. Independentemente de como você escolher implementar a análise em tempo real, o portfólio vasto de produtos de IA do Google Cloud pode aprofundar sua análise de streaming e acelerar a ação, com ou sem machine learning.

Explorar a IA de última geração

COMPONENTES DA SOLUÇÃO

Serviço Caso de uso para análise de stream
Cloud Pub/Sub Para ingestão de dados por streaming em grande escala originados de qualquer lugar do mundo. Alternativa de código aberto para esta solução: Apache Kafka.
Cloud Dataflow Para transformar e enriquecer dados ingeridos pelos modos de streaming e em lote com a mesma confiabilidade e expressividade. Alternativa de código aberto para esta solução: Spark no Cloud Dataproc.
BigQuery Serviço de armazenamento de dados totalmente gerenciado e compatível com 100 mil inserções de linhas de streaming por segundo, que permite análise ad hoc de dados em tempo real com SQL padrão.
Apache Beam Biblioteca de desenvolvimento unificada para programação de pipelines por streaming e em lote. Fornecido pelo Google como SDK 2.x do Cloud Dataflow.
Cloud Machine Learning Adicione uma camada extra de inteligência ao seu pipeline com o uso de modelos de aprendizado de máquina baseados em TensorFlow personalizados (Cloud Machine Learning Engine) ou prontos (APIs do Google Cloud) para executar os streams de eventos.
Cloud Bigtable Repositório de chave-valor com baixa latência e colunas largas, ideal para séries temporais de alto volume e aplicativos de leitura sensíveis à latência.

Outros recursos

Processamento único

Saiba o que significa “processamento único” no Cloud Dataflow.

Veja a postagem no blog

Cloud Dataflow: pipelines de amostra

Saiba como os pipelines funcionam por meio de exemplos de jogos para dispositivos móveis.

Ver a documentação

Codelab: NYC Taxi Tycoon

Use uma experiência prática de desenvolvimento de código com instruções passo a passo para aprender a processar dados por streaming com o Dataflow e o Pub/Sub.

Conferir o app de amostra

Soluções para serviços financeiros

Crie um sistema de análise quase em tempo real com escalonabilidade capaz de processar milhares de streams de dados simultâneos.

Leia o artigo sobre a solução

Diagrama da arquitetura

Conheça a arquitetura ideal para otimizar a ingestão de análise em grande escala no Google Cloud Platform.

Leia o artigo

Princípios básicos do streaming

Leia o artigo inovador de Tyler Akidau sobre o mundo além do processamento em lote.

Leia o artigo