• Tópicos
  • O que é análise de streaming?

O que é análise de streaming?

A análise de streaming é o processamento e a análise de registros de dados continuamente, em vez de em lotes. Geralmente, a análise de streaming é útil para os tipos de fontes de dados que enviam dados em tamanhos pequenos (geralmente em kilobytes) em um fluxo contínuo conforme os dados são gerados.

Saiba mais sobre o Dataflow, o serviço de processamento de dados em lote e stream unificado do Google Cloud.

Visão geral da análise de streaming

A análise de streaming pode incluir uma ampla variedade de fontes de dados, como telemetria de dispositivos conectados, arquivos de registros gerados por clientes usando aplicativos da web, transações de comércio eletrônico ou informações de redes sociais ou serviços geoespaciais. Muitas vezes, é usada para agregação e correlação em tempo real, filtragem ou amostragem.

Os dados são tradicionalmente movidos em lotes. O processamento em lote geralmente processa grandes volumes de dados ao mesmo tempo, com longos períodos de latência. Por exemplo, um processo pode ser executado a cada 24 horas. Embora possa ser uma forma eficiente de lidar com grandes volumes de dados, não funciona com dados urgentes que devem ser transmitidos, porque esses dados podem estar desatualizados no momento em que são processados.

Como otimizar a análise de streaming

Quando as empresas estão coletando dados na ordem de centenas de milhares ou até milhões de eventos por segundo, o resultado são enormes conjuntos de dados. Os sistemas tradicionais podem levar dias para fornecer insights de dados nessa escala. 

Para gerar ações em tempo real, você precisa de processamento e análise de dados em tempo real. Isso pode ser feito com a plataforma e infraestrutura de streaming de dados certas. A análise de stream criada nos produtos e serviços do Google Cloud, por exemplo, permite às empresas ingerir, processar e analisar fluxos de dados em tempo real.

Casos de uso da análise de streaming

As empresas usam análises de streaming para analisar dados em tempo real e fornecer insights sobre uma ampla variedade de atividades, como medição, atividade do servidor, geolocalização de dispositivos ou cliques em sites. Prováveis casos de uso incluem:

Comércio eletrônico

Analise as sequências de cliques do usuário para otimizar a experiência de compra com preços, promoções e gerenciamento de inventário em tempo real.

Serviços financeiros

Analise a atividade da conta para detectar comportamento anômalo no fluxo de dados e gerar um alerta de segurança para comportamento anormal.

Serviços de investimento

Rastreie as mudanças do mercado e ajuste as configurações de carteiras de clientes com base nas restrições configuradas, como a venda quando um determinado valor de estoque é alcançado.

Imprensa

Faça streaming de registros de cliques de usuários de várias plataformas de fontes de notícias e enriqueça os dados com informações demográficas para entregar artigos que são relevantes para o público-alvo.

Utilitários

Monitore a capacidade em uma rede elétrica e gere alertas ou inicie fluxos de trabalho quando os limites estabelecidos forem atingidos.

A análise de stream do Google Cloud torna os dados mais organizados, úteis e acessíveis assim que são gerados. Criada na infraestrutura de escalonamento automático do Pub/Sub, Dataflow, e BigQuery, a análise de stream do Google Cloud provisiona os recursos de que precisa para ingerir, processar e analisar volumes flutuantes de dados em tempo real para insights e ações de negócios em tempo real. Este provisionamento abstraído reduz a complexidade e torna a análise de stream mais acessível para os analistas e engenheiros de dados.