Como criar um data lake no Google Cloud

Armazene, processe e analise todos os seus dados de uma maneira ágil e econômica.

Visão geral do data lake do Cloud

Transforme dados brutos em inovação

Onde estão seus dados hoje? Você está usando todo esse potencial? Carregue toda sua estrutura ou base de dados desestruturada no Google Cloud e nossas ferramentas de processamento, análise e machine learning vão transformá-la em insights para gerar crescimento ao seu negócio.

De ingestão a insights

Dados no data lake do GCP

Fácil migração para a nuvem

Seus dados são em lote ou streaming? Está migrando de rede usando o Transfer Appliance offline ou capturando streams em tempo real? Seja qual for a localização dos seus dados e a maneira que você precisa gerenciar a transição, facilitamos a migração para o Google Cloud onde você pode contar com durabilidade de 99,999999999% do Cloud Storage.

Como armazenar dados em escala de petabytes

Armazenamento flexível, potente e econômico

Nossa habilidade dissociar armazenamento e computadores físicos Várias classes de armazenamento significam que você pode otimizar suas aplicações para aprimorar os custos e a disponibilidade, sem a necessidade de esquemas de design. Além disso, com a compatibilidade com o Google Cloud Platform, você pode testar rapidamente com dados e análises novas para qualquer caso de uso.

Processar dados

Processe dados da sua maneira

Com o Cloud Storage, você pode processar dados da maneira que fizer sentido para seus negócios. Use o Cloud Dataproc, nosso serviço Apache Hadoop e Apache Spark totalmente gerenciado, para executar clusters em segundos e pagar apenas pelo tempo de uso. Com o Cloud Dataflow, nosso serviço Apache Beam totalmente gerenciado, você pode trabalhar com cargas de trabalho em streams e lotes em uma experiência sem servidor que elimina as complexidades de provisionamento e gerenciamento.

Armazenamento de dados sem servidor

Visualizações e painéis rápidos

Que realizar análises de dados estruturados em alta velocidade em grandes volumes de dados? Com o BigQuery, o armazenamento de dados em escala de petabytes e sem servidor do Google Cloud, você pode configurar seu armazenamento em segundos, iniciar imediatamente a consulta de dados e criar relatórios de business intelligence e informações comerciais em instantes com o BigQuery BI Engine na memória.

Análise avançada usando ML

Novos insights de machine learning

Nossas integrações nativas com o Cloud AI proporcionam ao seu data lake um amplo potencial de aplicações de machine learning, desde o desbloqueio de insights ocultos nas suas imagens e vídeos até a implantação de algoritmos de ML de grande escala. Nosso recurso BigQuery ML integrado é fácil de usar e democratiza o acesso ao machine learning, além de oferecer suporte à cultura orientada a dados na sua empresa, possibilitando que qualquer pessoa crie e implante modelos.

Tudo pronto para criar seu data lake?

Como mapear cargas de trabalho locais de data lake do Hadoop em produtos do GCP

Building a cloud data lake on GCPYESNOIm processingstreaming dataWe useApache BeamWe useApache Spark or KafkaCloud DataflowCloud DataprocCloud DataprocIm doinginteractive dataanalysis orad-hoc queryingWe use Apache Sparkwith interactive webnotebooksAre you interested in keepingthese SQL queries as they are?Cloud Dataproc in combinationwith Jupyter or Zeppelinoptional componentsCloud DataprocNo, Im interested inlearning more abouta serverless solution.YESNONo, Im interested inlearning more abouta managed solution.BigQueryWe use SQL with Apache Hive,Apache Drill, Impala,Presto or similarCloud DataprocCloud DataprocIm doing ELT/ETLor batch processingWe use MapReduce,Spark, Pig, or HiveWe use Oozie forworkflow orchestrationCloud ComposerAre you interested inkeeping these workflowjobs as they are?Im supportingNoSQL workloadsWe useApache AccumuloCloud DataprocYESNONeed to use coprocessorsor SQL with Apache Phoenix?Cloud DataprocCloud BigtableWe useApache HBaseIm running anApache Hadoopclusteron-premises

Recursos