A principal diferença entre esses dois sistemas é como eles lidam com a estrutura e o uso dos dados. Um data lake é para dados brutos e não estruturados, enquanto um data warehouse é para dados estruturados e processados.

Os cientistas de dados geralmente precisam criar um modelo de IA que possa detectar reservas fraudulentas em tempo real. Como os dados vêm de vários lugares, como registros de sites, eventos de apps para dispositivos móveis e parceiros terceirizados, um data lake funciona melhor para treinar modelos de IA.

Comece configurando um pipeline para enviar todos os eventos brutos para o Cloud Storage. Isso inclui arquivos JSON desorganizados do site e registros binários do app para dispositivos móveis. Você não precisa se preocupar em formatar os dados ainda, porque o Cloud Storage foi criado para esse tipo de escala.

Para que os dados sejam úteis para o modelo de IA, é necessário limpá-los. Você pode usar o Google Cloud Service para Apache Spark para executar um job do Apache Spark sem servidor. Isso permite transformar milhões de registros brutos em um formato estruturado sem precisar gerenciar servidores ou clusters.

Agora que os dados estão prontos, você pode inseri-los em uma ferramenta de machine learning. Como os dados brutos originais ainda estão no lake, você sempre pode voltar e analisar os detalhes "ocultos" que podem ajudar a melhorar ainda mais o modelo.

Ao usar um data lake, você pode armazenar tudo a baixo custo e processar apenas o que é necessário quando for a hora de criar o modelo.

Agora, vamos analisar um caso de uso de ciência de dados para varejistas. Você pode prever quantos casacos de inverno a empresa vai vender no mês seguinte. Como os dados de vendas já estão limpos e armazenados em um banco de dados, é recomendável usar um data warehouse para essa tarefa.

Comece com o BigQuery, que atua como o data warehouse central de uma empresa. Os dados de vendas já estão organizados em tabelas com colunas para datas, preços e IDs de produtos. Como os dados já estão estruturados, você não precisa gastar tempo limpando-os.

Escreva uma consulta SQL para conferir os últimos cinco anos de vendas de inverno. Mesmo com bilhões de linhas de dados, o BigQuery encontra a resposta em segundos. Essa velocidade permite que você teste ideias diferentes e refine a previsão rapidamente.

Quando a previsão estiver pronta, você poderá usar uma ferramenta integrada para criar um painel. A equipe de marketing agora pode ver exatamente quantos casacos precisa encomendar. Como o BigQuery é sem servidor, a empresa paga apenas pelas consultas executadas, o que mantém os custos baixos.

Nesse caso de uso, o data warehouse é a melhor ferramenta porque fornece respostas rápidas e confiáveis a perguntas específicas de negócios usando dados que já estão em um formato utilizável.