Os data warehouses tradicionais são hospedados no local, com dados fluindo de bancos de dados relacionais, sistemas transacionais, aplicativos de negócios e outros sistemas de origem. No entanto, eles geralmente são projetados para capturar um subconjunto de dados em lotes e armazená-lo com base em esquemas rígidos, o que os torna inadequados para consultas espontâneas ou análises em tempo real. As empresas também precisam comprar o próprio hardware e software em um data warehouse no local, o que torna o escalonamento e a manutenção caros. Em um warehouse tradicional, o armazenamento costuma ser limitado em comparação com a computação. Por isso, os dados são transformados rapidamente e depois descartados para liberar espaço de armazenamento.

As atividades de análise de dados de hoje se transformaram no centro de todas as principais atividades de negócios, incluindo geração de receita, contenção de custos, melhoria de operações e aprimoramento das experiências do cliente. À medida que os dados evoluem e se diversificam, as organizações precisam de soluções de data warehouse mais robustas, além de ferramentas analíticas avançadas para armazenar, gerenciar e analisar grandes quantidades de dados nas organizações. 

Esses sistemas precisam ser escalonáveis, confiáveis, seguros o suficiente para setores regulamentados e flexíveis o suficiente para oferecer suporte a uma ampla variedade de tipos de dados e casos de uso de Big Data. Eles também precisam oferecer suporte a preços e computação flexíveis, para que você pague apenas pelo que precisar, em vez de adivinhar sua capacidade. Os requisitos vão além dos recursos da maioria dos data warehouses legados. Como resultado, muitas empresas estão adotando soluções de data warehouse baseadas na nuvem.

Um data warehouse em nuvem não compensa nada de um data warehouse tradicional, mas amplia os recursos e é executado em um serviço totalmente gerenciado na nuvem. O armazenamento em data warehouse em nuvem oferece escalonabilidade instantânea para atender aos requisitos de negócios em constante mudança e um processamento de dados avançado para oferecer suporte a consultas analíticas complexas. 

Com um data warehouse em nuvem, você se beneficia da flexibilidade inerente de um ambiente de nuvem com custos mais previsíveis. O investimento inicial geralmente é muito menor e os tempos de lead são menores com soluções de data warehouse no local, porque o provedor de serviços em nuvem gerencia e mantém a infraestrutura física. 

Assim como um data warehouse tradicional, os data warehouses em nuvem coletam, integram e armazenam dados de fontes internas e externas. Normalmente, os dados são transferidos de um sistema de origem usando um pipeline de dados. Os dados são extraídos do sistema de origem, transformados e carregados no data warehouse em um processo conhecido como ETL (extrair, transformar, carregar). Os dados também podem ser enviados diretamente para um repositório central e convertidos usando processos de extração, carregamento e transformação (ELT, na sigla em inglês). A partir daí, os usuários podem usar diferentes ferramentas de Business Intelligence (BI) para acessar, minerar e gerar relatórios sobre dados. Os data warehouses em nuvem também precisam oferecer suporte a casos de uso de streaming para ativação em dados em tempo real ou quase em tempo real.

Os data warehouses em nuvem oferecem armazenamento, processamento, integração, limpeza, carregamento e outros dados estruturados e semiestruturados de dados em um ambiente de nuvem pública. Também é possível usá-los com um data lake em nuvem para coletar e armazenar dados não estruturados. Com alguns provedores, é possível até mesmo unificar seu data warehouse e data lake para manter e gerenciar de forma centralizada uma única cópia dos dados da sua empresa. 

Provedores de nuvem diferentes podem adotar diversas abordagens quando se trata de serviços de data warehouse em nuvem. Por exemplo, alguns data warehouses em nuvem podem usar uma arquitetura baseada em cluster semelhante a um data warehouse tradicional. Por outro lado, outras adotam uma arquitetura sem servidor moderna, que minimiza ainda mais as responsabilidades de gerenciamento de dados. No entanto, a maioria dos data warehouses em nuvem oferece armazenamento de dados embutido e recursos de gerenciamento de capacidade, além de upgrades automáticos.

Outros recursos importantes que os data warehouses em nuvem incluem: 

• Processamento paralelo massivo (MPP, na sigla em inglês)
• Armazenamentos de dados em colunas
• Integração de dados ETL e ELT com autoatendimento  
• Recursos de recuperação de desastres e backups automáticos
• Ferramentas de compliance e governança de dados
• Integrações integradas para BI, IA e machine learning

O armazenamento de dados em nuvem oferece uma variedade de soluções que podem beneficiar uma organização. Aqui estão alguns dos casos de uso mais comuns de data warehouse:

Tomar decisões em tempo real: analise dados em tempo real para enfrentar desafios, identificar oportunidades, aumentar a eficiência, reduzir custos e responder proativamente a eventos de negócios de maneira proativa.

Consolidação de dados isolados: extraia rapidamente dados de várias fontes estruturadas em toda a organização, como sistemas de ponto de venda, sites e listas de e-mails, e reúna esses dados em um só local para realizar análises. e gerar insights.

Ativação de relatórios de negócios e análises ad-hoc: mantenha os dados históricos em um servidor separado dos dados operacionais para que os usuários finais possam acessá-los e executar as próprias consultas e relatórios sem afetar o desempenho dos sistemas operacionais ou esperar de TI.

Implementação de machine learning e IA: colete dados históricos e em tempo real para desenvolver algoritmos que possam fornecer insights preditivos, como antecipar picos de tráfego ou sugerir produtos relevantes para um cliente que está navegando em um site.

Algumas empresas e setores exigem análise de dados que não é apenas massivamente escalonada, mas também contínua e em tempo real. Por exemplo, alguns provedores de serviço usam dados em tempo real para ajustar os preços dinamicamente ao longo do dia. As seguradoras rastreiam apólices, vendas, reclamações, folha de pagamento e muito mais. Elas também usam o machine learning para prever fraudes. As empresas de jogos devem rastrear e reagir ao comportamento do usuário em tempo real para aprimorar a experiência do jogador. Os armazenamentos de dados tornam todas essas atividades possíveis.

Se sua organização tem algum destes itens ou realiza alguma destas ações, você provavelmente é um bom candidato ao armazenamento de dados:

• Várias fontes de dados diferentes
• Análise e visualização de Big Data, de forma assíncrona e em tempo real
• Modelos de machine learning e outros processos orientados por IA
• Análise de streaming
• Geração de relatórios personalizados/análises ad-hoc
• Prospecção de dados
• Ciência de dados e análise geoespacial

Ao escolher um data warehouse baseado em nuvem, é essencial avaliar como as soluções funcionam e entender melhor os casos de uso atuais que o data warehouse em nuvem vai precisar oferecer. 

Ao escolher entre diferentes provedores, há muitas considerações além dos recursos de armazenamento, incluindo diferenças em arquitetura, escalonabilidade, segurança, preços, desempenho e muito mais. Por exemplo, você pode achar que uma solução simples de implementar não é tão fácil de escalonar ou talvez precise treinar todos os analistas de dados novamente e comprar licenças adicionais para atualizar seu sistema atual. 

Além de analisar as diferenças entre fornecedores, também é importante considerar o que a migração para um data warehouse em nuvem implicará especificamente e como isso se relaciona aos seus investimentos em TI e necessidades comerciais específicas. 

Os data warehouses empresariais desempenham um papel central na tomada de decisões de uma organização. Portanto, é importante entender bem os requisitos de negócios, os casos de uso atuais e as lacunas das soluções atuais. Pode ser útil envolver as principais partes interessadas no início do processo para ajudar a descobrir as implicações de substituir uma solução de data warehouse legado, os requisitos funcionais para enfrentar desafios e informações técnicas detalhadas sobre fontes de dados, ferramentas, frameworks e muito mais.