O que é Big Data?

Big Data refere-se a dados que normalmente seriam muito caros para armazenar, gerenciar e analisar usando sistemas de banco de dados tradicionais (relacionais e/ou monolíticos). Geralmente, esses sistemas são caros devido à sua inflexibilidade para armazenar dados não estruturados (como imagens, texto e vídeo), acomodar dados de "alta velocidade" (em tempo real) ou dimensionar para suportar volumes de dados muito grandes (em escala de petabytes).

Por isso, nos últimos anos houve a adoção predominante de novas abordagens para gerenciar e processar Big Data, incluindo os sistemas de banco de dados Apache Hadoop e NoSQL. No entanto, essas opções geralmente demonstram ser complexas para implantar, gerenciar e usar em uma situação no local.

De onde vem o Big Data?

Considerando que, no passado, a maioria dos dados de clientes podia ser categorizada como transações bem estruturadas (como bancos), hoje, o enorme "despejo" que as organizações produzem diariamente na forma de dados de interação on-line não estruturados supera o que foi produzido apenas alguns anos atrás. O recente surgimento da “Internet das Coisas”, o termo que descreve a rede global de bilhões de dispositivos e sensores interconectados, causou uma explosão no volume de dados na forma de texto, vídeo, imagens e até áudio. Finalmente, em alguns setores regulamentados, o acesso a dados que de outra forma seriam arquivados é agora necessário por motivos de conformidade.

Por que o Big Data é importante?

A capacidade de extrair o valor comercial dos dados de forma consistente agora é uma característica de organizações bem-sucedidas em todos os setores e tamanhos. Em alguns setores (como Varejo, Publicidade e Serviços Financeiros, com mais setores entrando constantemente para a lista), é até uma questão de sobrevivência.

A análise de dados só retorna mais valor quando você tem acesso a mais dados; portanto, organizações de vários setores descobriram que o Big Data é um recurso precioso para descobrir insights comerciais profundos. E, como os modelos de machine learning se tornam mais eficientes à medida que são “treinados” com mais dados, o machine learning e o Big Data são altamente complementares.

Como saberei se meus dados são "grandes"?

Embora muitas empresas ainda não tenham atingido a escala de petabytes em relação aos volumes de dados, é possível que os dados tenham uma das outras duas características que definem o Big Data. E, se há algo garantido é que seus dados crescerão com o tempo — provavelmente de forma exponencial. Nesse sentido, todos os "grandes dados" começam como "pequenos dados".

Por que a nuvem é a melhor plataforma para Big Data?

A computação em nuvem oferece acesso a armazenamento, processamento e análise de dados estruturados de forma escalonável, flexível e econômica. Essas características são essenciais para os clientes quando os volumes de dados crescem exponencialmente, e servem ao propósito de disponibilizar os recursos de armazenamento e processamento conforme necessário e para extrair valor desses dados. Além disso, para as organizações que estão começando a jornada da realização de análises de Big Data e machine learning, e que desejam evitar as complexidades potenciais dos sistemas de Big Data locais, o BigQuery oferece uma maneira de testar serviços gerenciados, como o Google BigQuery e o Google Cloud ML Engine, com pagamento por utilização.

Saiba mais: