Como analisar séries temporais financeiras usando o BigQuery e o Cloud Datalab

Esta solução ilustra o poder e a utilidade do BigQuery e do Cloud Datalab como ferramentas para análise quantitativa. A solução fornece uma introdução (este documento) e deixa você pronto para executar um tutorial do Cloud Datalab baseado em notebook.

Os analistas quantitativos usam várias ferramentas e técnicas de extração de Big Data, como o histórico de transações financeiras, para fornecer informações sobre as tendências do mercado. Como as cotações e as negociações ocorrem em intervalos previsíveis, esses dados representam uma série temporal financeira que pode ser analisada com o uso de técnicas estabelecidas, incluindo análise de frequência e médias móveis.

No entanto, lidar com grandes conjuntos de dados pode ser um desafio. As ferramentas tradicionais podem não ser escalonadas enquanto o conjunto de dados cresce. Os requisitos de armazenamento podem crescer tão rápido quanto o conjunto de dados. Por isso, fazer o download de dados para o disco rígido do seu computador não é mais uma abordagem viável. A recuperação dos subconjuntos certos de dados de uma consulta de banco de dados tradicional pode levar muito tempo.

O BigQuery resolve esses problemas permitindo que você execute consultas SQL e consiga resultados rapidamente por meio do poder de processamento da infraestrutura do Google. Você pode usar o BigQuery na Web, na linha de comando e por meio de APIs. Quando combinado com outros componentes do Google Cloud Platform (GCP) ou ferramentas de terceiros, o BigQuery permite que você crie os aplicativos de análise de dados de que você precisa agora, mas ainda assim, tenha certeza de poder escaloná-los no futuro.

Nesta solução, você usa um padrão poderoso para a análise de dados: o BigQuery cuida do trabalho pesado no SQL, e o Cloud Datalab faz manipulação e visualização detalhada de dados no Python.

A segurança é sempre importante quando lidamos com dados financeiros. O GCP ajuda a manter seus dados seguros, protegidos e particulares de várias maneiras, e todos os dados são criptografados durante a transmissão e em repouso. O GCP também é compatível com ISO 27001, ISO 27017, ISO 27018, SOC3, FINRA e PCI.

Objetivos

  • Carregar um conjunto de dados no BigQuery.
  • Usar o BigQuery e o Cloud Datalab para consultar dados financeiros de séries temporais.
  • Visualizar resultados de consulta no Cloud Datalab.

Custos

Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud Platform:

  • Cloud Datalab: os recursos necessários para executar o Cloud Datalab no GCP são faturáveis. Esses recursos incluem uma máquina virtual do Compute Engine, dois discos permanentes e espaço para backups do Cloud Storage. Para ver os detalhes, consulte a página de preços do Cloud Datalab.
  • BigQuery: este tutorial armazena quase 100 MB de dados no BigQuery e processa menos de 300 MB para executar as consultas uma vez. Essa quantidade de dados é coberta pelos limites gratuitos fornecidos pelo BigQuery a cada mês. Para ver os detalhes completos sobre os custos do BigQuery, consulte a página de preços do BigQuery.

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Usuários novos do GCP podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de iniciar o tutorial, você precisa configurar o Cloud Datalab.

Usar o Cloud Shell

INICIAR NO Cloud Shell

Usar o SDK do Cloud

Se você tiver o SDK instalado:

INICIAR NO SDK do Cloud

Se você não tiver o SDK instalado, mas quiser usá-lo para configurar o Cloud Datalab:

  • Instale e inicialize o SDK do Cloud..
  • Como concluir o tutorial no notebook

    1. Na página inicial do Cloud Datalab, adicione um novo notebook clicando em add_box Notebook no canto superior esquerdo.

      adicionar um novo notebook

      Uma nova guia que contém um notebook vazio com uma célula de código é aberta no seu navegador.

    2. Copie o código a seguir nessa célula e clique em Executar para executá-lo.

      !gsutil cp gs://solutions-public-assets/bigquery-datalab/* .
      

      executar o novo notebook

    3. Volte para a guia original para ver outros arquivos. Clique em Como analisar séries temporais financeiras usando o BigQuery e o Datalab.ipynb para começar a trabalhar de forma interativa por meio do tutorial.

      Como analisar séries temporais financeiras usando o BigQuery e o Datalab.ipynb

    4. Se você não tiver familiaridade com os notebooks do Cloud Datalab, leia o documento Introdução ao Notebooks.ipynb, que está na subpasta docs/intro.

      Introdução ao Notebooks.ipynb

    5. Siga o restante do tutorial no notebook.