Analiza series temporales financieras con BigQuery y Datalab

Con esta solución, se ilustran el poder y la utilidad de BigQuery y Datalab como herramientas para el análisis cuantitativo. La solución proporciona una introducción (este documento) y sirve como preparación para ejecutar un instructivo de Datalab basado en notebooks.

Si eres especialista en análisis cuantitativo, usas varias herramientas y técnicas para analizar macrodatos, como historiales de transacciones de mercado, a fin de obtener estadísticas sobre las tendencias del mercado. Debido a que los presupuestos y las transacciones suceden a intervalos predecibles, esos datos representan una serie temporal financiera que puedes analizar mediante técnicas establecidas, que incluyen el análisis de la frecuencia y los promedios móviles.

Sin embargo, trabajar con conjuntos de datos de gran tamaño puede ser difícil. Las herramientas tradicionales pueden no escalar a medida que el conjunto de datos crece. Los requisitos de almacenamiento pueden crecer al mismo ritmo que el conjunto de datos, por lo que descargar los datos al disco duro de tu computadora ya no es un enfoque practicable. Y puede llevar mucho tiempo recuperar los subconjuntos de datos correctos desde una consulta de base de datos tradicional.

Para resolver estos problemas, BigQuery te permite ejecutar consultas de SQL y obtener resultados con rapidez gracias a la potencia de procesamiento de la infraestructura de Google. Puedes usar BigQuery en la Web y en la línea de comandos y a través de las API. Cuando se combina con otros componentes de Google Cloud o herramientas de terceros, BigQuery te permite compilar las aplicaciones de análisis de datos que necesitas ahora y, a la vez, tener la certeza de que puedes escalarlas en el futuro.

En esta solución, usas un patrón potente para el análisis de datos: BigQuery se encarga del trabajo pesado en SQL y Datalab manipula y visualiza los datos en Python en detalle.

La seguridad siempre es importante cuando trabajas con datos financieros. Google Cloud ayuda a mantener los datos seguros y privados de varias maneras, y todos los datos se encriptan durante la transmisión y en reposo. Google Cloud también cumple con las normas ISO 27001, ISO 27017, ISO 27018, SOC3, FINRA y PCI.

Objetivos

  • Cargar un conjunto de datos en BigQuery
  • Usar BigQuery y Datalab para consultar datos de series temporales financieras
  • Visualizar los resultados de la consulta en Datalab

Costos

En este instructivo, se usan los siguientes componentes facturables de Google Cloud:

  • Datalab: Los recursos necesarios para ejecutar Datalab en Google Cloud son facturables. Estos recursos incluyen una máquina virtual Compute Engine, dos discos persistentes y espacio para realizar copias de seguridad en Cloud Storage. Para obtener más información, consulta la página de precios de Datalab.
  • BigQuery: Este instructivo almacena casi 100 MB de datos en BigQuery y procesa menos de 300 MB para ejecutar las consultas una vez. Esta cantidad de datos está dentro de los límites gratuitos mensuales que ofrece BigQuery. Para obtener los detalles completos sobre los costos de BigQuery, consulta la página de precios de BigQuery.

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud sean aptos para obtener una prueba gratuita.

Antes de comenzar

Antes de comenzar el instructivo, debes configurar Datalab.

Usa Cloud Shell

INICIAR DESDE Cloud Shell

Usa el SDK de Cloud

Si tienes el SDK instalado:

INICIAR DESDE EL SDK de Cloud

Si no tienes el SDK instalado, pero deseas usarlo para configurar Datalab:

  • Instala e inicializa el SDK de Cloud.
  • Completa el instructivo en el notebook

    1. En la página principal de Datalab, haz clic en Notebook en la parte superior izquierda para agregar un notebook nuevo.

      agregar un notebook nuevo

      Una pestaña nueva que contiene un notebook vacío con una celda de código se abre en el navegador.

    2. Copia el siguiente código en esa celda y haz clic en Ejecutar.

      !gsutil cp gs://solutions-public-assets/bigquery-datalab/* .
      

      ejecutar el notebook nuevo

    3. Vuelve a la pestaña original para ver archivos adicionales. Haz clic en Analyzing Financial Time Series using BigQuery and Datalab.ipynb para comenzar a trabajar de forma interactiva con el instructivo.

      Analyzing Financial Time Series using BigQuery and Datalab.ipynb

    4. Si no estás familiarizado con los notebooks de Datalab, revisa el documento Introduction to Notebooks.ipynb que se encuentra en la subcarpeta docs / intro.

      Introduction to Notebooks.ipynb

    5. Sigue el resto del instructivo en el notebook.