BigQuery 및 Cloud Datalab을 통한 금융 시계열 분석

이 솔루션은 BigQueryCloud Datalab을 양적 분석 도구로 사용할 때의 성능과 유용성을 보여줍니다. 이 솔루션은 소개(이 문서)를 제공하고 노트북 기반 Cloud Datalab 가이드를 실행하도록 설정하는 데 도움을 줍니다.

양적 분석가는 다양한 도구와 기술을 사용하여 시장 거래 내역과 같은 빅데이터를 마이닝하여 마켓 트렌드에 대한 정보를 얻을 수 있습니다. 견적과 거래가 예측 가능한 주기로 발생하므로 이러한 데이터는 실행 빈도 분석과 이동 평균과 같이 기존의 기술로 분석할 수 있는 금융 시계열로 나타납니다.

하지만 대용량 데이터세트를 다루는 것은 어렵습니다. 기존 도구는 데이터세트가 증가함에 따라 확장되지 않을 수 있으며 저장소 요구 사항은 데이터세트만큼 빠르게 증가할 수 있으므로 컴퓨터의 하드 드라이브에 데이터를 다운로드하는 것은 더 이상 효과적이지 않습니다. 또한 기존의 데이터베이스 쿼리에서 올바른 데이터 하위 집합을 검색하는 데 오랜 시간이 걸릴 수 있습니다.

BigQuery는 양적 분석가가 SQL 쿼리를 실행하고 Google 인프라의 처리 능력을 통해 신속하게 결과를 얻을 수 있도록 하여 이러한 문제를 해결합니다. BigQuery는 웹에서 사용할 수 있고, 명령줄과 API에서도 사용할 수 있습니다. BigQuery를 Google Cloud Platform(GCP) 또는 타사 도구의 다른 구성요소와 함께 사용하면 현재 필요한 데이터 분석 애플리케이션을 빌드하고 추후에 이를 확장할 수 있다는 확신을 가질 수 있습니다.

이 솔루션에서는 데이터 분석에 강력한 패턴을 사용합니다. BigQuery는 어려운 SQL 작업을 담당하고, Cloud Datalab은 Python에서 세부적인 데이터 조작 및 시각화를 처리합니다.

금융 데이터를 다룰 때는 항상 보안이 중요합니다. GCP를 사용하면 여러 가지 방법으로 데이터의 안전성과 보안을 유지하고 개인정보를 보호할 수 있고, 모든 데이터는 전송 및 미사용 시 암호화됩니다. 또한 GCP는 ISO 27001, ISO 27017, ISO 27018, SOC3, FINRA, PCI 규정을 준수합니다.

목표

  • BigQuery에 데이터세트 로드
  • BigQuery와 Cloud Datalab을 사용하여 금융 시계열 데이터 쿼리
  • Cloud Datalab에서 쿼리 결과 시각화

비용

이 가이드는 Google Cloud Platform의 다음 청구 가능 구성요소를 사용합니다.

  • Cloud Datalab: GCP에서 Cloud Datalab을 실행하는 데 필요한 리소스를 청구할 수 있습니다. 이러한 리소스에는 Compute Engine 가상 머신, 영구 디스크 2개, Cloud Storage 백업용 공간이 포함됩니다. 자세한 내용은 Cloud Datalab 가격 책정 페이지를 참조하세요.
  • BigQuery: 이 가이드에서는 BigQuery에 약 100MB의 데이터를 저장하고 쿼리를 한 번 실행하기 위해 300MB 미만의 데이터를 처리합니다. 이러한 데이터 볼륨에는 매월 BigQuery에서 제공하는 무료 한도가 적용됩니다. BigQuery 비용에 대한 자세한 내용은 BigQuery 가격 책정 페이지를 참조하세요.

가격 계산기를 사용하여 예상 사용량을 기준으로 예상 비용을 생성할 수 있습니다. GCP 신규 사용자는 무료 평가판을 사용할 수 있습니다.

시작하기 전에

가이드를 시작하기 전에 Cloud Datalab을 설정해야 합니다.

Cloud Shell 사용

Cloud Shell에서 실행

Cloud SDK 사용

SDK가 설치되어 있을 경우 다음을 참조하세요.

Cloud SDK에서 실행

SDK가 설치되어 있지 않지만 Cloud Datalab 설치에 사용하려는 경우 다음을 참조하세요. Cloud SDK 설치 및 초기화.

노트북에서 가이드 완료

  1. Cloud Datalab 홈페이지에서 왼쪽 상단의 add_box 노트북을 클릭하여 새 노트북을 추가합니다.

    새 노트북 추가

    브라우저의 새 탭에서 코드 셀이 포함된 빈 노트북이 열립니다.

  2. 셀에 다음 코드를 복사하여 붙여넣고 실행을 클릭하여 실행합니다.

    !gsutil cp gs://solutions-public-assets/bigquery-datalab/* .
    

    새 노트북 실행

  3. 원래 탭으로 돌아가 추가 파일을 확인합니다. Analyzing Financial Time Series using BigQuery and Datalab.ipynb를 클릭하여 가이드를 따라 대화식 작업을 시작합니다.

    Analyzing Financial Time Series using BigQuery and Datalab.ipynb

  4. Cloud Datalab 노트북에 익숙하지 않다면 docs / intro 하위 폴더의 Introduction to Notebooks.ipynb 문서를 참조하세요.

    Notebooks.ipynb 소개

  5. 노트북의 나머지 가이드를 따릅니다.

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...