데이터 분석 설계 패턴

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
Last reviewed 2023-02-06 UTC

이 페이지에서는 산업 데이터 분석 사용 사례의 비즈니스 사용 사례, 샘플 코드, 기술 참조 가이드에 대한 링크를 제공합니다. 이러한 리소스를 사용하여 워크로드 구현을 가속화할 수 있는 권장사항을 학습하고 확인합니다.

여기에 나와 있는 설계 패턴은 코드 중심 사용 사례이며 신속하게 구현할 수 있습니다. 보다 광범위한 분석 솔루션을 확인하려면 데이터 분석 기술 참조 가이드 목록을 확인하세요.

이상 감지

솔루션 설명 제품 링크

LSTM Autoencoder를 사용하여 시계열 데이터의 이상 감지

이 참조 구현에서는 시계열 데이터를 사전 처리하여 소스 데이터를 보완한 다음 LSTM Autoencoder를 통해 데이터를 실행하여 이상을 감지하는 방법을 알아봅니다. Autoencoder는 LSTM 신경망을 구현하는 Keras 모델로 빌드되었습니다.

샘플 코드: 시계열 데이터 처리

실시간 신용카드 사기 감지

트랜잭션과 고객 데이터를 사용하여 실시간 데이터 파이프라인에서 사용될 수 있는 BigQuery ML의 머신러닝 모델을 학습시켜 잠재적인 신용카드 사기를 식별, 분석하고 알림을 트리거하는 방법을 알아봅니다.

샘플 코드: 실시간 신용카드 사기 감지

개요 동영상: Fraudfinder: 실제 데이터 과학 문제를 위한 포괄적 솔루션

자본 시장 시계열의 상대적 강도 모델링

이 패턴은 특히 자본 시장 고객과 양적 분석 부서(Quant)에서 기술 지표를 실시간으로 추적하여 투자 결정을 내리거나 지수를 추적하는 데 적합합니다. 시계열 이상 감지를 기반으로 구축되며 제조와 같은 다른 산업에도 쉽게 적용하여 관련 시계열 측정항목의 이상치를 감지할 수 있습니다.

샘플 코드: Dataflow 금융 서비스 시계열 예시

비즈니스 및 기술 블로그 게시물: 실시간 외환 데이터에서 머신러닝으로 이상치를 감지하는 방법

환경, 사회, 거버넌스

솔루션 설명 제품 링크

지속 가능한 금융을 위한 물리적 기후 위험 계산

클라우드 기반 도구와 세분화된 지리정보 데이터 세트를 사용한 대출 및 투자 포트폴리오의 기후 위험 분석 설계 패턴을 소개합니다.

기술 개요: 포트폴리오 기후 위험 분석 Bitbucket 저장소

개요 동영상: 독립 ESG 데이터 통계 활용

블로그 게시물: 지리정보 분석을 통한 지속 가능한 투자 포트폴리오의 기후 위험 수치화

일반 분석

솔루션 설명 제품 링크

실시간 웹사이트 분석 대시보드 빌드

웹사이트에서 인센티브 또는 실험의 성과를 이해하기 위해 사용하는 실시간 측정항목을 제공하는 대시보드를 빌드하는 방법을 알아봅니다.

샘플 코드: Dataflow 및 Memorystore를 사용한 실시간 분석

개요 동영상: 차원이 다른 혜택 - Dataflow 및 Memorystore를 사용한 실시간 분석

음성 파일을 텍스트로 변환하고 분석하는 파이프라인 빌드

업로드된 음성 파일을 텍스트로 변환하여 분석한 다음 시각화에 사용할 수 있도록 BigQuery에 해당 데이터를 저장하는 방법을 알아봅니다.

샘플 코드: 음성 분석 프레임워크

객체 저장소의 구조화되지 않은 데이터 분석

Cloud Storage에서 구조화되지 않은 데이터를 분석하고 이미지에서 Vertex AI Vision과 같은 원격 함수를 사용하여 분석을 수행하는 방법을 알아봅니다. BigQuery ML을 사용하여 구조화되지 않은 데이터에 대한 추론을 수행하는 방법을 알아봅니다.

기술 참조 가이드: 객체 테이블 소개

튜토리얼: 원격 함수와 Cloud Vision API를 사용하여 객체 테이블 분석

튜토리얼: TensorFlow 및 BigQuery ML을 사용하여 이미지 객체 테이블에서 추론 실행

데이터 웨어하우스의 구조화되지 않은 문서 파일 분석

BigLake 객체 테이블과 원격 함수를 사용하여 Document AI로 구조화되지 않은 문서를 파싱하고 출력을 BigQuery에 구조화된 데이터로 저장하는 방법을 알아봅니다.

샘플 코드: SQL의 구조화되지 않은 문서 분석

경험 관리 데이터 웨어하우스 구축

설문조사 데이터를 데이터 웨어하우스 및 심층 분석에서 사용할 수 있는 형식으로 변환하는 방법을 알아봅니다. 이 패턴은 고객 환경, 직원 환경, 기타 환경에 중점을 둔 사용 사례에 적용됩니다.

기술 참조 가이드: 설문조사 데이터 웨어하우스를 사용하여 Google Forms에서 통계 얻기

샘플 코드: Trifacta의 Dataprep을 사용하여 BigQuery로 설문조사 데이터 변환 및 로드

블로그 게시물: 설문조사 응답을 사용하여 환경 관리 (XM) 데이터 웨어하우스 만들기

개요 동영상: 설문조사 응답을 사용하여 환경 관리 데이터 웨어하우스 만들기

튜토리얼: Google Forms 설문조사 응답을 BigQuery로 변환 및 로드

데모 환경: Cloud Market Research

통합 앱 분석 플랫폼 만들기

데이터 웨어하우스에서 데이터 소스를 중앙화하고 고객 행동을 자세히 조사하여 정보에 입각한 비즈니스 결정을 내리는 방법을 알아보세요.

기술 참조 가이드: Firebase, BigQuery, Looker를 사용한 통합 앱 분석 플랫폼 만들기

블로그 게시물: 디지털 기반 기업을 위한 통합 애널리틱스 플랫폼 만들기

개요 동영상: 통합 앱 애널리틱스 플랫폼 만들기

샘플 코드: 통합 애플리케이션 애널리틱스

소매점의 추세 식별, 제품 수요 예측, 새로운 마케팅 캠페인 개발 등의 일반적인 비즈니스 과제를 해결하기 위해 Google Cloud 데이터 세트에서 Google 트렌드 공개 데이터 세트를 사용하는 방법을 알아봅니다.

블로그 게시물: Google Trends 데이터를 활용한 정보 기반 의사결정

개요 동영상: BigQuery에서 Google Trends 데이터 세트 활용

샘플 코드(노트북): 트렌드 예시 노트북

샘플 코드(SQL): Google Trends 샘플 쿼리

샘플 대시보드: 상위 25개 Google 검색어 트렌드

Google Cloud 지출 이해 및 최적화

Google Cloud Billing 데이터를 BigQuery로 가져와서 지출을 이해 및 최적화하고 Looker 또는 Looker Studio에서 실행 가능한 결과를 시각화하는 방법을 알아봅니다.

블로그 게시물: BigQuery 및 Looker로 Google Cloud 지출 최적화

샘플 코드: Google Cloud Billing Looker 블록

데이터 기반 가격 최적화

경쟁력 유지를 위해 시장 변화에 빠르게 대응하는 방법을 알아봅니다. 보다 빠른 가격 최적화를 통해 고객은 Google Cloud 서비스를 사용하여 최종 사용자들에게 경쟁력 있는 가격을 제공함으로써, 매출 및 수익을 향상시킬 수 있습니다. 이 솔루션은 Trifacta 제공 Dataprep을 사용하여 데이터 소스를 통합 및 표준화하고, BigQuery를 사용하여 가격 책정 모델을 관리 및 저장하고, Looker에서 실행 가능한 결과를 시각화할 수 있습니다.

블로그 게시물: 데이터 기반 가격 최적화

튜토리얼: 소매 제품 가격 최적화

샘플 코드: Google Cloud Billing Looker 블록

의료 및 생명과학

솔루션 설명 제품 링크

단세포 게놈 분석 실행

Dask, RAPIDS, GPU, JupyterLab으로 Dataproc을 구성한 후 단세포 게놈 분석을 실행하는 방법을 알아봅니다.

기술 개요: Dataproc에서 Dask, RAPIDS, GPU로 게놈 분석 실행

샘플 코드: 노트북

블로그 게시물: Google Cloud에서 NVIDIA로 가속화된 단세포 게놈 분석

로그 분석

솔루션 설명 제품 링크

Dialogflow 상호작용을 캡처하는 파이프라인 빌드

추가 분석을 위해 Dialogflow 상호작용을 캡처하고 저장하는 파이프라인을 빌드하는 방법을 알아봅니다.

샘플 코드: Dialogflow 로그 파서

패턴 인식

솔루션 설명 제품 링크

동영상 클립에서 객체 인식

이 솔루션은 Dataflow 및 Video Intelligence API를 사용하여 객체를 추적하는 실시간 비디오 클립 분석 솔루션을 빌드하여 구조화되지 않은 대량의 데이터를 거의 실시간으로 분석할 수 있는 방법을 보여줍니다.

샘플 코드: Dataflow 및 Video Intelligence API를 사용하는 동영상 분석 솔루션

Video Intelligence API를 호출하는 Apache Beam Ptransform: apache_beam.ml.gcp.videointelligenceml 모듈

스마트 분석 파이프라인에서 PII 데이터의 익명처리(익명화) 및 재식별

 이 솔루션 모음에서는 Dataflow, Cloud Data Loss Prevention, BigQuery, Pub/Sub를 사용하여 샘플 데이터 세트에서 개인 식별 정보(PII)를 익명화 및 재식별하는 방법을 보여줍니다.

기술 참조 가이드:

샘플 코드: Dataflow 및 Cloud Data Loss Prevention을 사용하여 BigQuery에서 민감한 정보 마이그레이션

예측

솔루션 설명 제품 링크

Datastream, Dataflow, BigQuery ML, Looker를 사용하여 수요 예측 빌드 및 시각화

Oracle 데이터베이스의 작업 데이터를 실시간으로 Google Cloud에 복제하고 처리하는 방법을 알아봅니다. 또한 이 튜토리얼에서는 향후 수요를 예측하는 방법과 이 예측 데이터가 도착하면 이를 시각화하는 방법을 보여줍니다. 예를 들어 소매업의 음식물 쓰레기 최소화입니다.

블로그 게시물: Google Cloud에서 데이터 분석으로 식량 낭비 해결

기술 참조 가이드: Datastream, Dataflow, BigQuery, Looker를 사용하여 수요 예측 빌드 및 시각화

수요 예측 모델 빌드

여러 제품에 대한 소매 수요 예측을 위해 사용할 수 있는 시계열 모델을 빌드하는 방법을 알아봅니다.

블로그 게시물: BigQuery ML을 사용하여 수요 예측 모델을 빌드하는 방법

노트북: bqml_retail_demand_forecasting.ipynb

예측 웹 앱 빌드

BigQuery 및 Vertex AI 예측을 포함한 여러 예측 모델을 활용하여 제품 판매를 예측하는 웹 앱을 빌드하는 방법을 알아봅니다. 기술 지식이 없는 사용자도 이 웹 앱을 사용하여 예측을 생성하고 다양한 매개변수의 효과를 살펴볼 수 있습니다.

샘플 코드: 시계열 예측

샘플 웹 앱: 시계열 예측 실시간 데모

전자상거래 추천 시스템 빌드

BigQuery ML을 사용하여 BigQuery의 고객 데이터에서 제품 또는 서비스 추천 항목을 생성하는 추천 시스템을 빌드하는 방법을 알아봅니다. 그런 다음 다른 프로덕션 시스템에서 이 데이터를 Google 애널리틱스 360 또는 Cloud Storage로 내보내거나 BigQuery 테이블에서 프로그래매틱 방식으로 읽는 방법을 알아봅니다.

기술 참조 가이드: BigQuery ML을 사용하여 전자상거래 추천 시스템 빌드

노트북: bqml_retail_recommendation_system.ipynb

시장 세분화를 위한 k-평균 클러스터링 모델 빌드

BigQuery ML로 k-평균 클러스터를 만들어서 마케팅 목적의 Google 애널리틱스 360 잠재고객 데이터를 분류하는 방법을 알아보세요.

기술 참조 가이드: BigQuery ML을 사용하여 시장 세분화를 위한 k-평균 클러스터링 모델 빌드

노트북: BigQuery ML을 사용하여 시장 세분화를 위한 k-평균 클러스터링 모델을 빌드하는 방법

현재 고객평생가치를 기반으로 새로운 잠재고객 빌드

가장 가치 있는 현재 고객을 찾아 Google Ads에서 유사 잠재고객을 확보하는 방법에 대해 알아보세요.

기술 참조 가이드: 기존 고객 평생 가치를 기반으로 새로운 잠재고객 구축

샘플 코드: LTV 예측 활성화

BigQuery ML을 사용하여 Google Sheets에서 예측

BigQuery ML의 연결된 시트와 예측 모델을 결합하여 비즈니스 프로세스에서 머신러닝을 운용하는 방법을 알아보세요. 이 예시에서는 Google 애널리틱스 데이터를 사용하여 웹사이트 트래픽에 대한 예측 모델을 빌드하는 과정을 설명합니다. 이 패턴을 확장하여 다른 데이터 유형 및 다른 머신러닝 모델에서 활용할 수 있습니다.

블로그 게시물: BigQuery ML을 사용하여 Google Sheets에서 머신러닝 모델을 사용하는 방법

샘플 코드: 스프레드시트를 사용하여 BigQuery ML 예측

템플릿: 스프레드시트를 사용하여 BigQuery ML 예측

게임 애플리케이션을 경향 모델링

BigQuery ML을 사용하여 경향 모델의 여러 유형으로부터 학습, 평가 및 예측을 수행하는 방법을 알아봅니다. 경향 모델은 특정 사용자가 앱으로 복귀할 가능성을 확인하는 데 도움을 줄 수 있습니다. 이러한 정보는 마케팅 의사결정에 사용될 수 있습니다.

블로그 게시물: Google 애널리틱스 4 및 BigQuery ML을 사용하는 게임 개발자용 앱 제거 예측

노트북: Google 애널리틱스 4 및 BigQuery ML을 사용한 게임 개발자용 앱 제거 예측

기술 개요: 게임 애플리케이션을 위한 경향 모델링

맞춤설정된 투자 제품 추천

Cloud Functions를 사용하여 공개 API에서 시장 데이터를 수집, 처리, 향상시키고, Dataflow를 사용하여 BigQuery에 데이터를 로드하세요. 그리고 나서 Vertex AI로 여러 AutoML Tables 모델을 학습 및 배포하고 Cloud Composer를 사용하여 이러한 파이프라인을 조정한 뒤 마지막으로 기본 웹 프런트엔드를 배포하여 사용자에게 맞춤설정된 투자를 추천하는 방법을 알아보세요.

블로그 게시물: Vertex AI를 사용하여 고도로 맞춤화된 투자 추천으로 소비자 금융 앱 지원

기술 참조 가이드: ML을 사용하여 고도로 맞춤화된 투자 추천을 생성하는 기술 솔루션

샘플 코드: FSI 설계 패턴 IPRE(투자 제품 추천 엔진)

시계열 분석

솔루션 설명 제품 링크

스트리밍 시계열 데이터 처리

Apache Beam을 사용할 때 스트리밍 시계열 데이터 처리와 관련된 주요 과제에 대해 알아보고 시계열 스트리밍 솔루션으로 이러한 과제를 해결하는 방법을 살펴봅니다.

기술 개요: 스트리밍 시계열 데이터 처리: 개요

가이드: 스트리밍 시계열 데이터 처리: 가이드

샘플 코드: 시계열 스트리밍

데이터 레이크 작업

솔루션 설명 제품 링크

데이터 레이크의 서버리스 데이터 처리 서비스를 위한 CI/CD 파이프라인 빌드

데이터 레이크의 데이터 처리 파이프라인을 위한 지속적 통합 및 지속적 배포(CI/CD)를 설정하는 방법을 알아봅니다. 인기 있는 GitOps 방법론을 사용하여 Terraform, GitHub, Cloud Build로 CI/CD 메서드를 구현합니다.

기술 개요: 데이터 레이크의 서버리스 데이터 처리 서비스를 위한 CI/CD 파이프라인 빌드

객체 저장소에 저장된 데이터에 대한 세분화된 액세스 제어

BigLake를 사용하여 객체 저장소에 저장된 파일에 세분화된 권한(행 및 열 수준 보안)을 적용하는 방법을 알아보세요. Dataproc에서 Spark 실행과 같은 다른 서비스로 보안이 확장되는 것을 보여줍니다.

샘플 코드: Spark를 사용한 BigLake의 세분화된 액세스 제어