Pola desain analisis data

Last reviewed 2023-02-06 UTC

Halaman ini menyediakan link ke kasus penggunaan bisnis, kode contoh, dan panduan referensi teknis untuk kasus penggunaan analisis data industri. Gunakan referensi ini untuk mempelajari dan mengidentifikasi praktik terbaik untuk mempercepat implementasi workload Anda.

Pola desain yang tercantum di sini adalah kasus penggunaan berorientasi kode dan memungkinkan Anda mengimplementasikan dengan cepat. Untuk melihat berbagai solusi analisis yang lebih luas, tinjau daftar panduan referensi teknis Analisis Data.

Deteksi anomali

Solusi Deskripsi Produk Links

Menemukan anomali dalam data deret waktu menggunakan autoencoder LSTM

Gunakan implementasi referensi ini untuk mempelajari cara melakukan prapemrosesan data deret waktu untuk mengisi kekurangan data sumber, lalu jalankan data tersebut melalui autoencoder LSTM untuk mengidentifikasi anomali. Autoencoder ini dibuat sebagai model Keras yang mengimplementasikan jaringan neural LSTM.

Kode contoh: Memproses data deret waktu

Deteksi penipuan kartu kredit secara real time

Pelajari cara menggunakan transaksi dan data pelanggan untuk melatih model machine learning di BigQuery ML yang dapat digunakan di pipeline data real-time untuk mengidentifikasi, menganalisis, dan memicu peringatan terhadap potensi penipuan kartu kredit.

Kode contoh: Deteksi penipuan kartu kredit secara real time

Video ringkasan: Fraudfinder: Solusi komprehensif untuk masalah ilmu data sesungguhnya

Pemodelan kekuatan relatif pada deret waktu untuk Pasar Modal

Pola ini sangat relevan bagi pelanggan Pasar Modal dan departemen analisis kuantitatif (Quants), untuk melacak indikator teknis mereka secara real time untuk membuat keputusan investasi atau melacak indeks. Layanan ini dibangun di atas fondasi deteksi anomali deret waktu, dan dapat dengan mudah diterapkan pada industri lain seperti manufaktur, untuk mendeteksi anomali dalam metrik deret waktu yang relevan.

Kode contoh: Contoh Seri Waktu Jasa Keuangan Dataflow

Postingan blog Bisnis & Teknis: Cara mendeteksi anomali yang dipelajari mesin dalam data valuta asing real-time

Lingkungan, sosial, dan tata kelola

Solusi Deskripsi Produk Links

Menghitung risiko iklim fisik untuk keuangan berkelanjutan

Memperkenalkan pola desain analisis risiko iklim untuk pinjaman dan portofolio investasi menggunakan alat berbasis cloud dan set data geospasial terperinci.

Ringkasan teknis: Repositori Bitbucket untuk analisis risiko iklim portofolio

Video ringkasan: Memanfaatkan Insight Data ESG Independen

Postingan blog: Mengukur risiko iklim portofolio untuk investasi berkelanjutan dengan analisis geospasial

Analisis umum

Solusi Deskripsi Produk Links

Membuat dasbor analisis situs secara real-time

Pelajari cara membuat dasbor yang menyediakan metrik real-time yang dapat Anda gunakan untuk memahami performa insentif atau eksperimen di situs Anda.

Kode contoh: Analisis Realtime menggunakan Dataflow dan Memorystore

Video ringkasan: Level Up - Analisis real-time menggunakan Dataflow dan Memorystore

Membuat pipeline untuk mentranskripsikan dan menganalisis file ucapan

Pelajari cara mentranskripsi dan menganalisis file ucapan yang diupload, lalu simpan data tersebut ke BigQuery untuk digunakan dalam visualisasi.

Kode contoh: Framework Analisis Ucapan

Menganalisis data tidak terstruktur di penyimpanan objek

Pelajari cara menganalisis data tidak terstruktur di Cloud Storage, sehingga memungkinkan analisis dengan fungsi jarak jauh seperti Vertex AI Vision pada gambar. Pelajari cara melakukan inferensi pada data tidak terstruktur menggunakan BigQuery ML.

Panduan referensi teknis: Pengantar tabel objek

Tutorial: Menganalisis tabel objek menggunakan fungsi jarak jauh dan Cloud Vision API

Tutorial: Menjalankan inferensi pada tabel objek gambar menggunakan TensorFlow dan BigQuery ML

Menganalisis file dokumen tidak terstruktur di data warehouse

Pelajari cara menggunakan tabel objek dan fungsi jarak jauh BigLake untuk mengurai dokumen tak terstruktur dengan Document AI dan menyimpan hasilnya sebagai data terstruktur di BigQuery.

Kode contoh: Analisis dokumen tidak terstruktur di SQL

Membangun data warehouse pengelolaan pengalaman

Pelajari cara mengubah data survei ke dalam format yang dapat digunakan di data warehouse dan untuk analisis yang lebih mendalam. Pola ini berlaku untuk pengalaman pelanggan, pengalaman karyawan, dan kasus penggunaan lainnya yang berfokus pada pengalaman.

Panduan referensi teknis: Mendorong Insight dari Google Formulir dengan Data Warehouse Survei

Kode contoh: Mentransformasi dan Memuat Data Survei ke BigQuery menggunakan Dataprep by Trifacta

Postingan blog: Membuat Data Warehouse Pengelolaan Pengalaman (XM) dengan Respons Survei

Video ringkasan: Membuat Data Warehouse Pengelolaan Pengalaman dengan Respons Survei

Tutorial: Mentransformasi dan Memuat Respons Survei Google Formulir ke BigQuery

Pelajari cara menggunakan Set Data Publik Google Trends dari Set Data Google Cloud untuk mengatasi tantangan bisnis umum seperti mengidentifikasi tren di lokasi retail Anda, mengantisipasi permintaan produk, dan mengembangkan kampanye pemasaran baru.

Postingan blog: Mengambil Keputusan yang Tepat dengan Data Google Trends

Video ringkasan: Set data Google Trends kini tersedia di BigQuery

Kode contoh (notebook): Notebook Contoh Tren

Kode contoh (SQL): Kueri Contoh Google Trends

Contoh dasbor: 25 Istilah Teratas Google Penelusuran yang Trending

Memahami dan mengoptimalkan pembelanjaan Google Cloud Anda

Pelajari cara memindahkan data Penagihan Google Cloud ke BigQuery untuk memahami dan mengoptimalkan pengeluaran Anda, serta memvisualisasikan hasil yang dapat ditindaklanjuti di Looker atau Looker Studio.

Postingan blog: Mengoptimalkan pembelanjaan Google Cloud Anda dengan BigQuery dan Looker

Kode contoh: Looker Block Penagihan Google Cloud

Pengoptimalan Harga Berbasis Data

Pelajari cara menanggapi perubahan pasar dengan cepat agar tetap kompetitif. Dengan pengoptimalan harga yang lebih cepat, pelanggan dapat menawarkan harga yang kompetitif kepada pengguna akhir mereka menggunakan layanan Google Cloud, sehingga meningkatkan penjualan dan keuntungan mereka. Solusi ini menggunakan Dataprep by Trifacta untuk mengintegrasikan dan menstandarkan sumber data, BigQuery untuk mengelola dan menyimpan model harga Anda, serta memvisualisasikan hasil yang dapat ditindaklanjuti di Looker.

Postingan blog: Pengoptimalan Harga Berbasis Data

Tutorial: Mengoptimalkan harga produk retail

Kode contoh: Looker Block Penagihan Google Cloud

Layanan kesehatan dan ilmu hayati

Solusi Deskripsi Produk Links

Menjalankan analisis genomik sel tunggal

Pelajari cara mengonfigurasi Dataproc dengan Dask, RAPIDS, GPU, dan JupyterLab, lalu jalankan analisis genomik sel tunggal.

Ringkasan teknis: Menjalankan analisis genomik dengan Dask, RAPIDS, dan GPU di Dataproc

Kode contoh: Notebook

Postingan blog: Analisis genomik sel tunggal yang dipercepat oleh NVIDIA di Google Cloud

Analisis log

Solusi Deskripsi Produk Links

Membangun pipeline untuk mencatat interaksi Dialogflow

Pelajari cara membangun pipeline untuk menangkap dan menyimpan interaksi Dialogflow guna analisis lebih lanjut.

Kode contoh: Parser log Dialogflow

Pengenalan pola

Solusi Deskripsi Produk Links

Mendeteksi objek dalam klip video

Solusi ini menunjukkan cara membangun solusi analisis klip video real-time untuk pelacakan objek menggunakan Dataflow dan Video Intelligence API, yang memungkinkan Anda menganalisis data tidak terstruktur dalam jumlah besar mendekati real time.

Kode contoh: Solusi Analisis Video Menggunakan Dataflow dan Video Intelligence API

Apache Beam Ptransform untuk memanggil Video Intelligence API: modul apache_beam.ml.gcp.videointelligenceml

Menganonimkan (de-identifikasi) dan mengidentifikasi ulang data PII di pipeline analisis smart Anda

Seri solusi ini menunjukkan cara menggunakan Dataflow, Sensitive Data Protection, BigQuery, dan Pub/Sub untuk melakukan de-identifikasi dan mengidentifikasi ulang informasi identitas pribadi (PII) dalam set data sampel.

Panduan referensi teknis:

Kode contoh: Memigrasikan Data Sensitif di BigQuery Menggunakan Dataflow dan Cloud Data Loss Prevention

Perkiraan prediktif

Solusi Deskripsi Produk Link

Membangun model perkiraan permintaan

Pelajari cara membangun model deret waktu yang dapat Anda gunakan untuk memperkirakan permintaan retail untuk beberapa produk.

Postingan blog: Cara membangun model perkiraan permintaan dengan BigQuery ML

Notebook: bqml_retail_demand_forecasting.ipynb

Membuat aplikasi web perkiraan

Pelajari cara membangun aplikasi web yang memanfaatkan beberapa model perkiraan, termasuk perkiraan BigQuery dan Vertex AI, untuk memprediksi penjualan produk. Pengguna nonteknis dapat menggunakan aplikasi web ini untuk menghasilkan perkiraan dan mempelajari efek berbagai parameter.

Kode contoh: Perkiraan deret waktu

Contoh aplikasi web: Demo langsung perkiraan deret waktu

Membangun audiens baru berdasarkan nilai umur pelanggan saat ini

Pelajari cara mengidentifikasi pelanggan yang paling bernilai saat ini dan memanfaatkannya untuk mengembangkan audiens serupa di Google Ads.

Panduan referensi teknis: Membangun audiens baru berdasarkan nilai umur pelanggan lama

Kode contoh: Mengaktifkan di prediksi LTV

Perkiraan dari Google Spreadsheet menggunakan BigQuery ML

Pelajari cara mengoperasionalkan machine learning dengan proses bisnis dengan menggabungkan Sheet yang Terhubung dengan model perkiraan di BigQuery ML. Dalam contoh khusus ini, kami akan memandu proses pembuatan model perkiraan untuk traffic situs menggunakan data Google Analytics. Pola ini dapat diperluas agar berfungsi dengan jenis data lain dan model machine learning lainnya.

Postingan blog: Cara menggunakan model machine learning dari Google Spreadsheet menggunakan BigQuery ML

Kode contoh: Perkiraan ML BigQuery dengan Spreadsheet

Template: Perkiraan ML BigQuery dengan Spreadsheet

Pemodelan kecenderungan untuk aplikasi game

Pelajari cara menggunakan BigQuery ML untuk melatih, mengevaluasi, dan mendapatkan prediksi dari beberapa jenis model kecenderungan. Model kecenderungan dapat membantu Anda menentukan kemungkinan pengguna tertentu kembali ke aplikasi Anda, sehingga Anda dapat menggunakan informasi tersebut dalam keputusan pemasaran.

Postingan blog: Prediksi churn untuk developer game yang menggunakan Google Analytics 4 dan BigQuery ML

Notebook: Prediksi churn untuk developer game yang menggunakan Google Analytics 4 dan BigQuery ML

Ringkasan teknis: Pemodelan kecenderungan untuk aplikasi game

Merekomendasikan produk investasi yang dipersonalisasi

Pelajari cara memberikan rekomendasi investasi yang dipersonalisasi, dengan menyerap, memproses, dan meningkatkan data pasar dari API publik menggunakan Cloud Functions, memuat data di BigQuery dengan Dataflow, lalu melatih dan men-deploy beberapa model AutoML Tables dengan Vertex AI, mengorkestrasi pipeline ini dengan Cloud Composer, dan men-deploy frontend web dasar untuk merekomendasikan investasi kepada pengguna.

Postingan blog: Mendukung aplikasi keuangan konsumen dengan rekomendasi investasi yang sangat dipersonalisasi menggunakan Vertex AI

Panduan referensi teknis: Solusi teknis yang menghasilkan rekomendasi investasi yang sangat dipersonalisasi menggunakan ML

Kode contoh: Pola desain FSI untuk Mesin Rekomendasi Produk Investasi (IPRE)

Menangani data lake

Solusi Deskripsi Produk Links

Membangun pipeline CI/CD untuk layanan pemrosesan data serverless di data lake

Pelajari cara menyiapkan continuous integration dan continuous delivery (CI/CD) untuk pipeline pemrosesan data lake. Implementasikan metode CI/CD dengan Terraform, GitHub, dan Cloud Build, menggunakan metodologi GitOps yang populer.

Ringkasan teknis: Membangun pipeline CI/CD untuk layanan pemrosesan data serverless di data lake

Kontrol akses yang mendetail untuk data yang disimpan di penyimpanan objek

Pelajari cara menggunakan BigLake untuk menerapkan izin terperinci (keamanan tingkat baris dan kolom) pada file yang disimpan di penyimpanan objek. Tunjukkan bahwa keamanan tersebut mencakup layanan lain, seperti Spark yang dijalankan di Dataproc.

Kode contoh: Kontrol akses terperinci di BigLake dengan Spark