Designmuster für Datenanalysen

Last reviewed 2023-02-06 UTC

Auf dieser Seite finden Sie Links zu geschäftlichen Anwendungsfällen, Beispielcode und technischen Referenzleitfäden für Anwendungsfälle der industriellen Datenanalyse. Verwenden Sie diese Ressourcen, um Best Practices zu erfahren und die Implementierung Ihrer Arbeitslasten zu beschleunigen.

Die hier aufgeführten Designmuster sind codeorientierte Anwendungsfälle, die eine schnelle Implementierung erleichtern sollen. Informationen zu weiteren Analyselösungen finden Sie in der Liste der technischen Referenzleitfäden für Datenanalysen.

Anomalieerkennung

Lösung Beschreibung Produkte Links

Mit einem LSTM-Autoencoder Anomalien in Zeitachsendaten erkennen

In dieser Referenzimplementierung erfahren Sie, wie Sie Zeitachsendaten vorverarbeiten, um Lücken in den Quelldaten zu schließen, und die Daten dann durch einen LSTM-Autoencoder laufen lassen, um Anomalien zu erkennen. Der Autoencoder ist als ein Keras-Modell gestaltet, das ein neuronales LSTM-Netzwerk implementiert.

Beispielcode: Processing time-series data

Echtzeiterkennung von Kreditkartenbetrug

Erfahren Sie, wie Sie mithilfe von Transaktionen und Kundendaten Modelle für maschinelles Lernen in BigQuery ML trainieren, die in einer Echtzeit-Datenpipeline verwendet werden können, um Benachrichtigungen für potenzielle Kreditkartenbetrug zu erkennen, zu analysieren und auszulösen.

Beispielcode: Echtzeit-Erkennung von Kreditkartenbetrug

Übersichtsvideo: Fraudfinder: Eine umfassende Lösung für echte datenwissenschaftliche Probleme

Relative Stärkemodellierung in Zeitachsen für Kapitalmärkte

Dieses Muster ist für Capital Markets-Kunden und deren Abteilungen für quantitative Analyse (Quants) besonders relevant, um ihre technischen Indikatoren in Echtzeit zu verfolgen, um Investitionsentscheidungen zu treffen oder Indexe zu verfolgen. Es basiert auf einer Anomalieerkennung in Zeitreihen und kann problemlos auf andere Branchen wie die Fertigung angewendet werden, um Anomalien in relevanten Zeitachsenmesswerten zu erkennen.

Beispielcode: Dataflow Financial Services Time-Series Example

Blogpost aus dem Bereich „Wirtschaft und technische Aspekte”: How to detect machine-learned anomalies in real-time foreign exchange data

Umwelt, Soziales und Governance

Lösung Beschreibung Produkte Links

Physische Klimarisiken für nachhaltige Finanzen berechnen

Einführung eines Designmusters zur Analyse von Klimarisiken für Kredit- und Investmentportfolios mit cloudnativen Tools und detaillierten raumbezogenen Datasets.

Technische Übersicht: Bitbucket-Repository für Portfolio-Klimarisikoanalysen

Übersichtsvideo: Leveraging Independent ESG Data Insights

Blogpost: Quantifying Portfolio Climate Risk For Sustainable Investing With Geospatial Analytics

Allgemeine Analyse

Lösung Beschreibung Produkte Links

Dashboard für die Echtzeitanalyse von Websites erstellen

Sie erstellen ein Dashboard mit Echtzeitmesswerten, mit denen Sie die Leistung von Incentives oder Tests auf Ihrer Website bestimmen können.

Beispielcode: Realtime Analytics using Dataflow and Memorystore

Übersichtsvideo: Level Up - Real-time analytics using Dataflow and Memorystore

Pipeline zum Transkribieren und Analysieren von Sprachdateien erstellen

Hier erfahren Sie, wie Sie hochgeladene Sprachdateien transkribieren und analysieren und diese Daten dann in BigQuery speichern, um sie visualisieren zu können.

Beispielcode: Speech Analysis Framework

Unstrukturierte Daten in Objektspeichern analysieren

Erfahren Sie, wie Sie unstrukturierte Daten in Cloud Storage analysieren und Analysen mit Remote-Funktionen wie Vertex AI Vision für Bilder ermöglichen. Erfahren Sie, wie Sie mit BigQuery ML Inferenzaussagen aus unstrukturierten Daten erhalten können.

Technischer Referenzleitfaden: Einführung in Objekttabellen

Anleitung: Objekttabelle mit einer Remote-Funktion und der Cloud Vision API analysieren

Anleitung: Inferenzen mit TensorFlow und BigQuery ML für Bildobjekttabellen ausführen

Unstrukturierte Dokumentdateien in einem Data Warehouse analysieren

Erfahren Sie, wie Sie mit BigLake-Objekttabellen und Remote-Funktionen unstrukturierte Dokumente mit Document AI parsen und die Ausgabe als strukturierte Daten in BigQuery speichern.

Beispielcode: Unstrukturierte Dokumentanalyse in SQL

Data Warehouse für das Erfahrungsmanagement erstellen

Umfragedaten in Formate umwandeln, die in einem Data Warehouse oder für tiefere Analysen verwendet werden können Dieses Muster gilt für Kundenerfahrung, Erfahrung von Mitarbeitern und andere erfahrungsorientierte Anwendungsfälle.

Technische Referenzanleitung: Mit einem Umfrage-Data Warehouse Informationen aus Google Formulare gewinnen

Beispielcode: Umfragedaten mithilfe von Trifacta von Dataprep transformieren und nach BigQuery laden

Blogpost: Erfahrungsmanagement (XM) Data Warehouse mit Umfrageantworten erstellen

Übersichtsvideo: Erfahrungsmanagement Data Warehouse mit Umfrageantworten erstellen

Anleitung: Google Formulare-Umfrageantworten in BigQuery transformieren und laden

Erfahren Sie, wie Sie das öffentliche Google Trends-Dataset aus unseren Google Cloud-Datasets verwenden können, um häufige geschäftliche Herausforderungen zu bewältigen, z. B. um Trends in Ihren Einzelhandelsstandorten zu erkennen, die Produktnachfrage vorherzusehen und neue Marketingkampagnen zu entwickeln.

Blogpost: Informierte Entscheidungen mit Google Trends-Daten treffen

Übersichtsvideo: Das Google Trends-Dataset ist jetzt in BigQuery verfügbar

Beispielcode (Notebook): Trends-Beispiel-Notebook

Beispielcode (SQL): Google Trends-Beispielabfragen

Beispiel-Dashboard: Die 25 beliebtesten Google Suchbegriffe

Google Cloud-Ausgaben verstehen und optimieren

Erfahren Sie, wie Sie Ihre Google Cloud Billing-Daten in BigQuery bringen, um Ihre Ausgaben zu verstehen und zu optimieren und um umsetzbare Ergebnisse in Looker oder Looker Studio zu visualisieren.

Blogpost: Google Cloud-Ausgaben mit BigQuery und Looker optimieren

Beispielcode: Google Cloud Billing Looker Block

Datengesteuerte Preisoptimierung

Erfahren Sie, wie Sie schnell auf Marktänderungen reagieren, um wettbewerbsfähig zu bleiben. Durch eine schnellere Preisoptimierung können Kunden ihren Endnutzern über Google Cloud-Dienste wettbewerbsfähige Preise anbieten und so Umsatz und Profit steigern. Diese Lösung verwendet Dataprep von Trifacta, um Datenquellen einzubinden und anzupassen, BigQuery zur Verwaltung und Speicherung Ihrer Preismodelle und zur Visualisierung praktischer Ergebnisse in Looker.

Blogpost: Datengestützte Preisoptimierung

Anleitung: Preis von Einzelhandelsprodukten optimieren

Beispielcode: Google Cloud Billing Looker Block

Gesundheitswesen und Biowissenschaften

Lösung Beschreibung Produkte Links

Genomanalyse an Einzelzellen ausführen

Erfahren Sie, wie Sie Dataproc mit Dask, RAPIDS, GPUs und JupyterLab konfigurieren und dann eine Genomanalyse an Einzelzellen ausführen.

Technische Übersicht: Genomanalyse mit Dask, RAPIDS und GPUs in Dataproc ausführen

Beispielcode: Notebook

Blogpost: Genomanalyse an Einzelzellen in Google Cloud mit NVIDIA beschleunigen

Loganalyse

Lösung Beschreibung Produkte Links

Pipeline zum Erfassen von Dialogflow-Interaktionen erstellen

Hier erfahren Sie, wie Sie eine Pipeline erstellen, mit der sich Dialogflow-Interaktionen für die weiteren Analyse erfassen und speichern lassen.

Beispielcode: Dialogflow log parser

Mustererkennung

Lösung Beschreibung Produkte Links

Objekte in Videoclips erkennen

In dieser Lösung erfahren Sie, wie Sie mit Dataflow und der Video Intelligence API eine Lösung zur Echtzeitanalyse von Videoclips für das Objekt-Tracking erstellen, damit Sie große Mengen unstrukturierter Daten nahezu in Echtzeit analysieren können.

Beispielcode: Video Analytics Solution Using Dataflow and the Video Intelligence API

Apache Beam Ptransform zum Aufrufen der Video Intelligence API: apache_beam.ml.gcp.videointelligenceml module

Personenidentifizierbare Informationen in Ihrer intelligenten Analysepipeline anonymisieren (de-identifizieren) und neu identifizieren

In diesen Lösungen wird gezeigt, wie Sie mit Dataflow, Schutz sensibler Daten, BigQuery und Pub/Sub personenidentifizierbare Informationen in einem Beispiel-Dataset de-identifizieren und neu identifizieren.

Technische Referenzleitfäden:

Beispielcode: Migrate Sensitive Data in BigQuery Using Dataflow and Cloud Data Loss Prevention

Vorausschauende Prognose

Lösung Beschreibung Produkte Links

Modell für die Nachfrageprognose erstellen

Erfahren Sie, wie Sie ein Zeitachsenmodell erstellen, mit dem Sie die Einzelhandelsnachfrage für mehrere Produkte prognostizieren können.

Blogpost: Wie Sie mit BigQuery ML Nachfragemodelle erstellen

Notebook: bqml_retail_demand_forecasting.ipynb

Prognose-Webanwendung erstellen

Erfahren Sie, wie Sie eine Webanwendung erstellen, die mehrere Prognosemodelle verwendet, einschließlich BigQuery- und Vertex AI-Prognosen, um Produktverkäufe vorherzusagen. Nutzer ohne technischen Hintergrund können mit dieser Webanwendung Prognosen erstellen und die Auswirkungen verschiedener Parameter untersuchen.

Beispielcode: Zeitachsenprognosen

Beispiel-Webanwendung: Live-Demo zu Zeitachsenprognosen

Neue Zielgruppen anhand des aktuellen Customer Lifetime Value erstellen

Sie erfahren, wie Sie Ihre wertvollsten aktuellen Kunden ermitteln und dann damit Ähnliche Zielgruppen in Google Ads entwickeln können.

Technischer Referenzleitfaden: Neue Zielgruppen anhand dem bestehenden Customer Lifetime Value erstellen

Beispielcode: Activate on LTV predictions

Prognosen aus Google Tabellen mithilfe von BigQuery ML erstellen

Erfahren Sie, wie Sie maschinelles Lernen mit Ihren Geschäftsprozessen operationalisieren, indem Sie Verbundene Tabellenblätter mit einem Prognosemodell in BigQuery ML kombinieren. In diesem speziellen Beispiel führen wir die Schritte zum Erstellen eines Prognosemodells für den Website-Traffic mit Google Analytics-Daten durch. Dieses Muster kann auf andere Datentypen und andere Modelle für maschinelles Lernen erweitert werden.

Blogpost: Ein ML-Modell aus Google Tabellen mit BigQuery ML verwenden

Beispielcode: BigQuery ML-Prognose mit Google Tabellen

Vorlage: BigQuery ML-Prognose mit Google Tabellen

Neigungsmodelle für Spieleanwendungen

In dieser Anleitung wird erklärt, wie Sie mit BigQuery ML verschiedene Arten von Neigungsmodellen trainieren, bewerten und daraus Vorhersagen abrufen. Mithilfe von Neigungsmodellen können Sie die Wahrscheinlichkeit bestimmen, mit der bestimmte Nutzer zu Ihrer App zurückkehren. Diese Informationen können Sie dann für Marketingentscheidungen verwenden.

Blogpost: Churnvorhersage für Spieleentwickler, die Google Analytics 4 und BigQuery ML verwenden

Notebook: Churn-Vorhersage für Spieleentwickler, die Google Analytics 4 und BigQuery ML verwenden

Technische Übersicht: Neigungsmodelle für Spieleanwendungen

Personalisierte Investmentprodukte empfehlen

Erfahren Sie, wie Sie personalisierte Investitionen angeben, indem Sie Marktdaten aus öffentlichen APIs mit Cloud Functions aufnehmen, verarbeiten und optimieren, Daten mit Dataflow in BigQuery laden und dann mehrere AutoML Tables-Modelle mit Vertex AI trainieren und bereitstellen, diese Pipelines mit Cloud Composer orchestrieren und schließlich ein einfaches Web-Frontend bereitstellen, um Nutzern Investitionen zu empfehlen.

Blogpost: Finanzielle Anwendungen für Verbraucher mit hochgradig personalisierten Investmentempfehlungen über Vertex AI bereitstellen

Technischer Referenzleitfaden: Eine technische Lösung, die hochgradig personalisierte Investmentempfehlungen mithilfe von ML liefert

Beispielcode: Empfehlungssystem für FSI-Designmuster für Investmentprodukte (IPRE)

Mit Data Lakes arbeiten

Lösung Beschreibung Produkte Links

CI/CD-Pipelines für die serverlosen Datenverarbeitungsdienste eines Data Lake erstellen

Continuous Integration und Continuous Delivery (CI/CD) für die Datenverarbeitungspipelines eines Data Lake einrichten CI-/CD-Methoden in Terraform, GitHub und Cloud Build mithilfe der beliebten GitOps-Methode implementieren

Technische Übersicht: CI/CD-Pipelines für die serverlosen Datenverarbeitungsdienste eines Data Lake erstellen

Detaillierte Zugriffssteuerung für Daten, die in einem Objektspeicher gespeichert sind

Mit BigLake detaillierte Berechtigungen (Sicherheit auf Zeilen- und Spaltenebene) für in einem Objektspeicher gespeicherte Dateien anwenden Demonstrieren Sie, dass diese Sicherheit auch für andere Dienste gilt, z. B. für Spark, das auf Dataproc läuft.

Beispielcode: Detailgenaue Zugriffssteuerung auf BigLake mit Spark