Im Architekturzentrum werden Inhaltsressourcen für eine Vielzahl von Big Data- und Analysethemen bereitgestellt.
Big Data- und Analyseressourcen im Architekturzentrum
Sie können die folgende Liste von Big-Data- und Analyseressourcen filtern, indem Sie einen Produktnamen oder eine Wortgruppe eingeben, die im Ressourcentitel oder in der Beschreibung enthalten ist.
FHIR-Daten in BigQuery analysieren Hier werden die Prozesse und Überlegungen zur Analyse von FHIR-Daten (Fast Healthcare Interoperability Resources) in BigQuery erläutert. Verwendete Produkte: BigQuery |
Architektur und Funktionen in einem Data Mesh Anleitung zur Implementierung eines Data Mesh in Google Cloud... |
Architecture: Marketing Data Warehouse Hier wird eine Referenzarchitektur zur Verfügung gestellt, die beschreibt, wie Sie skalierbare Marketing-Data Warehouses erstellen können. Verwendete Produkte: AI Platform, Auto ML, BigQuery, Cloud Data Fusion, Dataflow, Dataprepby Trifacta, Google Analytics, Looker |
Hier wird erläutert, wie Sie Data Catalog mit einer automatisierten Dataflow-Pipeline verwenden, um Datenvertraulichkeits-Tags zu identifizieren und auf Ihre Daten in Cloud Storage-Dateien, relationalen Datenbanken und BigQuery anzuwenden. Verwendete Produkte: Cloud Build, Cloud SQL, Cloud Storage, Compute Engine, Data Catalog, Dataflow, Secret Manager, Sensitive Data Protection |
BML-Vision-Analyselösung mit Dataflow und der Cloud Vision API erstellen Hier erfahren Sie, wie Sie eine Dataflow-Pipeline bereitstellen, um umfangreiche Bilddateien mit Cloud Vision zu verarbeiten. Dataflow speichert die Ergebnisse in BigQuery, damit Sie sie verwenden können, um vordefinierte BigQuery ML-Modelle zu trainieren. Verwendete Produkte: BigQuery, Cloud Build, Cloud Pub/Sub, Cloud Storage, Cloud Vision, Dataflow |
Cloud Monitoring-Messwerte exportieren Hier wird eine Möglichkeit beschrieben, Cloud Monitoring-Messwerte für die Langzeitanalyse zu exportieren. Verwendete Produkte: App Engine, BigQuery, Cloud Monitoring, Cloud Pub/Sub, Cloud Scheduler, Datalab, Looker Studio |
Kontinuierliche Datenreplikation nach BigQuery mit Striim Hier wird die Migration einer MySQL-Datenbank zu BigQuery mit Striim veranschaulicht. Striim ist eine umfassende ETL-Plattform (Extract, Transform and Load). Verwendete Produkte: BigQuery, Cloud SQL for MySQL, Compute Engine |
Kontinuierliche Datenreplikation zu Spanner mit Striim Hier wird beschrieben, wie Sie eine MySQL-Datenbank mit Striim zu Cloud Spanner migrieren. Verwendete Produkte: Cloud SQL, Cloud SQL for MySQL, Compute Engine, Cloud Spanner |
Designmuster für Datenanalysen Auf dieser Seite finden Sie Links zu geschäftlichen Anwendungsfällen, Beispielcode und technischen Referenzleitfäden für Anwendungsfälle der industriellen Datenanalyse. Verwenden Sie diese Ressourcen, um Best Practices zu erfahren und die Implementierung Ihrer Arbeitslasten zu beschleunigen. |
Data Science mit R in Google Cloud: Anleitung zur explorativen Datenanalyse Hier wird gezeigt, wie Sie mit Data Science in großem Umfang mit R in Google Cloud loslegen können. Dieses Dokument richtet sich an Personen, die bereits mit R und Jupyter-Notebooks sowie mit SQL vertraut sind. Verwendete Produkte: BigQuery, Cloud Storage, Notebooks |
Datentransformation zwischen MongoDB Atlas und Google Cloud Datentransformation zwischen MongoDB Atlas als operativem Datenspeicher und BigQuery als Analyse-Data Warehouse. Verwendete Produkte: BigQuery, Cloud Pub/Sub, Dataflow |
Hier wird beschrieben, wie Sie mit Sensitive Data Protection eine automatisierte Pipeline zur Datentransformation erstellen, um sensible Daten, beispielsweise personenidentifizierbare Informationen, zu de-identifizieren. Verwendete Produkte: BigQuery, Cloud Pub/Sub, Cloud Storage, Dataflow, Identity and Access Management, Sensitive Data Protection |
Hier wird beschrieben, wie Sie mit dem Schutz sensibler Daten das Risiko minimieren, dass in Google Cloud-Datenbanken gespeicherte sensible Daten gegenüber Nutzern preisgegeben werden, diese Nutzer aber trotzdem noch aussagekräftige Daten abfragen können. Verwendete Produkte: Cloud-Audit-Logs, Cloud Key Management Service, Sensitive Data Protection |
Referenzarchitektur für die Verarbeitung genomischer Daten Hier werden Referenzarchitekturen für die Verwendung der Cloud Life Sciences API mit anderen Google Cloud-Produkten für die Verarbeitung genomischer Daten mithilfe verschiedener Methoden und Workflow-Engines beschrieben. Verwendete Produkte: Cloud Life Sciences, Cloud Storage, Compute Engine |
Architektur für raumbezogene Analysen Hier erhalten Sie Informationen zu raumbezogenen Funktionen von Google Cloud und wie Sie diese Funktionen in Anwendungen für raumbezogene Analysen verwenden können. Verwendete Produkte: BigQuery, Dataflow |
Daten aus einem externen Netzwerk in ein gesichertes BigQuery-Data-Warehouse importieren Beschreibt eine Architektur, mit der Sie Data Warehouses in Produktionsumgebungen schützen können. Außerdem finden Sie Best Practices zum Importieren von Daten aus einem externen Netzwerk, z. B. einer lokalen Umgebung in BigQuery. Verwendete Produkte: BigQuery |
Daten aus Google Cloud in ein gesichertes BigQuery-Data-Warehouse importieren Hier wird eine Architektur beschrieben, mit der Sie Data Warehouses in Produktionsumgebungen schützen können. Außerdem werden Best Practices für die Data Governance von Data Warehouses in Google Cloud vorgestellt. Verwendete Produkte: BigQuery, Cloud Key Management Service, Dataflow, Sensitive Data Protection |
Klinische Daten und Betriebsdaten mit Cloud Data Fusion aufnehmen Hier wird Forschern, Data Scientists und IT-Teams erklärt, wie über Cloud Data Fusion Daten nutzbar gemacht werden können, indem sie in BigQuery, ein Data Warehouse für aggregierte Daten in Google Cloud, aufgenommen und dort transformiert und gespeichert werden. Verwendete Produkte: BigQuery, Cloud Data Fusion, Cloud Storage |
Jump Start Solution: Analytics Lakehouse Vereinheitlichen Sie Data Lakes und Data Warehouses und erstellen Sie dazu ein Analytics Lakehouse mit BigQuery, um Daten zu speichern, zu verarbeiten, zu analysieren und zu aktivieren. |
Schnellstart-Lösungen: Data Warehouse with BigQuery Erstellen Sie mit BigQuery ein Data Warehouse mit einem Dashboard und einem Visualisierungstool. |
Hier wird Ihnen geholfen, den Prozess der Migration Ihrer Anwendungs- und Infrastrukturarbeitslasten zu Google Cloud zu planen, zu gestalten und zu implementieren, einschließlich Computing-, Datenbank- und Speicherarbeitslasten. Verwendete Produkte: App Engine, Cloud Build, Cloud Data Fusion, Cloud Deployment Manager, Cloud Functions, Cloud Run, Cloud Storage, Container Registry, Data Catalog, Dataflow, Direct Peering, Google Kubernetes Engine (GKE), Transfer Appliance |
Lokale Hadoop-Infrastruktur zu Google Cloud migrieren Anleitung zum Verschieben von lokalen Hadoop-Arbeitslasten zur Google Cloud... Verwendete Produkte: BigQuery, Cloud Storage, Dataproc |
Aufnahme umfangreicher Analyseereignisse und -logs optimieren Hier wird eine Architektur zur Optimierung der Aufnahme umfangreicher Analyseereignisse in Google Cloud beschrieben, wobei „umfangreich“ mehr als 100.000 Ereignisse pro Sekunde oder eine kumulierte Ereignisnutzlastgröße von über 100 MB pro Sekunde bedeutet. Verwendete Produkte: BigQuery, Cloud Logging, Cloud Pub/Sub, Compute Engine, Dataflow |
Mithilfe von Dataflow ETL von einer relationalen Datenbank in BigQuery ausführen Hier wird gezeigt, wie Sie mit Dataflow Daten aus einer relationalen OLTP-Datenbank (Datenbank zur Online-Transaktionsverarbeitung) extrahieren und transformieren und anschließend zur Analyse in BigQuery laden können. Verwendete Produkte: BigQuery, Cloud Storage, Compute Engine, Dataflow |
Neigungsmodelle für Spieleanwendungen In dieser Anleitung wird erklärt, wie Sie mit BigQuery ML verschiedene Arten von Neigungsmodellen trainieren, bewerten und daraus Vorhersagen abrufen. Mithilfe von Neigungsmodellen können Sie die Wahrscheinlichkeit bestimmen, mit der bestimmte Nutzer zu Ihrer App zurückkehren. |
Sicherheitsloganalysen in Google Cloud HIer wird beschrieben, wie Sie Logs aus Google Cloud erfassen, exportieren und analysieren, um die Nutzung zu prüfen und Bedrohungen für Ihre Daten und Arbeitslasten zu erkennen. Verwenden Sie die enthaltenen Bedrohungserkennungsabfragen für BigQuery oder Chronicle oder verwenden Sie Ihr eigenes SIEM. Verwendete Produkte: BigQuery, Cloud Logging, Compute Engine, Looker Studio |
Intelligente API zur Vorhersage der Kaufneigung von Kunden mit Apigee, BigQuery ML und Spanner Erstellen Sie eine API, mit der Sie vorhersagen können, wie wahrscheinlich es ist, dass ein Kunde etwas kauft. Verwendete Produkte: Apigee, App-Tabelle, BigQuery für maschinelles Lernen, Cloud Spanner |
Tracking von Provenance- und Lineage-Metadaten für Gesundheitsdaten HIer wird beschrieben, wie Provenance- und Lineage-Metadaten für Gesundheitsdaten in Google Cloud für Forscher, Data Scientists und IT-Teams erfasst werden. Verwendete Produkte: BigQuery, Cloud Data Fusion, Cloud Storage |
Gesundheitsdaten für BigQuery umwandeln und vereinheitlichen Hier werden die Prozesse und Überlegungen zur Vereinheitlichung von Gesundheitsdaten in Google Cloud für Forscher, Data Scientists und IT-Teams erläutert, die in BigQuery einen Data Lake für Analysen erstellen möchten. Verwendete Produkte: BigQuery, Cloud Data Fusion, Cloud Storage, Sensitive Data Protection |
CI-/CD-Pipeline für Workflows zur Datenverarbeitung verwenden Hier wird beschrieben, wie Sie mit verwalteten Produkten auf Google Cloud durch Implementierung von Methoden zur kontinuierlichen Integration und kontinuierlichen Bereitstellung (Continuous Integration/Continuous Delivery, CI/CD) eine CI/CD-Pipeline für die Datenverarbeitung einrichten. Verwendete Produkte: Cloud Build, Cloud Composer, Cloud Source Repositories, Cloud Storage, Compute Engine, Dataflow |
Apache Hive in Dataproc verwenden Hier wird beschrieben, wie Sie Apache Hive auf Dataproc effizient und flexibel verwenden, indem Sie Hive-Daten in Cloud Storage speichern und den Hive-Metaspeicher in einer MySQL-Datenbank in Cloud SQL hosten. Verwendete Produkte: Cloud SQL, Cloud Storage, Dataproc |