Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Weiter zu

Dataproc

Dataproc ist ein vollständig verwalteter, äußerst skalierbarer Dienst für die Ausführung von Apache Spark, Apache Flink, Presto und mehr als 30 Open-Source-Tools und Frameworks. Verwenden Sie Dataproc für Data-Lake-Modernisierung, ETL und sichere Data Science im globalen Maßstab, vollständig in Google Cloud eingebunden und zu einem Bruchteil der Kosten.

Vorteile

Open-Source-Datenverarbeitung modernisieren

Wenn Sie VMs oder Kubernetes, zusätzlichen Speicher für Presto oder sogar GPUs benötigen, kann Dataproc Ihnen dabei helfen, Ihre Daten- und Analyseverarbeitung durch speziell entwickelte oder serverlose On-Demand-Umgebungen zu beschleunigen.

Intelligentes und nahtloses Open-Source-Softwarecode für Data Science

Ermöglichen Sie Data Scientists und Datenanalysten durch eine native Einbindung in BigQuery, Dataplex und Vertex AI nahtlose Data-Science-Jobs.

Erweiterte Sicherheit, Compliance und Governance

Mit Dataproc, BigLake und Dataplex können Sie detaillierte Zugriffssteuerungen auf Zeilen- und Spaltenebene erzwingen. Nutzerautorisierung und Authentifizierung mithilfe vorhandener Kerberos- und Apache Ranger-Richtlinien verwalten und erzwingen. 

Wichtige Features

Wichtige Features

Vollständig verwaltete und automatisierte Big-Data-Open-Source-Software.

Durch serverloses Deployment, Logging und Monitoring können Sie sich ganz auf Ihre Daten und Analysen statt auf die Infrastruktur konzentrieren. Reduzieren Sie die Gesamtbetriebskosten des Apache Spark-Managements um bis zu 54 %.Dank der Einbindung in Vertex AI Workbench können Data Scientists und Entwicklerinnen und Nutzer Modelle im Vergleich zu herkömmlichen Notebooks fünfmal schneller erstellen und trainieren. Die Dataproc Jobs API vereinfacht die Einbindung großer Datenverarbeitung in benutzerdefinierte Anwendungen, während Dataproc Metastore keine eigene Hive-Metastore- oder Katalogdienste ausführen muss.

Apache Spark-Jobs mit Kubernetes containerisieren

Erstellen Sie Ihre Apache Spark-Jobs mit Dataproc in Kubernetes, sodass Sie Dataproc mit Google Kubernetes Engine (GKE) verwenden können, um Portabilität und Isolierung von Jobs zu ermöglichen.

In Google Cloud integrierte Unternehmenssicherheit

Beim Erstellen eines Dataproc-Clusters können Sie den sicheren Modus von Hadoop über Kerberos aktivieren, indem Sie eine Sicherheitskonfiguration hinzufügen. Zu den am häufigsten mit Dataproc verwendeten Sicherheitsfeatures von Google Cloud zählen darüber hinaus die Standardverschlüsselung von inaktiven Daten, OS Login, VPC Service Controls sowie vom Kunden verwaltete Verschlüsselungsschlüssel (Customer Managed Encryption Keys, CMEK).

Das Beste von Open Source mit den besten Funktionen von Google Cloud

Mit Dataproc können Sie die Open-Source-Tools, -Algorithmen und -Programmiersprachen, die Sie heute verwenden, auf einfache Weise auf Datasets in Cloud-Größenordnung anwenden. Gleichzeitig verfügt Dataproc über eine sofort einsatzbereite Integration mit dem Rest des Google Cloud Analytics-, Datenbank- und KI-Ökosystems. Data Scientists und Data Engineers können schnell auf Daten zugreifen und Datenanwendungen erstellen, die Dataproc mit BigQuery, Vertex AI und Cloud Spanner, Pub/Sub oder Data Fusion verbinden. 

Alle Features ansehen

Das ist neu

Das ist neu

Serverloses Spark ist jetzt allgemein verfügbar. Registrieren Sie sich für eine Vorschau der anderen Spark-in-Google Cloud-Dienste.

Dokumentation

Dokumentation

Google Cloud Basics
Serverloses Spark

Senden Sie Spark-Jobs, die automatisch bereitgestellt und automatisch skaliert werden. Weitere Informationen finden Sie unten über den Kurzanleitung-Link. .

APIs und Bibliotheken
Dataproc-Initialisierungsaktionen

Dataproc-Clustern durch vordefinierte Initialisierungsaktionen weitere OSS-Projekte hinzufügen

APIs und Bibliotheken
Open-Source-Connectors

Bibliotheken und Tools für die Apache Hadoop-Interoperabilität

APIs und Bibliotheken
Dataproc-Workflowvorlagen

Die Dataproc WorkflowTemplates API bietet einen flexiblen und benutzerfreundlichen Mechanismus zum Verwalten und Ausführen von Workflows.

Anwendungsfälle

Anwendungsfälle

Anwendungsfall
Hadoop- und Spark-Cluster in die Cloud verlagern

Unternehmen migrieren ihre bestehenden lokalen Apache Hadoop- und Spark-Cluster zu Dataproc, um die Kosten zu senken und von der elastischen Skalierbarkeit zu profitieren. Dataproc bietet Unternehmen vollständig verwaltete, zweckorientierte Cluster, die sich entsprechend dem zu verarbeitenden Daten- oder Analysevolumen automatisiert skalieren lassen.

Alle Features

Alle Features

Serverloses Spark Schreiben von Spark-Anwendungen und -Pipelines mit automatischer Skalierung ohne manuelle Infrastrukturbereitstellung oder -abstimmung. 
Skalierbare Cluster Sie können Cluster mit diversen VM-Typen, Laufwerksgrößen, Knoten und Netzwerkoptionen schnell erstellen und skalieren.
Autoscaling-Cluster Mit der Autoscaling-Funktion von Dataproc können Sie die Verwaltung von Clusterressourcen und das Hinzufügen und Entfernen von Cluster-Workern (Knoten) automatisieren.
Eingebunden in die Cloud Durch die Einbindung in Cloud Storage, BigQuery, Dataplex, Vertex AI, Composer, Cloud Bigtable, Cloud Logging und Cloud Monitoring erhalten Sie eine vollständige und robuste Datenplattform.
Versionsverwaltung Die Image-Versionsverwaltung macht den Wechsel zwischen unterschiedlichen Versionen von Apache Spark, Apache Hadoop und anderen Tools möglich.
Planmäßiges Löschen von Clustern Damit für inaktive Cluster keine Kosten anfallen, können Sie diese in Dataproc planmäßig löschen. Dies ist wahlweise nach einer bestimmten Zeit der Inaktivität, zu einem bestimmten Zeitpunkt oder nach einem bestimmten Zeitraum möglich.
Automatische oder manuelle Konfiguration Dataproc konfiguriert die Hardware und Software automatisch. Sie können dies jedoch auch manuell steuern.
Entwicklertools Es stehen Ihnen mehrere Möglichkeiten zum Verwalten eines Clusters offen, einschließlich nutzerfreundlicher Web-UI, Cloud SDK, RESTful APIs und SSH-Zugriff.
Initialisierungsaktionen Beim Erstellen des Clusters können Sie Initialisierungsaktionen ausführen, um die benötigten Einstellungen und Bibliotheken zu installieren oder anzupassen.
Optionale Komponenten Mit optionalen Komponenten können Sie zusätzliche Komponenten im Cluster installieren und konfigurieren. Optionale Komponenten sind in Dataproc-Komponenten eingebunden und bieten vollständig konfigurierte Umgebungen für Zeppelin, Presto und andere Open-Source-Softwarekomponenten im Zusammenhang mit der Apache Hadoop- und Apache Spark-Umgebung.
Benutzerdefinierte Container und Images Das serverlose Dataproc von Spark kann mit benutzerdefinierten Docker-Containern bereitgestellt werden. Dataproc-Cluster können mit einem benutzerdefinierten Image bereitgestellt werden, das die vorinstallierten Pakete Ihres Linux-Betriebssystems enthält.
Flexible virtuelle Maschinen Für Cluster können benutzerdefinierte Maschinentypen und VMs auf Abruf verwendet werden, sodass die Größe genau Ihren Anforderungen entspricht.
Component Gateway und Notebook-Zugriff Dataproc Component Gateway bietet mit einem einzigen Klick sicheren Zugriff auf die Weboberflächen standardmäßiger und optionaler Dataproc-Komponenten, die im Cluster ausgeführt werden.
Workflowvorlagen Mithilfe der Workflowvorlagen von Dataproc können Sie Workflows flexibel und nutzerfreundlich verwalten und ausführen. Eine Workflow-Vorlage ist eine wiederverwendbare -Workflow-Konfiguration, die Jobs definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen. 
Automatisierte Richtlinienverwaltung Standardisieren Sie Sicherheits-, Kosten- und Infrastrukturrichtlinien für verschiedene Cluster. Sie können Richtlinien für die Ressourcenverwaltung, Sicherheit oder Netzwerke auf Projektebene erstellen. Außerdem können Sie Nutzern die Verwendung der richtigen Images, Komponenten, Metastores und anderer Peripheriedienste erleichtern, sodass Sie Ihre Cluster-Flotte und serverlosen Spark-Richtlinien in Zukunft verwalten können. 
Intelligente Benachrichtigungen Mit empfohlenen Dataproc-Benachrichtigungen können Kunden die Schwellenwerte für die vorkonfigurierten Benachrichtigungen anpassen, um Benachrichtigungen zu inaktiven, unkontrollierten Clustern, Jobs und überlasteten Clustern zu erhalten und mehr. Kunden können diese Benachrichtigungen weiter anpassen und sogar erweiterte Cluster- und Jobverwaltungsfunktionen erstellen. Mit diesen Funktionen können Kunden ihren Gerätepool in großem Umfang verwalten.
Dataproc Metastore Vollständig verwalteter, hochverfügbarer Hive Metastore (HMS) mit differenzierter Zugriffssteuerung und Einbindung in BigQuery Metastore, Dataplex und Data Catalog.

Preise

Preise

Die Preise für Dataproc richten sich nach der Anzahl der vCPUs sowie deren Ausführungsdauer. Die Preise sind auf Stundenbasis angegeben, aber die Abrechnung erfolgt sekundengenau. Sie zahlen also nur für das, was Sie tatsächlich in Anspruch nehmen.

Beispiel: 6 Cluster (1 Hauptcluster + 5 Worker) von 4 CPUs, die jeweils 2 Stunden ausgeführt werden, kosten 0,48 $.  Dataproc-Gebühren = Anzahl der vCPUs * Stunden * Dataproc-Preis = 24 * 2 * 0,01 $ = = 0,48 $

Weitere Informationen finden Sie in der Preisübersicht.

Partner

Partner

Dataproc ist mit wichtigen Partnerlösungen kompatibel und dient als Ergänzung Ihrer bestehenden Investitionen und Fertigkeiten.