Dataproc
Dataproc ist ein vollständig verwalteter, äußerst skalierbarer Dienst für die Ausführung von Apache Spark, Apache Flink, Presto und mehr als 30 Open-Source-Tools und Frameworks. Verwenden Sie Dataproc für Data-Lake-Modernisierung, ETL und sichere Data Science im globalen Maßstab, vollständig in Google Cloud eingebunden und zu einem Bruchteil der Kosten.
-
Offen: Open-Source-Datenanalysen im erforderlichen Maßstab mit Sicherheit auf Unternehmensniveau ausführen
-
Flexibel: Serverlos nutzen oder Cluster auf Google Compute und Kubernetes verwalten
-
Intelligent: Datennutzer durch Einbindung in Vertex AI, BigQuery und Dataplex aktivieren.
-
Sicher: Erweiterte Sicherheit wie Kerberos, Apache Ranger und Persönlicher Authentifizierung konfigurieren
-
Kostengünstig: 54 % niedrigere Gesamtbetriebskosten im Vergleich zu lokalen Data Lakes mit sekundengenauer Abrechnung
Vorteile
Open-Source-Datenverarbeitung modernisieren
Wenn Sie VMs oder Kubernetes, zusätzlichen Speicher für Presto oder sogar GPUs benötigen, kann Dataproc Ihnen dabei helfen, Ihre Daten- und Analyseverarbeitung durch speziell entwickelte oder serverlose On-Demand-Umgebungen zu beschleunigen.
Erweiterte Sicherheit, Compliance und Governance
Mit Dataproc, BigLake und Dataplex detaillierte Zugriffskontrollen auf Zeilen- und Spaltenebene erzwingen. Nutzerautorisierung und -authentifizierung mithilfe vorhandener Kerberos- und Apache Ranger-Richtlinien verwalten und erzwingen.
Wichtige Features
Wichtige Features
Vollständig verwaltete und automatisierte Big-Data-Open-Source-Software.
Durch serverloses Deployment, Logging und Monitoring können Sie sich ganz auf Ihre Daten und Analysen statt auf die Infrastruktur konzentrieren. Reduzieren Sie die Gesamtbetriebskosten des Apache Spark-Managements um bis zu 54 %.Dank der Einbindung in Vertex AI Workbench können Data Scientists und Entwicklerinnen und Nutzer Modelle im Vergleich zu herkömmlichen Notebooks fünfmal schneller erstellen und trainieren. Die Dataproc Jobs API vereinfacht die Einbindung großer Datenverarbeitung in benutzerdefinierte Anwendungen, während Dataproc Metastore keine eigene Hive-Metastore- oder Katalogdienste ausführen muss.
Apache Spark-Jobs mit Kubernetes containerisieren
Erstellen Sie Ihre Apache Spark-Jobs mit Dataproc in Kubernetes, sodass Sie Dataproc mit Google Kubernetes Engine (GKE) verwenden können, um Portabilität und Isolierung von Jobs zu ermöglichen.
In Google Cloud integrierte Unternehmenssicherheit
Beim Erstellen eines Dataproc-Clusters können Sie den sicheren Modus von Hadoop über Kerberos aktivieren, indem Sie eine Sicherheitskonfiguration hinzufügen. Zu den am häufigsten mit Dataproc verwendeten Sicherheitsfeatures von Google Cloud zählen darüber hinaus die Standardverschlüsselung von inaktiven Daten, OS Login, VPC Service Controls sowie vom Kunden verwaltete Verschlüsselungsschlüssel (Customer Managed Encryption Keys, CMEK).
Das Beste von Open Source mit den besten Funktionen von Google Cloud
Mit Dataproc können Sie die Open-Source-Tools, -Algorithmen und -Programmiersprachen, die Sie heute verwenden, auf einfache Weise auf Datasets in Cloud-Größenordnung anwenden. Gleichzeitig verfügt Dataproc über eine sofort einsatzbereite Integration mit dem Rest des Google Cloud Analytics-, Datenbank- und KI-Ökosystems. Data Scientists und Data Engineers können schnell auf Daten zugreifen und Datenanwendungen erstellen, die Dataproc mit BigQuery, Vertex AI und Cloud Spanner, Pub/Sub oder Data Fusion verbinden.
Kunden
Von Kunden lernen, die Dataproc nutzen
Das ist neu
Das ist neu
Serverloses Spark ist jetzt allgemein verfügbar. Registrieren Sie sich für eine Vorschau der anderen Spark-in-Google Cloud-Dienste.
Dokumentation
Dokumentation
Serverloses Spark
Senden Sie Spark-Jobs, die automatisch bereitgestellt und automatisch skaliert werden. Weitere Informationen finden Sie unten über den Kurzanleitung-Link. .
Dataproc-Initialisierungsaktionen
Dataproc-Clustern durch vordefinierte Initialisierungsaktionen weitere OSS-Projekte hinzufügen
Open-Source-Connectors
Bibliotheken und Tools für die Apache Hadoop-Interoperabilität
Dataproc-Workflowvorlagen
Die Dataproc WorkflowTemplates API bietet einen flexiblen und benutzerfreundlichen Mechanismus zum Verwalten und Ausführen von Workflows.
Anwendungsfälle
Anwendungsfälle
Unternehmen migrieren ihre bestehenden lokalen Apache Hadoop- und Spark-Cluster zu Dataproc, um die Kosten zu senken und von der elastischen Skalierbarkeit zu profitieren. Dataproc bietet Unternehmen vollständig verwaltete, zweckorientierte Cluster, die sich entsprechend dem zu verarbeitenden Daten- oder Analysevolumen automatisiert skalieren lassen.
Schaffen Sie Ihre optimale Data Science-Umgebung durch flexibel hoch- und herunterfahrbare zweckorientierte Dataproc-Cluster. Binden Sie Open-Source-Software wie Apache Spark, NVIDIA RAPIDS und Jupyter-Notebooks in KI-Dienste und GPUs von Google Cloud ein, um die ML- und KI-Entwicklung zu beschleunigen.
Alle Features
Alle Features
| Serverloses Spark | Schreiben von Spark-Anwendungen und -Pipelines mit automatischer Skalierung ohne manuelle Infrastrukturbereitstellung oder -abstimmung. |
| Skalierbare Cluster | Sie können Cluster mit diversen VM-Typen, Laufwerksgrößen, Knoten und Netzwerkoptionen schnell erstellen und skalieren. |
| Autoscaling-Cluster | Mit der Autoscaling-Funktion von Dataproc können Sie die Verwaltung von Clusterressourcen und das Hinzufügen und Entfernen von Cluster-Workern (Knoten) automatisieren. |
| Eingebunden in die Cloud | Durch die Einbindung in Cloud Storage, BigQuery, Dataplex, Vertex AI, Composer, Cloud Bigtable, Cloud Logging und Cloud Monitoring erhalten Sie eine vollständige und robuste Datenplattform. |
| Versionsverwaltung | Die Image-Versionsverwaltung macht den Wechsel zwischen unterschiedlichen Versionen von Apache Spark, Apache Hadoop und anderen Tools möglich. |
| Planmäßiges Löschen von Clustern | Damit für inaktive Cluster keine Kosten anfallen, können Sie diese in Dataproc planmäßig löschen. Dies ist wahlweise nach einer bestimmten Zeit der Inaktivität, zu einem bestimmten Zeitpunkt oder nach einem bestimmten Zeitraum möglich. |
| Automatische oder manuelle Konfiguration | Dataproc konfiguriert die Hardware und Software automatisch. Sie können dies jedoch auch manuell steuern. |
| Entwicklertools | Es stehen Ihnen mehrere Möglichkeiten zum Verwalten eines Clusters offen, einschließlich nutzerfreundlicher Web-UI, Cloud SDK, RESTful APIs und SSH-Zugriff. |
| Initialisierungsaktionen | Beim Erstellen des Clusters können Sie Initialisierungsaktionen ausführen, um die benötigten Einstellungen und Bibliotheken zu installieren oder anzupassen. |
| Optionale Komponenten | Mit optionalen Komponenten können Sie zusätzliche Komponenten im Cluster installieren und konfigurieren. Optionale Komponenten sind in Dataproc-Komponenten eingebunden und bieten vollständig konfigurierte Umgebungen für Zeppelin, Presto und andere Open-Source-Softwarekomponenten im Zusammenhang mit der Apache Hadoop- und Apache Spark-Umgebung. |
| Benutzerdefinierte Container und Images | Das serverlose Spark von Dataproc kann mit benutzerdefinierten Docker-Containern bereitgestellt werden. Dataproc-Cluster können mit einem benutzerdefinierten Image bereitgestellt werden, das die vorinstallierten Pakete Ihres Linux-Betriebssystems enthält. |
| Flexible virtuelle Maschinen | Für Cluster können benutzerdefinierte Maschinentypen und VMs auf Abruf verwendet werden, sodass die Größe genau Ihren Anforderungen entspricht. |
| Component Gateway und Notebook-Zugriff | Dataproc Component Gateway bietet mit einem einzigen Klick sicheren Zugriff auf die Weboberflächen standardmäßiger und optionaler Dataproc-Komponenten, die im Cluster ausgeführt werden. |
| Workflowvorlagen | Mithilfe der Workflowvorlagen von Dataproc können Sie Workflows flexibel und nutzerfreundlich verwalten und ausführen. Eine Workflow-Vorlage ist eine wiederverwendbare -Workflow-Konfiguration, die Jobs definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen. |
| Automatisierte Richtlinienverwaltung | Standardisieren Sie Sicherheits-, Kosten- und Infrastrukturrichtlinien für eine Clusterflotte. Sie können Richtlinien für die Ressourcenverwaltung, die Sicherheit oder das Netzwerk auf Projektebene erstellen. Außerdem können Sie Nutzern die Verwendung der richtigen Images, Komponenten, Metastores und anderer Peripheriedienste erleichtern, sodass Sie Ihre Clusterflotte und serverlose Spark-Richtlinien in Zukunft verwalten können. |
| Intelligente Benachrichtigungen | Mit empfohlenen Benachrichtigungen von Dataproc können Kunden die Schwellenwerte für die vorkonfigurierten Benachrichtigungen anpassen, um Benachrichtigungen zu inaktiven, außer Kontrolle geratenen Clustern, Jobs und überlasteten Clustern und mehr zu erhalten. Kunden können diese Benachrichtigungen weiter anpassen und sogar erweiterte Cluster- und Jobverwaltungsfunktionen erstellen. Mit diesen Funktionen können Kunden ihre Flotte in großem Umfang verwalten. |
| Dataproc Metastore | Vollständig verwalteter, hochverfügbarer Hive Metastore (HMS) mit differenzierter Zugriffssteuerung und Einbindung in BigQuery-Metastore, Dataplex und Data Catalog. |
Preise
Preise
Die Preise für Dataproc richten sich nach der Anzahl der vCPUs sowie deren Ausführungsdauer. Die Preise sind auf Stundenbasis angegeben, aber die Abrechnung erfolgt sekundengenau. Sie zahlen also nur für das, was Sie tatsächlich in Anspruch nehmen.
Beispiel: 6 Cluster (1 Hauptcluster + 5 Worker) von 4 CPUs, die jeweils 2 Stunden ausgeführt werden, kosten 0,48 $. Dataproc-Gebühren = Anzahl der vCPUs * Stunden * Dataproc-Preis = 24 * 2 * 0,01 $ = = 0,48 $
Weitere Informationen finden Sie in der Preisübersicht.
Partner
Partner
Dataproc ist mit wichtigen Partnerlösungen kompatibel und dient als Ergänzung Ihrer bestehenden Investitionen und Fertigkeiten.
