Cloud Dataproc

Een snellere, eenvoudigere en voordeligere manier om Apache Spark en Apache Hadoop uit te voeren.

Kosteloos uitproberen

Cloudeigen Apache Hadoop en Apache Spark

Cloud Dataproc is een snelle, gebruiksvriendelijke en volledig beheerde cloudservice waarmee u Apache Spark- en Apache Hadoop-clusters eenvoudiger en voordeliger kunt uitvoeren. Bewerkingen die vroeger uren of dagen in beslag namen, duren nu nog maar seconden of minuten. Daarnaast betaalt u alleen voor de resources die u daadwerkelijk gebruikt (met facturering per seconde). Cloud Dataproc is eenvoudig te integreren met andere Google Cloud Platform-services (GCP). Zo beschikt u over een krachtig en compleet platform voor gegevensverwerking, analyse en machine learning.

Beheerde Hadoop en Spark

Snelle en schaalbare gegevensverwerking

Maak snel Cloud Dataproc-clusters en pas de grootte op elk gewenst moment aan van drie tot honderden nodes. U hoeft niet bang te zijn dat uw gegevenspipelines te groot worden voor uw clusters. Omdat elke clusterhandeling gemiddeld minder dan negentig seconden duurt, heeft u meer tijd om u op insights te richten en bent u minder tijd kwijt aan de infrastructuur.

Snelle en schaalbare gegevensverwerking

Betaalbare prijzen

In overeenstemming met de prijsstructuur van Google Cloud Platform zijn de kosten voor Cloud Dataproc laag en is de overzichtelijke prijsstructuur gebaseerd op daadwerkelijk gebruik, gemeten per seconde. Cloud Dataproc-clusters kunnen bovendien prijsvriendelijke verwijderbare instanties bevatten, waardoor uw clusters krachtiger zijn en de kosten nog lager uitvallen.

Betaalbare prijzen

Opensource-ecosysteem

U kunt de tools, bibliotheken en documentatie van Spark en Hadoop gebruiken met Cloud Dataproc. Cloud Dataproc biedt regelmatige updates van systeemeigen versies van Spark, Hadoop, Pig en Hive. U hoeft dus geen nieuwe tools of API's te leren om aan de slag gaan. Bovendien kunt u bestaande projecten en ETL-pipelines verplaatsen zonder deze opnieuw te ontwikkelen.

Opensource-ecosysteem

Functies van Cloud Dataproc

Cloud Dataproc is een snelle, gebruiksvriendelijke en voordelige beheerde service voor Apache Spark en Apache Hadoop.

Geautomatiseerd clusterbeheer
Dankzij de beheerde implementatie, logboekregistratie en controle hoeft u zich alleen maar op uw gegevens te richten, niet op uw cluster. Cloud Dataproc-clusters zijn stabiel, schaalbaar en snel.
Schaalbare clusters
Maak en schaal clusters snel met diverse typen virtuele machines, schijfgrootten, aantallen nodes en netwerkopties.
Clusters automatisch schalen
Met automatische schaling biedt Cloud Dataproc een mechanisme om het beheer van clusterresources te automatiseren en het aantal clusterwerkrollen (nodes) automatisch te verhogen en verlagen.
Geïntegreerd met de cloud
De ingebouwde integratie met Cloud Storage, BigQuery, Cloud Bigtable, Stackdriver Logging, Stackdriver Monitoring en AI Hub zorgt voor een compleet en robuust gegevensplatform.
Versiebeheer
Versiebeheer van images maakt het mogelijk om tussen verschillende versies van Apache Spark, Apache Hadoop en andere tools te wisselen.
Hoge beschikbaarheid
Voer clusters met meerdere hoofdnodes uit en stel in dat taken opnieuw worden opgestart bij fouten. Zo zorgt u voor een hoge beschikbaarheid van uw clusters en taken.
Bedrijfsbeveiliging
Wanneer u een Cloud Dataproc-cluster maakt, kunt u Hadoop Secure Mode via Kerberos inschakelen door een beveiligingsconfiguratie toe te voegen. Daarnaast bieden GCP en Cloud Dataproc aanvullende veiligheidsfuncties om uw gegevens te beschermen. De meestgebruikte GCP-specifieke beveiligingsfuncties voor Cloud Dataproc zijn: standaardversleuteling van inactieve gegevens (Encryption at Rest), inloggen bij het besturingssysteem (OS Login), VPC-serviceopties (VPC Service Controls) en door de klant beheerde versleutelingssleutels (Customer managed encryption keys, CMEK).
Geplande verwijdering van clusters
Als u geen kosten wilt maken voor inactieve clusters, kunt u in Cloud Dataproc geplande verwijdering gebruiken. Deze functie biedt verschillende opties om een cluster te verwijderen na een bepaalde periode van inactiviteit, op een bepaald tijdstip of na een ingestelde periode.
Automatische of handmatige configuratie
Cloud Dataproc configureert hardware en software automatisch, maar biedt ook mogelijkheden om dit handmatig te doen.
Developer Tools
Dit zijn verschillende tools om een cluster te beheren, waaronder een gebruiksvriendelijke web-UI, de Cloud-SDK, RESTful API's en SSH-toegang.
Initialisatieacties
Voer tijdens het maken van uw cluster initialisatieacties uit om de benodigde instellingen en bibliotheken te installeren of aan te passen.
Optionele componenten
Met optionele componenten kunt u aanvullende componenten in het cluster installeren en configureren. De optionele componenten zijn geïntegreerd met Cloud Dataproc en bieden volledig geconfigureerde omgevingen voor Zeppelin, Druid, Presto en andere opensource-software voor het ecosysteem van Apache Hadoop en Apache Spark.
Aangepaste images
Cloud Dataproc-clusters kunnen worden geleverd met een aangepaste image waarin uw Linux-besturingssysteempakketten vooraf zijn geïnstalleerd.
Flexibele virtuele machines
Clusters kunnen gebruikmaken van aangepaste machinetypen en van verwijderbare virtuele machines en dus perfect worden afgestemd op uw behoeften.
Toegang tot component-gateways en notebooks
De component-gateway van Cloud Dataproc biedt veilig en snel toegang tot de webinterface van standaard en optionele Cloud Dataproc-componenten die in het cluster worden uitgevoerd.
Workflowtemplates
Met de workflowtemplates van Cloud Dataproc kunnen workflows op een flexibele en gebruiksvriendelijke manier worden beheerd en uitgevoerd. Een workflowtemplate is een herbruikbare configuratie voor workflows waarin wordt aangegeven welke taken waar worden uitgevoerd.

Prijzen van Cloud Dataproc

Voor Cloud Dataproc wordt een klein, oplopend tarief in rekening gebracht per virtuele CPU in de Compute Engine-instanties die in uw cluster worden gebruikt.1

Iowa (us-central1) Oregon (us-west1) Noord-Virginia (us-east4) South Carolina (us-east1) Montreal (northamerica-northeast1) São Paulo (southamerica-east1) België (europe-west1) Londen (europe-west2) Nederland (europe-west4) Zürich (europe-west6) Frankfurt (europe-west3) Sydney (australia-southeast1) Mumbai (asia-south1) Hongkong (asia-east2) Taiwan (asia-east1) Tokio (asia-northeast1) Osaka (asia-northeast2)
Machinetype Prijs
Standaardmachines
1-64 virtuele CPU's
Machines met veel geheugen
2-64 virtuele CPU's
Machines met hoog CPU
2-64 virtuele CPU's
Aangepaste machines
Gebaseerd op vCPU- en geheugengebruik
Als u in een andere valuta dan USD betaalt, gelden de prijzen die u in uw valuta op Cloud Platform SKU's ziet.

1Voor Cloud Dataproc wordt een klein, oplopend tarief in rekening gebracht per virtuele CPU in de Compute Engine-instanties die in uw cluster worden gebruikt wanneer uw cluster actief is. Andere resources die door Cloud Dataproc worden gebruikt, waaronder een Compute Engine-netwerk, BigQuery en Cloud Bigtable, worden gefactureerd naar gebruik. Bekijk het prijsoverzicht voor uitgebreide prijsinformatie.

Aanbevolen blogs

Lees de nieuwste blogs voor een beter begrip van opensource-gegevensverwerking in de cloud

Hoogtepunten van Next '19

Kijk hoe klanten met Cloud Dataproc de kosten verlagen en op basis van gegevens beslissingen nemen in hun organisatie

De nieuwste Cloud Dataproc-functies
video_youtube
Hoe klanten Hadoop migreren naar Google Cloud Platform
video_youtube
Dataproc voor iedereen
video_youtube
Google Cloud

Aan de slag

Leren en ontwerpen

Nieuw bij GCP? Ga kosteloos aan de slag met een GCP-product en een tegoed van $ 300.

Heeft u meer hulp nodig?

Onze experts helpen u om de juiste oplossing te ontwerpen of de juiste partner te vinden.

Producten op deze pagina bevinden zich in alfa, bèta of vroege toegang. Kijk hier voor meer informatie over de lanceringsfasen van onze producten.

Cloud AI-producten voldoen aan het SLA-beleid dat hier te vinden is. De hierin genoemde garanties voor wachttijden of beschikbaarheid kunnen afwijken van de garanties voor andere Google Cloud-services.

Feedback verzenden over...