Com o Dataproc, um serviço Apache Spark e Hadoop gerenciado, você pode usar ferramentas de dados de código aberto para processamento em lote, consultas, streaming e machine learning. A automação do Dataproc ajuda a criar clusters rapidamente, gerenciá-los com facilidade e economizar dinheiro desativando os clusters quando não são necessários. Com menos tempo e dinheiro gastos com administração, você pode se concentrar nos jobs e dados. Saiba mais

Guias

Referência

Recursos

Treinamento e tutoriais

Veja tutoriais do Dataproc, cursos e treinamentos autoguiados do Google Cloud Skills Boost.

Tutorial

Executar um job do Spark no Google Kubernetes Engine

Envie jobs do Spark para um cluster do Google Kubernetes Engine em execução na API Dataproc Jobs.

Saiba mais  
Treinamento

Introdução ao Cloud Dataproc: Hadoop e Spark no Google Cloud

Este curso apresenta uma combinação de palestras, demonstrações e laboratórios práticos para criar um cluster do Dataproc, enviar um job do Spark e, em seguida, encerrar o cluster.

Saiba mais  
Treinamento

Machine learning com Spark no Dataproc

Este curso apresenta uma combinação de palestras, demonstrações e laboratórios práticos para implementar a regressão logística usando uma biblioteca de machine learning do Apache Spark em um cluster do Dataproc para desenvolver um modelo com dados de um conjunto de dados multivariável.

Saiba mais  

Casos de uso

Veja mais casos de uso, arquiteturas de referência, artigos, práticas recomendadas e soluções do setor.

Soluções

Soluções de programação de fluxo de trabalho

Programe fluxos de trabalho no Google Cloud.

Saiba mais  
Caso de uso

Como migrar dados do HDFS do local para o Google Cloud

Como mover dados do Hadoop Distributed File System (HDFS) para o Google Cloud.

Saiba mais  
Prática recomendada

Gerenciar dependências Java e Scala para o Apache Spark

Abordagens recomendadas para incluir dependências ao enviar um job do Spark para um cluster do Dataproc.

Saiba mais  
Prática recomendada

Como usar o Apache Hive no Dataproc

Use o Apache Hive no Dataproc de maneira eficiente e flexível armazenando dados do Hive no Cloud Storage e hospedando o metastore do Hive em um banco de dados MySQL no Cloud SQL.

Saiba mais  

Amostras de código

Aprenda a programar com exemplos que demonstram como usar e conectar os serviços do Google Cloud.

github

Amostras da API Python

Chamar APIs do Dataproc a partir do Python.

Abra o GitHub  

github

Amostras da API Java

Chame APIs do Dataproc do Java.

Abra o GitHub  

github

Amostras da API Node.js

Chame APIs do Dataproc a partir do Node.js.

Abra o GitHub  

github

Amostras da API Go

Chame APIs do Dataproc do Go.

Abra o GitHub  

Vídeos