Documentação do Dataproc
O Dataproc é um serviço Apache Spark e Apache Hadoop gerido que lhe permite tirar partido das ferramentas de dados de código aberto para processamento em lote, consultas, streaming e aprendizagem automática. A automatização do Dataproc ajuda a criar clusters rapidamente, a geri-los facilmente e a poupar dinheiro desativando os clusters quando não precisa deles. Com menos tempo e dinheiro gastos na administração, pode concentrar-se nos seus trabalhos e dados. Saiba mais
Inicie a sua prova de conceito com 300 USD de crédito grátis
- Aceda ao Gemini 2.0 Flash Thinking
- Utilização mensal gratuita de produtos populares, incluindo APIs de IA e o BigQuery
- Sem cobranças automáticas nem compromissos
Continue a explorar com mais de 20 produtos sempre gratuitos
Aceda a mais de 20 produtos gratuitos para exemplos de utilização comuns, incluindo APIs de IA, VMs, armazéns de dados e muito mais.
Recursos de documentação
Guias
Recursos relacionados
Execute uma tarefa do Spark no Google Kubernetes Engine
Envie tarefas do Spark para um cluster do Google Kubernetes Engine em execução a partir da API Dataproc Jobs.
Introdução ao Cloud Dataproc: Hadoop e Spark no Google Cloud
Este curso inclui uma combinação de aulas, demonstrações e laboratórios práticos para criar um cluster do Dataproc, enviar uma tarefa do Spark e, em seguida, encerrar o cluster.
Aprendizagem automática com o Spark no Dataproc
Este curso inclui uma combinação de aulas, demonstrações e laboratórios práticos para implementar a regressão logística através de uma biblioteca de aprendizagem automática para o Apache Spark em execução num cluster do Dataproc, de modo a desenvolver um modelo para dados de um conjunto de dados com várias variáveis.
Soluções de agendamento de fluxos de trabalho
Agende fluxos de trabalho no Google Cloud.
Migre dados do HDFS das instalações para o Google Cloud
Como mover dados do sistema de ficheiros distribuídos do Hadoop (HDFS) no local para o Google Cloud.
Faça a gestão das dependências de Java e Scala para o Apache Spark
Abordagens recomendadas para incluir dependências quando envia uma tarefa do Spark para um cluster do Dataproc.
Exemplos da API Python
Chame APIs Dataproc a partir do Python.
Exemplos da API Java
Chame APIs Dataproc a partir de Java.
Exemplos da API Node.js
Chame APIs Dataproc a partir do Node.js.
Exemplos da API Go
Chame APIs Dataproc a partir do Go.