Apache Hadoop
Apache Hive
Apache Spark
-
Métodos Monte Carlo usando o Cloud Dataproc e o Apache Spark
Executar simulações Monte Carlo em Python e Scala com o Cloud Dataproc e o Apache Spark
-
Usar o BigQuery e o Spark ML para machine learning
Usar o Cloud Dataproc, o BigQuery e o ML do Apache Spark para machine learning
-
Usar o conector do BigQuery com o Apache Spark
Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.
-
Usar o conector do Cloud Storage com o Apache Spark
Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.
-
Gravar e executar jobs do Spark Scala
Criar e enviar jobs do Spark Scala com o Cloud Dataproc
Conectores
-
Usar o conector do BigQuery com o Apache Spark
Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.
-
Usar o conector do Cloud Storage com o Apache Spark
Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.
-
Gravar um job do MapReduce com o conector do BigQuery
Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.
Linguagens
-
Configurar o ambiente Python do cluster
Configure o Python para executar jobs do PySpark no seu cluster (em inglês).
-
Uso da biblioteca de cliente do Python
Use as bibliotecas de cliente do Cloud para APIs Python a fim de interagir programaticamente com o Cloud Dataproc.
-
Como executar o RStudio® Server em um cluster do Cloud Dataproc
Aprenda a executar o RStudio Server em um cluster do Cloud Dataproc e acessar a IU da Web do RStudio a partir da sua máquina local.
-
Gravar e executar jobs do Spark Scala
Criar e enviar jobs do Spark Scala com o Cloud Dataproc
Notebooks
-
Instalar e executar um notebook do Jupyter
Instalar, executar e acessar o Jupyter Notebook no cluster do Cloud Dataproc
-
Visão geral do Dataproc Hub
Noções básicas do Dataproc Hub.
-
Configurar um hub do Dataproc
Configurar o Dataproc Hub para abrir a IU do JupyterLab em clusters do Dataproc de um único usuário.
-
Usar um Hub do Dataproc
Use uma instância do Dataproc Hub para abrir a IU do JupyterLab em um cluster do Dataproc de usuário único.
Presto
Workflows
-
Fluxo de trabalho usando o Cloud Composer
Acione um modelo de fluxo de trabalho com o Cloud Composer.
-
Fluxo de trabalho usando o Cloud Functions
Acionar um modelo de fluxo de trabalho com uma Função do Cloud.
-
Fluxo de trabalho usando o Cloud Scheduler
Acionar um fluxo de trabalho do Cloud Scheduler.