Apache Hadoop
Apache Hive
-
Fazer streaming de um tópico do Kafka para o Hive
Usar um cluster do Dataproc para fazer streaming de um tópico do Kafka para tabelas do Apache Hive no Cloud Storage e, em seguida, consultar os dados transmitidos.
-
Usar o Apache Hive no Dataproc
Saiba como implantar cargas de trabalho do Apache Hive com eficiência no Dataproc.
Apache Kafka
Apache Spark
-
Métodos Monte Carlo com o Dataproc e o Apache Spark
Execute simulações Monte Carlo em Python e Scala com o Dataproc e o Apache Spark.
-
Usar o BigQuery e o Spark ML para machine learning
Usar o Dataproc, o BigQuery e o Apache Spark ML para aprendizado de máquina
-
Usar o conector do BigQuery com o Apache Spark
Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.
-
Usar o conector do Cloud Storage com o Apache Spark
Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.
-
Gravar e executar jobs do Spark Scala
Criar e enviar jobs do Spark Scala com o Dataproc
Conectores
-
Usar o conector do BigQuery com o Apache Spark
Veja o exemplo de código que usa o conector do BigQuery para o Apache Hadoop com Apache Spark.
-
Usar o conector do Cloud Storage com o Apache Spark
Veja o exemplo de código que usa o conector do Cloud Storage para o Apache Hadoop com Apache Spark.
-
Gravar um job do MapReduce com o conector do BigQuery
Veja o exemplo de código que mostra como gravar um job do MapReduce com o conector do BigQuery para Apache Hadoop.
Linguagens
-
Configurar o ambiente Python do Dataproc
Configure o Python para executar jobs do PySpark no cluster do Dataproc.
-
Usar a biblioteca de cliente do Python
Use as bibliotecas de cliente do Cloud para APIs do Python para interagir de maneira programática com o Dataproc.
-
Gravar e executar jobs do Spark Scala
Criar e enviar jobs do Spark Scala com o Dataproc
Notebooks
-
Visão geral do Dataproc Hub
Noções básicas do Dataproc Hub.
-
Configurar um hub do Dataproc
Configure o Dataproc Hub para abrir a IU do JupyterLab em clusters de usuário único do Dataproc.
-
Usar um hub do Dataproc
Use uma instância do Dataproc Hub para abrir a IU do JupyterLab em um cluster de usuário único do Dataproc.
-
Instalar e executar um notebook do Jupyter
Instalar, executar e acessar o Jupyter Notebook no cluster do Cloud Dataproc
-
Executar notebooks do Vertex AI Workbench em clusters do Dataproc
Execute o arquivo de notebook de uma instância gerenciada em um cluster do Dataproc.
-
Executar uma análise genômica em um notebook JupyterLab no Dataproc
Execute uma análise genômica de célula única usando Dask, NVIDIA RAPIDS e GPUs em um notebook do JupyterLab hospedado em um cluster do Dataproc.