Documentación de Dataproc

Documentación de Dataproc

Descripción general

Instructivos y entrenamiento

Casos de uso

Muestras de código

Videos

Dataproc   |  Dataproc Serverless  |  Dataproc Metastore

Dataproc es un servicio Apache Spark y Apache Hadoop administrado con el que puedes aprovechar las herramientas de código abierto para procesar, consultar y transmitir datos en lote, además de herramientas de aprendizaje automático. Con la automatización de Dataproc, podrá crear clústeres rápidamente, administrarlos con facilidad y ahorrar dinero desactivándolos cuando no los necesite. Al invertir menos tiempo y dinero en tareas de administración, podrá enfocarse en sus trabajos y datos. Más información

Guías

• Guías de inicio rápido: Console, línea de comandos, bibliotecas cliente Explorador de API: crea un clúster o Explorador de API: envía un trabajo de Spark

• Descripción general de las plantillas de flujo de trabajo de Dataproc

• Guía de inicio rápido de Dataproc en GKE

• Configurar Dataproc Hub

• CreA una imagen personalizada de Dataproc

• Escribe un trabajo de MapReduce con el conector de BigQuery

• Usa el conector de Cloud Storage con Apache Spark

• Más

Reference

• API de REST

• API de RPC

• Bibliotecas cliente de Dataproc

• Dataproc y SDK de Cloud

• Descripción general de API y bibliotecas cliente

• Más

Recursos

• Prácticas recomendadas

• Precios

• Notas de la versión

• Diagnostica clústeres de Dataproc

• Cuotas de Dataproc

• Obtenga asistencia

• Más

Instructivos y capacitación

Prueba los instructivos, los cursos y la capacitación de autoaprendizaje de Dataproc de Google Cloud Skills Boost.

Instructivo

Ejecuta un trabajo de Spark en Google Kubernetes Engine

Enviar trabajos de Spark a un clúster de Google Kubernetes Engine en ejecución desde la API de trabajos de Dataproc.

Más información 

Capacitación

Introducción a Cloud Dataproc: Hadoop y Spark en Google Cloud

Este curso cuenta con una combinación de lecciones, demostraciones y labs prácticos para crear un clúster de Dataproc, enviar un trabajo de Spark y, luego, cerrar el clúster.

Más información 

Capacitación

Aprendizaje automático con Spark en Dataproc

En este curso, se presenta una combinación de lecciones, demostraciones y labs prácticos para implementar la regresión logística mediante una biblioteca de aprendizaje automático para Apache Spark que se ejecuta en un clúster de Dataproc a fin de desarrollar un modelo para los datos de un conjunto de datos multivariable.

Más información 

Casos de uso

Explora casos de uso, arquitecturas de referencia, informes, prácticas recomendadas y soluciones del sector.

Soluciones

Soluciones de programación del flujo de trabajo

Programa flujos de trabajo en Google Cloud.

Más información 

Caso práctico

Migra datos HDFS de un entorno local a Google Cloud

Cómo mover datos del sistema de archivos distribuido de Hadoop local (HDFS) a Google Cloud.

Más información 

Práctica recomendada

Administra las dependencias de Java y Scala para Apache Spark

Enfoques recomendados para incluir dependencias cuando envías un trabajo de Spark a un clúster de Dataproc

Más información 

Práctica recomendada

Usa Apache Hive en Dataproc

Usa Apache Hive en Dataproc de forma eficiente y flexible. Para ello, almacena datos de Hive en Cloud Storage y aloja el almacén de metadatos de Hive en una base de datos MySQL en Cloud SQL.

Más información 

Muestras de código

Sumérgete en la programación con ejemplos que demuestran cómo usar y conectar los servicios de Google Cloud.

github

Muestras de la API de Python

Llamar a las API de Dataproc desde Python

Abrir GitHub

github

Muestras de la API de Java

Llamar a las API de Dataproc desde Java

Abrir GitHub

github

Muestras de la API de Node.js

Llamar a las API de Dataproc desde Node.js.

Abrir GitHub

github

Muestras de la API de Go

Llamar a las API de Dataproc desde Go

Abrir GitHub

Videos

Java es una marca comercial de Oracle o sus afiliados.