Ir a
Dataproc

Dataproc

Dataproc es un servicio totalmente gestionado y muy escalable para ejecutar Apache Hadoop, Apache Spark, Apache Flink, Presto y más de 30 herramientas y frameworks de software libre. Gracias a Dataproc, puedes modernizar tus lagos, el proceso de extracción, transformación y carga (ETL) y ciencia de datos segura a escala mundial e integrarlos por completo con Google Cloud a un coste muy inferior.

Ventajas

Moderniza el tratamiento de datos de código abierto

La monitorización, el almacenamiento de registros y el despliegue sin servidor te permiten centrarte en los datos y las analíticas y olvidarte de la infraestructura. Reduce el coste total de propiedad de la gestión de Apache Spark en hasta un 54 %. Crea y entrena tus modelos 5 veces más rápido.

Un software libre y óptimo para la ciencia de datos

Permite que los científicos y analistas de datos realicen tareas de ciencia de datos de forma óptima gracias a las integraciones nativas con BigQuery, Dataplex, Vertex AI y blocs de notas de software libre como JupyterLab.

Seguridad empresarial integrada con Google Cloud

Funciones de seguridad como el encriptado en reposo de forma predeterminada, OS Login, Controles de Servicio de VPC y las claves de encriptado gestionadas por el cliente (CMEK). Habilita el modo seguro de Hadoop a través de Kerberos añadiendo una configuración de seguridad

Características principales

Características principales

Software libre de Big Data automatizado y totalmente gestionado

La monitorización, el almacenamiento de registros y el despliegue sin servidor te permiten centrarte en los datos y las analíticas y olvidarte de la infraestructura. Reduce el coste total de propiedad de la gestión de Apache Spark en hasta un 54 %. Gracias a la integración con Vertex AI Workbench, los científicos e ingenieros de datos pueden crear y entrenar modelos cinco veces más rápido que los cuadernos tradicionales. La API de tareas de Dataproc te permite incorporar fácilmente el procesamiento de Big Data en aplicaciones personalizadas. Por su parte, Dataproc Metastore te permite eliminar la necesidad de ejecutar tu propio almacén de metadatos o de catálogo de Hive.

Creación de tareas de Apache Spark en contenedores con Kubernetes

Crea tus tareas de Apache Spark con Dataproc en Kubernetes para poder usar Dataproc con Google Kubernetes Engine (GKE) para proporcionar portabilidad y aislamiento de las tareas.

Seguridad empresarial integrada en Google Cloud

Al crear un clúster de Dataproc, puedes habilitar el modo seguro de Hadoop a través de Kerberos añadiendo una configuración de seguridad. Además, algunas de las funciones de seguridad específicas de Google Cloud más utilizadas con Dataproc son el encriptado en reposo de forma predeterminada, OS Login, Controles de Servicio de VPC y las claves de encriptado gestionadas por el cliente (CMEK).

Lo mejor del software libre con lo mejor de Google Cloud

Dataproc te permite utilizar las herramientas de software libre, los algoritmos y los lenguajes de programación que utilizas actualmente, pero te permite aplicarlos fácilmente en conjuntos de datos a escala en la nube. Además, Dataproc se integra de forma inmediata con el resto de las analíticas, las bases de datos y el ecosistema de la inteligencia artificial de Google Cloud. Los científicos e ingenieros de datos pueden acceder rápidamente a los datos y crear aplicaciones de datos que conectan Dataproc con BigQuery, Vertex AI, Spanner, Pub/Sub o Data Fusion.

Ver todas las características

Documentación

Documentación

Google Cloud Basics

Spark sin servidor

Envía tareas de Spark capaces de aprovisionarse y escalarse automáticamente. Consulta más detalles al respecto mediante el enlace de la guía de inicio rápido que aparece a continuación.
APIs & Libraries

Acciones de inicialización de Dataproc

Añade otros proyectos de software libre a tus clústeres de Dataproc con las acciones de inicialización predefinidas.
APIs & Libraries

Conectores de código abierto

Bibliotecas y herramientas de interoperabilidad con Apache Hadoop
APIs & Libraries

Plantillas de flujo de trabajo de Dataproc

La API WorkflowTemplates de Dataproc es un mecanismo flexible y fácil de usar para gestionar y ejecutar flujos de trabajo.

¿No encuentras lo que buscas?

Casos prácticos

Casos prácticos

Caso práctico
Traslada tus clústeres de Hadoop y Spark a la nube

Muchas empresas están migrando a Dataproc sus clústeres de Apache Hadoop y Spark on‑premise para gestionar los costes y aprovechar el potencial del escalado elástico. Gracias a Dataproc, estas empresas obtienen un clúster totalmente gestionado y diseñado para fines específicos que puede autoescalarse para adaptarse a cualquier tarea de procesamiento de datos o analíticas. 

Todas las características

Todas las características

Spark sin servidor
Despliega aplicaciones y flujos de procesamiento de Spark que se escalan automáticamente sin tener que aprovisionar ni ajustar manualmente las infraestructuras.
Clústeres de tamaño ajustable
Crea y escala rápidamente clústeres con varios tipos de máquinas virtuales, tamaños de disco, número de nodos y opciones de red.
Autoescalar clústeres
El autoescalado de Dataproc es un mecanismo de automatización de la gestión de los recursos de clústeres que permite que se añadan y quiten automáticamente trabajadores del clúster (es decir, nodos).
Integrado en la nube
La integración de Cloud Storage, BigQuery, Dataplex, Vertex AI, Composer, Bigtable, Cloud Logging y Cloud Monitoring te ofrece una plataforma de datos más completa y sólida.
Configuración manual o automática
Dataproc configura automáticamente el hardware y el software, pero también te ofrece control manual.
Herramientas de desarrollo
Dispones de varios métodos para gestionar los clústeres, como una interfaz web intuitiva, el SDK de Google Cloud, las API RESTful y el acceso SSH.
Acciones de inicialización
Ejecuta acciones de inicialización para instalar o personalizar la configuración y las bibliotecas necesarias cuando crees clústeres.
Componentes opcionales
Usa los componentes opcionales para instalar o configurar componentes adicionales en el clúster. Estos componentes opcionales están integrados con los componentes de Dataproc y ofrecen entornos plenamente configurados para Zeppelin, Presto y otros componentes de software libre relacionados con el ecosistema de Apache Hadoop y Apache Spark.
Contenedores e imágenes personalizados
Spark sin servidor de Dataproc se puede aprovisionar con contenedores de Docker personalizados. Los clústeres de Dataproc se pueden aprovisionar con una imagen personalizada que incluya tus paquetes de sistema operativo Linux preinstalados.
Máquinas virtuales flexibles
Los clústeres pueden usar tipos de máquinas personalizadas y máquinas virtuales interrumpibles para que su tamaño se adapte a tus necesidades en todo momento.
Plantillas de flujo de trabajo
Las plantillas de flujo de trabajo de Dataproc son un mecanismo flexible y sencillo para gestionar y ejecutar flujos de trabajo. Estas plantillas son configuraciones de flujos de trabajo reutilizables que definen un gráfico de tareas con información sobre dónde ejecutar esas tareas. 
Gestión automática de políticas
Estandariza las políticas de seguridad, costes e infraestructura en todos tus clústeres. Puedes crear políticas de gestión de recursos, de seguridad o de red a nivel de proyecto. También puedes hacer que a los usuarios les resulte fácil usar las imágenes, los componentes, el almacén de metadatos y otros servicios periféricos correctos, lo que te permite gestionar tu flota de clústeres y políticas de Spark sin servidor en el futuro.
Alertas inteligentes
Las alertas recomendadas de Dataproc permiten que los clientes ajusten los umbrales de las alertas preconfiguradas para recibir alertas de clústeres inactivos o fuera de control, de tareas, de clústeres con un uso excesivo, etc. Los clientes pueden personalizar estas alertas e incluso crear funciones avanzadas de gestión de tareas y clústeres. Estas funciones permiten que los clientes gestionen su flota a escala.
Dataproc en Google Distributed Cloud (GDC)
Dataproc on GDC te permite ejecutar Spark en el dispositivo GDC Edge en tu centro de datos. Ahora puedes usar las mismas aplicaciones de Spark en Google Cloud y en datos sensibles en tu centro de datos.
Almacén de metadatos multirregional de Dataproc
Dataproc Metastore es un almacén de metadatos de Hive (HMS) totalmente gestionado y de alta disponibilidad con controles de acceso pormenorizados. El almacén de metadatos multirregional de Dataproc proporciona una recuperación tras fallos activa, así como resiliencia ante interrupciones regionales.

Precios

Precios

Los precios de Dataproc se basan en el número de vCPUs y en el tiempo durante el que se ejecutan. Aunque los precios se indican con una tarifa por horas, la facturación se realiza por segundo para que pagues solo por lo que uses.

Por ejemplo, un clúster con 6 nodos (1 principal y 5 trabajadores) de 4 CPUs cada uno que se ejecute durante 2 horas costará 0,48 USD. Cargo de Dataproc = número de vCPUs * horas * precio de Dataproc = 24 * 2 * 0,01 USD = 0,48 USD

Para obtener más información, consulta la página de precios.

Partners

Partners

Dataproc se integra con partners clave para complementar tus inversiones y conjuntos de habilidades.

Ve un paso más allá

Empieza a crear en Google Cloud con 300 USD en crédito gratis y más de 20 productos Always Free.

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
Consola
Google Cloud