Conector de Cloud Storage

El conector de Cloud Storage es una biblioteca Java de código abierto que te permite ejecutar trabajos de Apache Hadoop o Apache Spark directamente en los datos en Cloud Storage y ofrece una serie de beneficios sobre el sistema de archivos distribuidos de Hadoop (HDFS).

Compatibilidad con conectores. El conector de Cloud Storage es compatible con Google Cloud para productos y casos prácticos de Google Cloud y cuando se usa con Dataproc es compatible con el mismo nivel que Dataproc (consulta la documentación sobre cómo obtener asistencia).

Beneficios del conector de Cloud Storage

• Acceso directo a datos: almacena tus datos en Cloud Storage y accede a ellos directamente. No es necesario transferirlo a HDFS primero.
• Compatibilidad con HDFS: Puedes acceder fácilmente a tus datos en Cloud Storage con el prefijo gs:// en lugar de hdfs://.
• Interoperabilidad: El almacenamiento de datos en Cloud Storage permite una interoperabilidad perfecta entre los servicios de Spark, Hadoop y Google.
• Accesibilidad a los datos: Cuando cierras un clúster de Hadoop, a diferencia de HDFS, sigues teniendo acceso a tus datos en Cloud Storage.
• Alta disponibilidad de los datos: Los datos almacenados en Cloud Storage están altamente disponibles y replicados de forma global sin perder rendimiento.
• Sobrecarga de administración sin almacenamiento: A diferencia de HDFS, Cloud Storage no requiere mantenimiento de rutina, como revisar el sistema de archivos, actualizar o revertir a una versión anterior del sistema de archivos.
• Inicio rápido: en HDFS, un trabajo MapReduce no puede iniciarse hasta que el NameNode se encuentre fuera del modo seguro, un proceso que puede demorar desde unos segundos hasta varios minutos. según el tamaño y el estado de tus datos. Con Cloud Storage, puedes comenzar tu trabajo en cuanto se inicien los nodos de tareas, lo que genera importantes ahorros de costos a lo largo del tiempo.

Obtén el conector

Clústeres de Dataproc

El conector de Cloud Storage se instala de forma predeterminada en todos los nodos del clúster de Dataproc en el directorio /usr/local/share/google/dataproc/lib/.

Nota: Cuando ejecutas el conector dentro de las VM de Compute Engine, incluidos los clústeres de Dataproc, google.cloud.auth.service.account.enable se configura como false de forma predeterminada, lo que significa que no necesitas configurar de forma manual una cuenta de servicio para el conector. este obtendrá automáticamente la credencial de la cuenta de servicio del servidor de metadatos de la VM. Sin embargo, solo debes asegurarte de que la cuenta de servicio de VM tenga permiso para acceder a tu depósito de Cloud Storage.

Si tu aplicación depende de una versión de conector distinta de la versión de conector implementada en tu clúster de Dataproc predeterminado, debes realizar una de las siguientes acciones:

1. Crea un clúster nuevo con la marca --metadata GCS_CONNECTOR_VERSION=x.y.z, que actualizará el conector que usa tu aplicación a la versión del conector especificada, o
2. incluir y reubicar las clases de conector y las dependencias de conector para la versión que usas en el archivo jar de tu aplicación, de modo que la versión de conector que usas no entre en conflicto con la versión de conector implementada en tu clúster de Dataproc (consulta este ejemplo de reubicación de dependencias en Maven).

Clústeres que no son de Dataproc

Puedes instalar y usar el conector de Cloud Storage en un clúster de Apache Hadoop/Spark, por ejemplo, para mover datos de HDFS local aCloud Storage las rutas "a GCP".

Para descargar el conector de Cloud Storage para Hadoop, sigue estos pasos:

• latestltima versión ubicada en el depósito de Cloud Storage (no se recomienda para uso en producción):
  • Conector de Cloud Storage para Hadoop 1.x
  • Conector de Cloud Storage para Hadoop 2.x
  • Conector de Cloud Storage para Hadoop 3.x
• versión específica del depósito de Cloud Storage mediante la sustitución de las versiones del conector de Hadoop y Cloud Storage en el patrón de nombre gcs-connector-HADOOP_VERSION-CONNECTOR_VERSION.jar:
  • gs://hadoop-lib/gcs/gcs-connector-hadoop2-2.1.1.jar
• versión específica del repositorio Apache Maven (debes descargar un jar oculto que tenga el sufijo -shaded en el nombre):
  • Conector de Cloud Storage para Hadoop 1.x
  • Conector de Cloud Storage para Hadoop 2.x
  • Conector de Cloud Storage para Hadoop 3.x

Consulta la documentación sobre cómo instalar el conector en GitHub para instalar, configurar y probar el conector de Cloud Storage.

Usa el conector

Hay varias formas de acceder a los datos almacenados en Cloud Storage:

• En una aplicación Spark (o PySpark) o Hadoop con el prefijo gs://.
• La shell de Hadoop: hadoop fs -ls gs://bucket/dir/file.
• El navegador Cloud Storage de Cloud Console.
• Usa los comandos gsutil cp o gsutil rsync.

Recursos

• Usa el conector de Cloud Storage con Apache Spark
• API del sistema de archivos Apache Hadoop

Versión de Java

El conector de Cloud Storage requiere Java 8.

Información sobre las dependencias de Apache Maven

<dependency>
    <groupId>com.google.cloud.bigdataoss</groupId>
    <artifactId>gcs-connector</artifactId>
    <version>insert "hadoopX-X.X.X" connector version number here</version>
    <scope>provided</scope>
</dependency>

Para obtener información más detallada, consulta las notas de la versión del conector de Cloud Storage y la referencia de Javadoc.

¿Qué sigue?

• Obtén más información sobre Cloud Storage