Para reducir el tiempo de inicio de las canalizaciones, las instancias de Cloud Data Fusion 6.8.0 y 6.8.1 almacenan en caché los artefactos necesarios para iniciar una canalización en un clúster de Dataproc dentro de un bucket de Cloud Storage.
Uno de estos artefactos almacenados en caché es application.jar. Según el orden en el que ejecutes las canalizaciones, algunas de ellas pueden fallar con el siguiente error:
Unsupported program type: Spark
Por ejemplo, después de crear una instancia nueva 6.8.1 (o actualizar a la versión 6.8.1), la primera vez que ejecutas una canalización que solo contiene acciones, se realiza de forma correcta. Sin embargo, las siguientes ejecuciones de canalizaciones, que incluyen fuentes o receptores, pueden fallar con este error.
Recomendación
Para solucionar este problema, realiza una de las siguientes acciones:
- Recomendación: Actualiza la instancia a la versión 6.8.2 o posterior de Cloud Data Fusion.
- Inhabilita el almacenamiento en caché de Cloud Storage mediante un argumento de entorno de ejecución o preferencia.
Puedes inhabilitar el almacenamiento en caché para cualquiera de las siguientes opciones:
- Para todas las canalizaciones en una instancia.
- Para un espacio de nombres determinado.
- Para los perfiles específicos de Dataproc que contienen las canalizaciones con errores.
- Solo para las canalizaciones con errores.
Inhabilitar el almacenamiento en caché de Cloud Storage para todas las canalizaciones de una instancia
Si quieres inhabilitar el almacenamiento en caché de Cloud Storage para todas las canalizaciones de una instancia, sigue estos pasos:
Consola
- Ve a tu instancia:
En la consola de Google Cloud, ve a la página de Cloud Data Fusion.
Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.
Haz clic en System Admin > System Preferences y establece el valor de
system.profile.properties.gcsCacheEnabledenfalse..
API de REST
Para establecer system.profile.properties.gcsCacheEnabled en false, consulta Establece preferencias.
Inhabilita el almacenamiento en caché de Cloud Storage para un espacio de nombres determinado
Para inhabilitar el almacenamiento en caché de Cloud Storage en un espacio de nombres determinado, sigue estos pasos:
Consola
- Ve a tu instancia:
En la consola de Google Cloud, ve a la página de Cloud Data Fusion.
Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.
- Haz clic en Administrador del sistema > Espacios de nombres y selecciona tu espacio de nombres.
Haz clic en Preferencias > Editar y establece el valor de
system.profile.properties.gcsCacheEnabledenfalse.
API de REST
Para configurar esto a través de la API de REST, consulta Establece preferencias.
Inhabilita el almacenamiento en caché de Cloud Storage para un perfil de Dataproc
A fin de inhabilitar el almacenamiento en caché de Cloud Storage para los perfiles específicos de Dataproc que contienen las canalizaciones con errores, sigue estos pasos:
Consola
- Configura
gcsCacheEnabledcomofalseen el perfil de Dataproc.
Inhabilita el almacenamiento en caché de Cloud Storage solo para las canalizaciones con errores
Para inhabilitar el almacenamiento en caché de Cloud Storage solo en las canalizaciones con errores, sigue estos pasos:
Consola
- Ve a tu instancia:
En la consola de Google Cloud, ve a la página de Cloud Data Fusion.
Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.
- Haz clic en Lista y selecciona la canalización con errores.
- Haz clic en
Expandir junto a Ejecutar y establece el argumento del tiempo de ejecución
system.profile.properties.gcsCacheEnabledenfalse. - Repite el proceso para cualquier otra canalización con errores.
API de REST
El almacenamiento en caché de Cloud Storage se puede inhabilitar cuando se inicia una canalización a través de la API de REST y, de manera opcional, si especificas argumentos del entorno de ejecución como un mapa JSON en el cuerpo de la solicitud. Para obtener más información, consulta Cómo iniciar un programa.