En esta página, se explica cómo configurar preferencias, macros y argumentos del entorno de ejecución en las canalizaciones de Cloud Data Fusion.
Términos clave
- Macros
- Las macros son marcadores de posición dentro de las configuraciones del complemento de Cloud Data Fusion. Se representan con variables encerradas en
${ }, como${input_file_path}. Las macros introducen flexibilidad en tus canalización, ya que te permiten usar valores de marcador de posición, que se reemplazan por valores reales durante el tiempo de ejecución. Esto permite la configuración dinámica de parámetros, como las rutas de acceso a los archivos y los nombres de las tablas. - Preferencias
- Las preferencias son configuraciones predefinidas que se aplican en varios niveles dentro de Cloud Data Fusion, incluido el sistema en sí, los espacios de nombres, las aplicaciones (que contienen canalizaciones) y los programas individuales dentro de las canalizaciones. Las preferencias te permiten establecer valores predeterminados para las configuraciones que se usan con más frecuencia. Los valores predeterminados se pueden heredar en canalizaciones y programas de niveles más bajos, lo que reduce las tareas de configuración repetitivas.
- Argumentos del entorno de ejecución
- Los argumentos del entorno de ejecución son pares clave-valor que proporcionan valores para las macros y, potencialmente, anulan las preferencias cuando implementas o ejecutas una canalización. Son altamente personalizables, lo que te permite ajustar la configuración por ejecución de canalización, sin modificar la canalización subyacente ni las preferencias.
Cómo configurar macros
Para usar una macro para un valor de propiedad del complemento, sigue estos pasos:
- En Studio de Cloud Data Fusion, ve al nodo del complemento y haz clic en Propiedades.
- Ve al campo en el que deseas usar una macro y haz clic en la** M** junto al campo.
- Ingresa una clave para la macro. Por ejemplo, en las propiedades del complemento Fuente de archivo, ingresa la siguiente clave en el campo Formato:
${format.type}.
Establece valores de macro
Establece valores para las macros antes de obtener una vista previa de los datos de una canalización y antes de ejecutarla. Puedes establecer valores de macro en los siguientes lugares:
- Complementos de método set de argumentos
- Argumentos del entorno de ejecución
- Preferencias de la aplicación
- Preferencias de espacio de nombres
- Preferencias del sistema
Ejecutar una canalización con macros hace lo siguiente:
- Cloud Data Fusion primero verifica si la canalización incluye un complemento para establecer argumentos:
- Si tiene un configurador de argumentos, Cloud Data Fusion usa los valores de las macros.
- Si no hay un configurador de argumentos o si hay macros que no están asignadas en el configurador de argumentos, Cloud Data Fusion, en su lugar, usa los valores de los argumentos del entorno de ejecución de la canalización.
- Los argumentos del entorno de ejecución heredan macros de las preferencias de la aplicación.
- Las preferencias de la aplicación heredan macros de las preferencias del espacio de nombres
- Las preferencias de espacio de nombres heredan macros de las preferencias del sistema.
Ejemplos
Un uso común de las macros es en los campos de ruta. En lugar de usar rutas hard-coded, puedes usar rutas dinámicas. Por ejemplo, en un complemento de fuente de Cloud Storage, puedes reemplazar el valor de la ruta de acceso por varias macros. El siguiente valor divide los elementos del bucket, la carpeta y el archivo: gs://${bucket.name}/${folder}/${file.name}.
En el siguiente ejemplo, se cargan datos de un bucket que es estático y un archivo con un nombre que no es estático. Ingresa el nombre del bucket y usa una macro para el nombre del archivo: gs://<BUCKET_NAME>/${folder}/${file.name}.
Para obtener más información, consulta Macros y funciones de macro.
Configura las preferencias
En la siguiente sección, se describe la jerarquía de preferencias, en la que se configuran, se heredan o se anulan las preferencias.
Cómo establecer preferencias del sistema
Puedes establecer preferencias para el sistema. Debido a que los nombres de las macros deben ser únicos, cada preferencia se aplica a todas las canalización que usan esa macro.
Por ejemplo, tienes una canalización con una fuente de base de datos y usas macros para el nombre y el nombre de usuario de la base de datos. Puedes establecer preferencias de base de datos y nombre de usuario en las preferencias del sistema. Cada espacio de nombres y cada canalización de esa instancia heredan esas preferencias.
Para configurar las preferencias del sistema, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Administrador del sistema > Configuración.
- Haz clic en Preferencias del sistema > Editar preferencias del sistema.
- En el diálogo Preferencias, ingresa preferencias nuevas o edita las existentes.
- Haz clic en Guardar y cerrar. Estas preferencias están disponibles en todos los espacios de nombres, aplicaciones y canalizaciones.
Cómo configurar las preferencias del espacio de nombres
Puedes establecer preferencias para espacios de nombres individuales.
Cuando configuras las preferencias de espacio de nombres, se muestran las preferencias del sistema heredadas. Cuando configuras preferencias para un espacio de nombres, puedes anular las preferencias heredadas si configuras valores diferentes. También puedes agregar nuevas preferencias de espacio de nombres.
Para establecer preferencias de espacio de nombres, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Administrador del sistema > Configuración.
- Haz clic en Espacios de nombres y selecciona un espacio de nombres para abrir su página de configuración.
- Para editar las preferencias heredadas o agregar nuevas, ve a la pestaña Preferencias y haz clic en Editar. Se abrirá un diálogo Preferences en el que puedes ingresar una preferencia nueva o anular las preferencias heredadas del sistema. Haz clic en
<span class="material-icons">add</span>Agregar y, luego, ingresa la clave y el valor nuevo de la macro. - Haz clic en Guardar y cerrar. La preferencia de espacio de nombres se crea con el valor nuevo, que tiene prioridad sobre la preferencia del sistema.
Cómo establecer preferencias de la aplicación
Puedes establecer preferencias para cada canalización implementada en un espacio de nombres. Cuando configuras las preferencias de la aplicación, aparecen las preferencias del sistema y del espacio de nombres heredados. Cuando configuras preferencias para una aplicación, puedes anular las preferencias heredadas estableciendo valores diferentes o agregando preferencias nuevas para la aplicación:
- En Studio de Cloud Data Fusion, haz clic en y, luego, en el menú Namespace para seleccionar el espacio de nombres en el que deseas agregar preferencias de la aplicación.
- Haz clic en Control center.
- Haz clic en el ícono de llave para establecer preferencias. Aparecerá la página Preferencias, en la que se enumerarán todas las preferencias heredadas.
- Para editar las preferencias heredadas o agregar nuevas, ve a la pestaña Preferencias y haz clic en Editar. Se abrirá un diálogo Preferences en el que puedes ingresar una preferencia nueva o anular las preferencias heredadas del sistema. Haz clic en
<span class="material-icons">add</span>Agregar y, luego, ingresa la clave y el valor nuevo de la macro. - Haz clic en Guardar y cerrar. La preferencia de la aplicación se crea con el valor nuevo, que anula las preferencias del sistema o del espacio de nombres. Cuando ejecutas la canalización implementada, las preferencias de la aplicación aparecen como argumentos de tiempo de ejecución, que puedes editar de forma opcional.
Configura los argumentos del entorno de ejecución
Configura argumentos del entorno de ejecución para proporcionar valores para macros y, posiblemente, anular las preferencias cuando implementes o ejecutes una canalización.
Argumentos del entorno de ejecución para obtener una vista previa de los datos
Para establecer los valores de cada macro en la canalización cuando obtengas una vista previa de los datos en Cloud Data Fusion Studio, haz clic en Lista > Configurar.
Argumentos del entorno de ejecución para ejecutar canalizaciones implementadas
Si una canalización incluye macros, después de implementarla, debes agregar argumentos de tiempo de ejecución, que establecen los valores de las macros.
Cuando implementes una canalización con macros, haz clic en el menú desplegable junto a Ejecutar para abrir el diálogo Argumentos de tiempo de ejecución y establecer los valores de cada macro.
Configura las preferencias de canalización
Para establecer preferencias para una canalización, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Lista > Implementada y selecciona una canalización implementada para verla.
- En el lienzo de canalización, haz clic en el menú desplegable junto a Run. Se abrirá el diálogo Argumentos del entorno de ejecución.
- En el cuadro de diálogo Argumentos de tiempo de ejecución que se abre, especifica el valor para cada macro en la canalización.
Descripción general de las preferencias, las macros y los argumentos del entorno de ejecución
Puedes configurar las preferencias en los siguientes niveles:
- Preferencias del sistema: Es el nivel más alto en el que estableces preferencias, como las predeterminadas, para toda la instancia.
- Preferencias de espacio de nombres: Hereda las preferencias de las Preferencias del sistema. Puedes establecer preferencias para un espacio de nombres específico.
- Preferencias de la aplicación: Hereda las preferencias de las Preferencias de espacio de nombres. Pueden ser únicos para aplicaciones individuales (que contienen canalización).
- Argumentos del entorno de ejecución: Son pares clave-valor que anula las preferencias en niveles superiores.
Si configuras una preferencia a nivel de las preferencias del sistema, los valores de macro se propagarán automáticamente en las preferencias del espacio de nombres, las preferencias de la aplicación y los argumentos del entorno de ejecución.
Si configuras preferencias a nivel del espacio de nombres, estas aparecerán en la lista de preferencias heredadas en las preferencias de la aplicación. Si una canalización usa una macro que se define en una preferencia, los argumentos del entorno de ejecución usan el par clave-valor definido en la preferencia. Puedes anular los valores de las preferencias en cada nivel de preferencia y en los argumentos del entorno de ejecución.
Usa preferencias, macros y argumentos de entorno de ejecución para los siguientes casos de uso:
- Desarrollo de una canalización Incorpora macros donde necesites valores dinámicos para las propiedades del complemento.
- Opcional: Configura las preferencias. Establece valores predeterminados para las macros en las preferencias en varios niveles.
- Implementa y ejecuta una canalización. Cuando ejecutas una canalización, ocurre lo siguiente:
- Se aplican las preferencias del nivel relevante, como las preferencias del sistema o las preferencias del espacio de nombres.
- Cualquier argumento de tiempo de ejecución que proporciones anulará los valores asignados a las macros en las preferencias.
- Cloud Data Fusion resuelve las macros sustituyendo sus valores de los argumentos del entorno de ejecución (o las preferencias si no se proporciona un argumento del entorno de ejecución).
Ejemplo
Una canalización tiene un receptor de BigQuery que tiene un valor de nombre de tabla que debe cambiar de forma dinámica. Para configurar esta opción, haz lo siguiente:
- Establece la macro. En las propiedades del sumidero, usa la siguiente macro en el campo Nombre de la tabla:
${output_table}. - **Establece la preferencia. **En las preferencias de la aplicación, establece una preferencia para
${output_table}con el siguiente valor predeterminado:data_staging. - Establece el argumento del entorno de ejecución. Cuando ejecutes la canalización, proporciona un argumento de tiempo de ejecución, por ejemplo,
output_table=final_analytics_data.
Durante la ejecución de la canalización, la macro ${output_table}, se reemplaza por final_analytics_data.