Esta página explica las preferencias de configuración, las macros y los argumentos de tiempo de ejecución en Canalizaciones de Cloud Data Fusion.
Términos clave
- Macros
- Las macros son marcadores de posición dentro del complemento de Cloud Data Fusion
parámetros de configuración. Se representan con variables encerradas en
${ }, como${input_file_path}. Las macros introducen flexibilidad en tus canalizaciones lo que te permite usar valores de marcador de posición, que se reemplazan por valores reales en tiempo de ejecución. Esto habilita la configuración dinámica de parámetros, como las rutas de acceso de archivos. y nombres de tablas. - Preferencias
- Las preferencias son configuraciones predefinidas que se aplican en varios niveles dentro de Cloud Data Fusion, incluido el sistema en sí, los espacios de nombres, las aplicaciones (que contienen canalizaciones) y los programas individuales dentro de las canalizaciones. Las preferencias te permiten establecer valores predeterminados para las configuraciones que se usan con más frecuencia. Las canalizaciones y los programas pueden heredar los valores predeterminados en niveles más bajos, lo que reduce las tareas de configuración repetitivas.
- Argumentos del entorno de ejecución
- Los argumentos del entorno de ejecución son pares clave-valor que proporcionan valores para y, potencialmente, anular las preferencias cuando implementas o ejecutas una canalización. Son altamente personalizables, lo que te permite ajustar la configuración por ejecución de canalización, sin modificar la canalización subyacente ni las preferencias.
Cómo configurar macros
Para usar una macro para un valor de propiedad del complemento, sigue estos pasos:
- En Studio de Cloud Data Fusion, ve al nodo del complemento y haz clic en Propiedades.
- Ve al campo en el que deseas usar una macro y haz clic en la** M** junto al campo.
- Ingresa una clave para la macro. Por ejemplo, en las propiedades del complemento Fuente de archivo, ingresa la siguiente clave en el campo Formato:
${format.type}.
Establece valores de macro
Establece valores para las macros antes de obtener una vista previa de los datos de una canalización y antes de ejecutarla. Puedes establecer valores de macro en los siguientes lugares:
- Complementos de método set de argumentos
- Argumentos del entorno de ejecución
- Preferencias de la aplicación
- Preferencias de espacio de nombres
- Preferencias del sistema
La ejecución de una canalización con macros hace lo siguiente:
- Cloud Data Fusion primero comprueba si la canalización incluye un
complemento set de argumentos:
- Si tiene un método set de argumentos, Cloud Data Fusion usa el de salida para las macros.
- Si no hay un configurador de argumentos o si hay macros que no están asignadas en el configurador de argumentos, Cloud Data Fusion, en su lugar, usa los valores de los argumentos del entorno de ejecución de la canalización.
- Los argumentos del entorno de ejecución heredan las macros de las preferencias de la aplicación.
- Las preferencias de la aplicación heredan macros de las preferencias de espacio de nombres
- Las preferencias de espacio de nombres heredan macros de las preferencias del sistema.
Ejemplos
Un uso común de las macros es en los campos de ruta. En lugar de usar rutas hard-coded,
puedes usar rutas dinámicas. Por ejemplo, en un complemento de origen de Cloud Storage,
puede reemplazar el valor de la ruta por varias macros. El siguiente valor divide los elementos del bucket, la carpeta y el archivo: gs://${bucket.name}/${folder}/${file.name}.
En el siguiente ejemplo, se cargan datos de un bucket estático y de un archivo con una
nombre que no sea estático, ingresa el nombre del bucket y usa una macro para
nombre de archivo: gs://<BUCKET_NAME>/${folder}/${file.name}.
Cómo configurar preferencias
En la siguiente sección, se describe la jerarquía de preferencias, en la que se configuran, se heredan o se anulan las preferencias.
Cómo configurar las preferencias del sistema
Puedes establecer preferencias para el sistema. Debido a que los nombres de las macros deben ser únicos, cada preferencia se aplica a todas las canalizaciones que usan esa macro.
Por ejemplo, tienes una canalización con una fuente de base de datos y usas macros para la nombre de la base de datos y nombre de usuario. Puedes configurar las preferencias de base de datos y nombre de usuario en las preferencias del sistema. Cada espacio de nombres y cada canalización de esa instancia heredan esas preferencias.
Para configurar las preferencias del sistema, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Administrador del sistema > Configuración.
- Haz clic en Sistema. preferencias > Editar preferencias del sistema.
- En el diálogo Preferencias, ingresa preferencias nuevas o edita las existentes.
- Haz clic en Guardar y cerrar. Estas preferencias están disponibles en todos los espacios de nombres, aplicaciones y canalizaciones.
Cómo configurar las preferencias del espacio de nombres
Puedes establecer preferencias para espacios de nombres individuales.
Cuando configuras las preferencias de espacio de nombres, se muestran las preferencias heredadas del sistema. Cuando configuras preferencias para un espacio de nombres, puedes anular las preferencias heredadas si configuras valores diferentes. También puedes agregar nuevas preferencias de espacio de nombres.
Para establecer preferencias de espacio de nombres, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Administrador del sistema >. Configuración.
- Haz clic en Espacios de nombres y selecciona un espacio de nombres para abrir su página de configuración.
- Para editar las preferencias heredadas o agregar preferencias nuevas, ve a la
Pestaña Preferencias y haz clic en Editar. Se abre el diálogo Preferences
en el que puedes ingresar una nueva preferencia o anular
preferencias. Haz clic en
<span class="material-icons">add</span>Add y, luego, ingresa la clave y el valor nuevo para la macro. - Haz clic en Guardar y cerrar. La preferencia de espacio de nombres se crea con el valor nuevo, que tiene prioridad sobre la preferencia del sistema.
Cómo establecer preferencias de la aplicación
Puedes establecer preferencias para cada canalización implementada en un espacio de nombres. Cuando configuras las preferencias de la aplicación, aparecen las preferencias del sistema y del espacio de nombres heredados. Cuando estableces preferencias para una aplicación, puedes anular preferencias estableciendo diferentes valores o agregar nuevas preferencias para la aplicación:
- En Cloud Data Fusion Studio, haz clic en y, luego, en el menú Espacio de nombres para selecciona el espacio de nombres en el que quieres agregar preferencias de aplicaciones.
- Haz clic en Control center.
- Haz clic en el ícono de llave para establecer preferencias. Aparecerá la página Preferencias, en la que se enumerarán todas las preferencias heredadas.
- Para editar las preferencias heredadas o agregar nuevas, ve a la pestaña Preferencias y haz clic en Editar. Se abrirá un diálogo Preferences en el que puedes ingresar una preferencia nueva o anular las preferencias heredadas del sistema. Haz clic en
<span class="material-icons">add</span>Add y, luego, ingresa la clave y el valor nuevo para la macro. - Haz clic en Guardar y cerrar. La preferencia de la aplicación se crea con el valor nuevo, que anula las preferencias del sistema o del espacio de nombres. Cuando ejecutar la canalización implementada, las preferencias de la aplicación aparecerán como entorno de ejecución de argumentos que puedes editar.
Configura argumentos del entorno de ejecución
Configura argumentos del entorno de ejecución para proporcionar valores para macros y, posiblemente, anular las preferencias cuando implementes o ejecutes una canalización.
Argumentos del entorno de ejecución para obtener una vista previa de los datos
Para establecer los valores de cada macro en la canalización cuando obtengas una vista previa de los datos en Cloud Data Fusion Studio, haz clic en Lista > Configurar.
Argumentos del entorno de ejecución para ejecutar canalizaciones implementadas
Si una canalización incluye macros, después de implementarla, debes agregar el entorno de ejecución argumentos, que establecen los valores de las macros.
Cuando implementes una canalización con macros, haz clic en el menú desplegable junto a Ejecutar para abrir el diálogo Argumentos de tiempo de ejecución y establecer los valores de cada macro.
Configura las preferencias de la canalización
Para establecer preferencias para una canalización, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Lista >. Implementado y selecciona una canalización implementada para verla.
- En el lienzo de canalización, haz clic en el menú desplegable junto a Run. Se abrirá el diálogo Argumentos del entorno de ejecución.
- En el diálogo Argumentos del entorno de ejecución que se abre, especifica el valor de cada macro en la canalización.
Descripción general de las preferencias, las macros y los argumentos del entorno de ejecución
Puedes configurar las preferencias en los siguientes niveles:
- Preferencias del sistema: El nivel más alto en el que estableces las preferencias. como los valores predeterminados, para toda la instancia.
- Preferencias del espacio de nombres: hereda las preferencias de Sistema preferencias. Puedes establecer preferencias para un espacio de nombres específico.
- Preferencias de la aplicación: Hereda las preferencias de las Preferencias de espacio de nombres. Pueden ser únicos para aplicaciones individuales (que contienen canalización).
- Argumentos del entorno de ejecución: Son pares clave-valor que anula las preferencias en niveles superiores.
Si configuras una preferencia a nivel de las preferencias del sistema, los valores de macro se propagarán automáticamente en las preferencias del espacio de nombres, las preferencias de la aplicación y los argumentos del entorno de ejecución.
Si configuras preferencias a nivel del espacio de nombres, aparecerán en la lista de preferencias heredadas en las preferencias de la aplicación. Si una canalización usa un definida en una preferencia, los argumentos de entorno de ejecución usan el argumento par definido en la preferencia. Puedes anular los valores de las preferencias en cada nivel de preferencia y en los argumentos del entorno de ejecución.
Usa preferencias, macros y argumentos de tiempo de ejecución para los siguientes casos de uso:
- Desarrollo de una canalización Incorpore macros donde necesite valores dinámicos para las propiedades del complemento.
- Opcional: configuración de preferencias. Establezca valores predeterminados para las macros en preferencias a varios niveles.
- Implementa y ejecuta una canalización. Cuando ejecutas una canalización, ocurre lo siguiente:
- Preferencias para el nivel relevante, como las preferencias del sistema o preferencias de espacios de nombres.
- Cualquier argumento de tiempo de ejecución que proporciones anulará los valores asignados a las macros en las preferencias.
- Para resolver las macros, Cloud Data Fusion sustituye su valores de los argumentos del entorno de ejecución (o las preferencias si un argumento no se proporciona).
Ejemplo
Una canalización tiene un receptor de BigQuery que tiene un valor de nombre de tabla que debe cambian de forma dinámica. Para configurar esto, haz lo siguiente:
- Establece la macro. En las propiedades del receptor, usa la siguiente macro
el campo Nombre de la tabla:
${output_table}. - **Establece la preferencia. **En las preferencias de la aplicación, establece una preferencia para
${output_table}con el siguiente valor predeterminado:data_staging. - Establece el argumento del entorno de ejecución. Cuando ejecutes la canalización, proporciona un argumento de tiempo de ejecución, por ejemplo,
output_table=final_analytics_data.
Durante la ejecución de la canalización, la macro, ${output_table},, se reemplaza por
final_analytics_data