Esta página explica las preferencias de configuración, las macros y los argumentos de tiempo de ejecución en Canalizaciones de Cloud Data Fusion.
Términos clave
- Macros
- Las macros son marcadores de posición dentro del complemento de Cloud Data Fusion
parámetros de configuración. Se representan con variables dentro de
${ }, como${input_file_path}Las macros introducen flexibilidad en tus canalizaciones lo que te permite usar valores de marcador de posición, que se reemplazan por valores reales en tiempo de ejecución. Esto habilita la configuración dinámica de parámetros, como las rutas de acceso de archivos. y nombres de tablas. - Preferencias
- Las preferencias son parámetros de configuración predefinidos que se aplican a varios en Cloud Data Fusion, incluidos el sistema, los espacios de nombres, aplicaciones (que contienen canalizaciones) y programas individuales dentro canalizaciones. Las preferencias te permiten establecer valores predeterminados para los parámetros de configuración. Las canalizaciones y los programas en niveles inferiores lo que reduce las tareas de configuración repetitivas.
- Argumentos de entorno de ejecución
- Los argumentos del entorno de ejecución son pares clave-valor que proporcionan valores para y, potencialmente, anular las preferencias cuando implementas o ejecutas una canalización. Son altamente personalizables, te permiten ajustar los parámetros de configuración en un por ejecución de canalización, sin modificar la canalización subyacente o preferencias.
Cómo configurar macros
Si deseas usar una macro para un valor de propiedad de complemento, sigue estos pasos:
- En Cloud Data Fusion Studio, ve al nodo del complemento y haz clic en Propiedades.
- Ve al campo en el que quieres usar una macro y haz clic en la** M** al lado. al campo.
- Ingresa una clave para la macro. Por ejemplo, en el complemento de File source
ingresa la siguiente clave en el campo Formato:
${format.type}.
Establece valores de macro
Establece valores para las macros antes de obtener una vista previa de los datos de una canalización y antes de ejecutarla una canalización. Puedes establecer valores de macro en los siguientes lugares:
- Complementos set de argumentos
- Argumentos de entorno de ejecución
- Preferencias de la aplicación
- Preferencias de espacio de nombres
- Preferencias del sistema
La ejecución de una canalización con macros hace lo siguiente:
- Cloud Data Fusion primero comprueba si la canalización incluye un
complemento set de argumentos:
- Si tiene un método set de argumentos, Cloud Data Fusion usa el de salida para las macros.
- Si no hay un colocador de argumentos o si hay macros que no se asignan en el método set de argumentos, en lugar de Cloud Data Fusion usa los valores de los argumentos del entorno de ejecución de la canalización.
- Los argumentos del entorno de ejecución heredan las macros de las preferencias de la aplicación.
- Las preferencias de la aplicación heredan las macros de las preferencias de espacio de nombres
- Las preferencias de espacio de nombres heredan las macros de las preferencias del sistema.
Ejemplos
Un uso común de las macros es en los campos de ruta de acceso. En lugar de usar rutas hard-coded,
puedes usar rutas dinámicas. Por ejemplo, en un complemento de origen de Cloud Storage,
puede reemplazar el valor de la ruta por varias macros. El siguiente valor divide el
bucket, carpeta y elementos de archivo: gs://${bucket.name}/${folder}/${file.name}.
En el siguiente ejemplo, se cargan datos de un bucket estático y de un archivo con una
nombre que no sea estático, ingresa el nombre del bucket y usa una macro para
nombre de archivo: gs://<BUCKET_NAME>/${folder}/${file.name}.
Configura las preferencias
En la siguiente sección, se describe la jerarquía de preferencias, en la que las preferencias establecer, heredar o anular.
Configura las preferencias del sistema
Puedes configurar preferencias para el sistema. Debido a que los nombres de las macros deben ser únicos, cada preferencia se aplica a todas las canalizaciones que usan esa macro.
Por ejemplo, tienes una canalización con una fuente de base de datos y usas macros para la nombre de la base de datos y nombre de usuario. Puedes configurar las preferencias de base de datos y nombre de usuario en las preferencias del sistema. Cada espacio de nombres y cada canalización en esa instancia heredan esas preferencias.
Para configurar las preferencias del sistema, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en System admin >. Configuración.
- Haz clic en Sistema. preferencias > Editar preferencias del sistema.
- En el diálogo Preferences, ingresa las preferencias nuevas o edita las existentes. preferencias.
- Haz clic en Guardar y cerrar. Estas preferencias están disponibles en todos espacios de nombres, aplicaciones y canalizaciones.
Configura las preferencias de espacio de nombres
Puedes configurar preferencias para espacios de nombres individuales.
Cuando configuras las preferencias de espacio de nombres, se muestran las preferencias heredadas del sistema. Cuando configuras preferencias para un espacio de nombres, puedes anular las preferencias heredadas estableciendo diferentes valores. También puedes agregar preferencias de espacios de nombres nuevas.
Para configurar las preferencias de espacio de nombres, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Administrador del sistema >. Configuración.
- Haz clic en Espacios de nombres. y selecciona un espacio de nombres para abrir su página de configuración.
- Para editar las preferencias heredadas o agregar preferencias nuevas, ve a la
Pestaña Preferencias y haz clic en Editar. Se abre el diálogo Preferences
en el que puedes ingresar una nueva preferencia o anular
preferencias. Haz clic en
<span class="material-icons">add</span>Add y, luego, ingresa la clave y el valor nuevo para la macro. - Haz clic en Guardar y cerrar. La preferencia de espacio de nombres se crea con el nuevo de salida, que tiene prioridad sobre la preferencia del sistema.
Establece las preferencias de la aplicación
Puedes establecer preferencias para cada canalización implementada en un espacio de nombres. Cuando establezcas las preferencias de la aplicación, se mostrarán todas las preferencias heredadas del sistema y del espacio de nombres. Cuando estableces preferencias para una aplicación, puedes anular preferencias estableciendo diferentes valores o agregar nuevas preferencias para la aplicación:
- En Cloud Data Fusion Studio, haz clic en y, luego, en el menú Espacio de nombres para selecciona el espacio de nombres en el que quieres agregar preferencias de aplicaciones.
- Haz clic en Centro de control.
- Haz clic en el ícono de llave inglesa para establecer preferencias. Aparecerá la página Preferencias muestra todas las preferencias heredadas.
- Para editar las preferencias heredadas o agregar preferencias nuevas, ve a la
Pestaña Preferencias y haz clic en Editar. Se abre el diálogo Preferences
en el que puedes ingresar una nueva preferencia o anular
preferencias. Haz clic en
<span class="material-icons">add</span>Add y, luego, ingresa la clave y el valor nuevo para la macro. - Haz clic en Guardar y cerrar. La preferencia de aplicación se crea con el nuevo valor, que anula las preferencias del sistema o del espacio de nombres. Cuando ejecutar la canalización implementada, las preferencias de la aplicación aparecerán como entorno de ejecución de argumentos que puedes editar.
Configura argumentos del entorno de ejecución
Configurar argumentos del entorno de ejecución para proporcionar valores para macros y, potencialmente, anular preferencias, cuando implementas o ejecutas una canalización.
Argumentos del entorno de ejecución para obtener una vista previa de los datos
Para establecer los valores de cada macro en la canalización cuando obtienes una vista previa de los datos en Cloud Data Fusion Studio, haz clic en Lista > Configurar.
Argumentos del entorno de ejecución para ejecutar canalizaciones implementadas
Si una canalización incluye macros, después de implementarla, debes agregar el entorno de ejecución argumentos, que establecen los valores de las macros.
Cuando implementes una canalización con macros, haz clic en Menú desplegable junto a Ejecutar para abrir el diálogo Argumentos del tiempo de ejecución y establecer los valores para cada uno o la macro.
Configura las preferencias de la canalización
Para configurar las preferencias de una canalización, sigue estos pasos:
- En Cloud Data Fusion Studio, haz clic en Lista >. Implementado y selecciona una canalización implementada para verla.
- En el lienzo de la canalización, haz clic en Menú desplegable junto a Ejecutar. Se abrirá el diálogo Argumentos del entorno de ejecución.
- En el diálogo Argumentos del entorno de ejecución que se abre, especifica el valor de cada macro en la canalización.
Descripción general de preferencias, macros y argumentos del tiempo de ejecución
Puedes configurar las preferencias en los siguientes niveles:
- Preferencias del sistema: El nivel más alto en el que estableces las preferencias. como los valores predeterminados, para toda la instancia.
- Preferencias del espacio de nombres: hereda las preferencias de Sistema preferencias. Puedes configurar las preferencias de un espacio de nombres específico.
- Preferencias de la aplicación: hereda las preferencias de Espacio de nombres preferencias. Pueden ser únicas para aplicaciones individuales (que incluyen canalizaciones).
- Argumentos del entorno de ejecución: pares clave-valor que anulan las preferencias en niveles más altos.
Si estableces una preferencia a nivel de las preferencias del sistema, los valores de la macro propagar automáticamente en las preferencias de espacio de nombres, preferencias de aplicación, y los argumentos del entorno de ejecución.
Si configuras preferencias a nivel del espacio de nombres, estas aparecen en la lista de preferencias heredadas en las preferencias de la aplicación. Si una canalización usa un definida en una preferencia, los argumentos de entorno de ejecución usan el argumento par definido en la preferencia. Puedes anular los valores de las preferencias en cada nivel de preferencia y en los argumentos del entorno de ejecución.
Usa preferencias, macros y argumentos de tiempo de ejecución para los siguientes casos de uso:
- Desarrolla una canalización. Incorpore macros donde necesite valores dinámicos para las propiedades del complemento.
- Opcional: Configura las preferencias. Establezca valores predeterminados para las macros en preferencias a varios niveles.
- Implementa y ejecuta una canalización. Cuando ejecutas una canalización, el
sucede lo siguiente:
- Preferencias para el nivel relevante, como las preferencias del sistema o preferencias de espacios de nombres.
- Cualquier argumento de entorno de ejecución que proporciones anulará los valores asignado a las macros en las preferencias.
- Para resolver las macros, Cloud Data Fusion sustituye su valores de los argumentos del entorno de ejecución (o las preferencias si un argumento no se proporciona).
Ejemplo
Una canalización tiene un receptor de BigQuery que tiene un valor de nombre de tabla que debe cambian de forma dinámica. Para configurar esto, haz lo siguiente:
- Establece la macro. En las propiedades del receptor, usa la siguiente macro
el campo Nombre de la tabla:
${output_table}. - **Establece la preferencia. **En las preferencias de la aplicación, establece una preferencia.
para
${output_table}con el siguiente valor predeterminado:data_staging. - Establece el argumento runtime. Cuando ejecutes la canalización, proporciona
entorno de ejecución, por ejemplo,
output_table=final_analytics_data.
Durante la ejecución de la canalización, la macro, ${output_table},, se reemplaza por
final_analytics_data