Gestionar la administración de Studio

En esta página se explican las funciones de administración que ofrece Cloud Data Fusion Studio para gestionar las configuraciones. Cloud Data Fusion sigue una jerarquía en la que cada instancia puede tener varios espacios de nombres. Desde Cloud Data Fusion Studio, los administradores pueden gestionar todos los espacios de nombres de forma centralizada o individual. Cloud Data Fusion Studio ofrece los siguientes controles de sistema y de espacio de nombres.

Administración del sistema

Si hace clic en Administrador del sistema en Cloud Data Fusion Studio, se mostrarán las siguientes pestañas:

  • Pestaña Gestión: consulta el estado de salud de varios servicios de Cloud Data Fusion. También puedes ver los registros de cada uno de los servicios.

  • Pestaña Configuración: crea, consulta y edita los siguientes controles:

Los proveedores son los responsables de crear, inicializar y destruir el entorno de nube en el que se ejecutan las canalizaciones. Cada aprovisionador expone un conjunto de configuraciones que se usan para controlar el tipo de clúster que se crea y se elimina. Los distintos provisionadores crean diferentes tipos de clústeres.

Cada perfil de cálculo tiene un ámbito: de sistema o de usuario. Puedes usar un perfil de computación del sistema para cualquier espacio de nombres que esté por debajo. Los perfiles de computación de usuario se encuentran en un espacio de nombres y solo las canalizaciones de ese espacio de nombres pueden usar los perfiles de computación de usuario.

En la pestaña Configuraciones del administrador del sistema, puedes crear un perfil de computación del sistema que se aplique a todos los espacios de nombres. Cloud Data Fusion asigna un perfil de computación predeterminado.

Cuando creas un perfil de computación, seleccionas el aprovisionador que el perfil usa para crear y configurar los detalles del tiempo de ejecución en la nube.

.

Preferencias del sistema

Las preferencias son configuraciones predefinidas que se aplican en varios niveles de Cloud Data Fusion, como el propio sistema, los espacios de nombres, las aplicaciones (que contienen flujos de trabajo) y los programas individuales de los flujos de trabajo. Las preferencias permiten definir valores predeterminados para las configuraciones que se usan con frecuencia. Las canalizaciones y los programas de niveles inferiores pueden heredar estos valores predeterminados, lo que reduce las tareas de configuración repetitivas. Para obtener más información, consulta Gestionar macros, preferencias y argumentos de tiempo de ejecución.

Acción de llamada HTTP

La acción de llamada HTTP de la página Administrador del sistema te permite interactuar con la API de Cloud Data Fusion o con otras APIs de servicios Google Cloud directamente desde la interfaz de Cloud Data Fusion Studio. Sin embargo, para crear flujos de procesamiento de datos con fuentes de datos externas, usa el complemento HTTP y su ejecutor de llamadas HTTP en tus flujos para obtener una solución más completa. Es ligeramente diferente de la acción de llamada HTTP, pero los conceptos subyacentes son similares.

Configuraciones y casos prácticos

La acción de llamada HTTP se usa principalmente para tareas administrativas o de configuración en Cloud Data Fusion. Te permite interactuar con la API de Cloud Data Fusion u otros Google Cloud servicios que expongan una API HTTP directamente desde Cloud Data Fusion Studio.

Configuraciones

Puede definir los siguientes detalles de una llamada HTTP:

  • URL: el endpoint de destino del servicio web al que quieres llamar.
  • Método: el método HTTP que se va a usar, como GET, POST o PUT.
  • Opcional: Headers (Encabezados): encabezados personalizados necesarios para la solicitud.
  • Opcional: Cuerpo: datos que se enviarán en el cuerpo de la solicitud, como para las llamadas POST y PUT.

Después, puedes ejecutar la llamada HTTP definida y ver la respuesta del servicio web en Cloud Data Fusion Studio.

Casos prácticos
  • Prueba las llamadas a la API Cloud Data Fusion. Puedes usar la acción de llamada HTTP para probar o explorar las funciones de la API de Cloud Data Fusion directamente desde la interfaz web. Esta acción puede ser útil para comprender el comportamiento de la API o solucionar posibles problemas.
  • Gestionar espacios de nombres (avanzado) Aunque hay una interfaz de usuario específica para la gestión de espacios de nombres, la acción de llamada HTTP se puede usar para tareas avanzadas. Para ello, se realizan llamadas directamente a la API de Cloud Data Fusion para crear, eliminar o configurar espacios de nombres.
  • Interactuar con otros servicios Google Cloud (limitado). Si otros servicios que usas tienen una API HTTP documentada públicamente, puedes usar la acción de llamada HTTP para interactuar con esos servicios, aunque este es un caso de uso poco habitual. Google Cloud
Cuestiones importantes
  • Seguridad: ten cuidado al usar la acción de llamada HTTP, sobre todo con datos sensibles o llamadas a la API de Cloud Data Fusion que puedan afectar a tu entorno. Asegúrate de que entiendes las implicaciones de cada llamada a la API antes de ejecutarla.
  • Limitaciones: la acción de llamada HTTP se usa principalmente para tareas administrativas y pruebas. No está diseñado para crear flujos de procesamiento de datos complejos que impliquen la manipulación de datos en Cloud Data Fusion.
  • Alternativa para las canalizaciones: para integrar fuentes de datos o servicios externos en tus canalizaciones de datos, usa el complemento HTTP y su ejecutor de llamadas HTTP asociado en las definiciones de tus canalizaciones. De esta forma, se ofrece una forma más sólida y controlada de gestionar las interacciones HTTP en los flujos de trabajo de procesamiento de datos.

Administración de espacios de nombres

Si haces clic en Administrador de espacio de nombres en Cloud Data Fusion Studio, podrás gestionar las configuraciones del espacio de nombres específico. En cada espacio de nombres, puedes definir los siguientes aspectos:

  • Perfiles de computación: los perfiles configurados en Administración de espacio de nombres son perfiles de computación de usuario. Solo las canalizaciones de ese espacio de nombres pueden usar estos perfiles de cálculo de usuario. Para obtener más información, consulta Gestionar perfiles de cálculo.
  • Preferencias: las preferencias definidas a nivel de espacio de nombres se aplican al espacio de nombres, a las aplicaciones (que contienen canalizaciones) y a los programas individuales de las canalizaciones. Para obtener más información, consulta Gestionar macros, preferencias y argumentos de tiempo de ejecución.
  • Conexiones: Cloud Data Fusion te permite reutilizar conexiones a fuentes y receptores en flujos de procesamiento de datos. Puedes añadir conexiones en la página Administrador de espacio de nombres. Para obtener más información, consulta Crear y gestionar conexiones.
  • Controladores: algunos complementos de Cloud Data Fusion requieren que se añada un controlador JDBC al espacio de nombres. Por ejemplo, antes de poder ejecutar una canalización con un complemento de origen por lotes de MySQL, debes añadir el controlador de MySQL compatible al espacio de nombres. Puedes subir o quitar controladores JDBC en un espacio de nombres desde la página de administración de espacios de nombres o directamente desde el centro. Para obtener más información, consulta Controladores de complementos.
  • Gestión del control de versiones: para gestionar de forma eficiente el proceso de desarrollo de las canalizaciones implementadas, la gestión del control de versiones te permite conectar un espacio de nombres con el repositorio de tu sistema de control de versiones. Para obtener más información, consulta Gestionar pipelines con gestión de control de código fuente.
  • Cuenta de servicio: para controlar el acceso a los recursos y los espacios de nombres en Cloud Data Fusion, se usa el agente de servicio de la API de Cloud Data Fusion de forma predeterminada. Google Cloud

Para mejorar el aislamiento de los datos, puedes asociar una cuenta de servicio de Gestión de Identidades y Accesos (IAM) personalizada (conocida como cuenta de servicio por espacio de nombres) a cada espacio de nombres. La cuenta de servicio de gestión de identidades y accesos personalizada, que puede ser diferente para cada espacio de nombres, te permite controlar el acceso a los recursos de Google Cloud entre espacios de nombres para las operaciones de tiempo de diseño de la canalización en Cloud Data Fusion, como la vista previa de la canalización, Wrangler y la validación de la canalización. Para obtener más información, consulta Control de acceso con una cuenta de servicio de espacio de nombres.

Siguientes pasos