Azure Synapse

El conector de Azure Synapse te permite conectarte a un grupo de SQL de Azure Synapse y usar SQL para recuperar y actualizar los datos de Azure Synapse.

Antes de comenzar

Antes de usar el conector de Azure Synapse, realiza las siguientes tareas:

• En tu proyecto de Google Cloud, haz lo siguiente:
  • Otorga el rol de IAM roles/connectors.admin al usuario. configurar el conector.
  • Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
    • roles/secretmanager.viewer
    • roles/secretmanager.secretAccessor

    Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.

  • Habilita los siguientes servicios:
    • secretmanager.googleapis.com (API de Secret Manager)
    • connectors.googleapis.com (API de conectores)

    Para comprender cómo habilitar servicios, consulta Habilita servicios.

  Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.

Configura el conector

Para configurar el conector, debes crear una conexión a tu fuente de datos (sistema de backend). Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, sigue estos pasos:

1. En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.

   Ir a la página Conexiones

2. Haz clic en + Crear nuevo para abrir la página Crear conexión.
3. En la sección Ubicación, elige la ubicación para la conexión.
   1. Región: selecciona una ubicación de la lista desplegable.

      Entre las regiones admitidas para los conectores, se incluyen las siguientes:

      Para obtener la lista de todas las regiones compatibles, consulta Ubicaciones.

   2. Haz clic en Siguiente.
4. En la sección Detalles de la conexión, completa lo siguiente:
   1. Conector: Selecciona Azure Synapse en la lista desplegable de conectores disponibles.
   2. Versión del conector: selecciona la versión del conector de la lista desplegable de versiones disponibles.
   3. En el campo Nombre de la conexión, ingresa un nombre para la instancia de conexión.

      Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de las conexiones no pueden superar los 49 caracteres.
   4. De manera opcional, ingresa una descripción para la instancia de conexión.
   5. Cuenta de servicio: Selecciona una cuenta de servicio que tenga los roles necesarios.
   6. De manera opcional, configura los parámetros de nodo de conexión:
      • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
      • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

      Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

   Nota: Puedes personalizar los valores de los nodos de conexión solo si eres un cliente de pago por uso.
   7. Azure Tenant: Esta propiedad especifica el usuario de Microsoft Azure que se usa para acceder a los datos.
   8. Base de datos: Esta propiedad especifica el nombre de la base de datos de Synapse en el grupo de SQL sin servidores o en el grupo de SQL dedicado .
   9. En Destinos, ingresa las siguientes propiedades:
   • Tipo de destino: Selecciona Dirección de host en el menú desplegable.
   • Host 1: Ingresa el extremo del grupo de SQL.
   • Puerto 1: Ingresa el puerto para el extremo de SQL
   .
   10. De manera opcional, ingresa las siguientes propiedades para SSL:
       • Enable SSL: Esta propiedad de casilla de verificación especifica si se debe habilitar SSL.
       • Almacén de confianza: Esta propiedad especifica el almacén de confianza. Puedes seleccionar un botón de selección para elegir el almacén de confianza de la conexión pública, privada o no segura.
       • Almacén de confianza personalizado: Esta propiedad se usa para seleccionar un secreto que contiene el almacén de confianza personalizado en formato PEM.
       • Certificado de cliente SSL: Esta propiedad especifica el certificado de cliente SSL.
       • Clave privada del cliente SSL: Esta propiedad especifica la clave privada del cliente SSL en formato PEM.
       • Frase de contraseña de la clave del certificado de cliente SSL: Esta propiedad especifica la frase de contraseña de clave privada del cliente SSL.
   11. De manera opcional, haz clic en + Agregar etiqueta para agregar una etiqueta a la conexión en forma de un par clave-valor.
   12. Haz clic en Siguiente.
5. En la sección Autenticación, ingresa los detalles de autenticación.
   1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Azure Synapse admite los siguientes tipos de autenticación:

      • Contraseña de usuario
      • Azure AD

   Para comprender cómo configurar estos tipos de autenticación, consulta Configura la autenticación.

   2. Haz clic en Siguiente.
6. Revisa: Revisa tus detalles de conexión y autenticación.
7. Haz clic en Crear.

Configura la autenticación

Ingresa los detalles según la autenticación que desees usar.

• Contraseña del usuario
  • Nombre de usuario: Ingresa el nombre de usuario de la base de datos.
  • Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario.

• Azure AD
  • ID de cliente: el ID de cliente que se usa para solicitar tokens de acceso. Puedes encontrar esta información en la descripción general de la app conectada que creaste en el portal de Azure.
  • Alcance: Es una lista de los alcances deseados, separados por comas.
  • Secreto de cliente: Secreto de Secret Manager que contiene la clave de acceso a la cuenta.
  • URL de autorización: Es la URL de autorización que se genera cuando se crea el cliente.

Pasos adicionales después de la creación de la conexión

Si seleccionaste OAuth 2.0 - Authorization code para la autenticación, debes seguir estos pasos adicionales después de crear la conexión:

1. En la página Conexiones, ubica la conexión recién creada.

   Ten en cuenta que el Status del conector nuevo será Authorization required (Autorización requerida).

2. Haz clic en Se requiere autorización.

   Se mostrará el panel Editar autorización.

3. Copia el valor del URI de redireccionamiento en tu aplicación externa.
4. Verifica los detalles de la autorización.
5. Haz clic en Autorizar.

   Si la autorización se realiza correctamente, el estado de la conexión se establecerá como Activa en la página Conexiones.

Volver a autorizar para el código de autorización

Si usas el tipo de autenticación Authorization code y realizaste cambios de configuración en tu aplicación de Azure Synapse, debes volver a autorizar tu conexión de Azure Synapse. Para volver a autorizar una conexión, sigue estos pasos:

1. Haz clic en la conexión requerida en la página Conexiones.

   Se abrirá la página de detalles de la conexión.

2. Haz clic en Editar para editar los detalles de la conexión.
3. Verifica los detalles de OAuth 2.0: Código de autorización en la sección Autenticación.

   Si es necesario, realiza los cambios necesarios.

4. Haz clic en Guardar. Esto te llevará a la página de detalles de la conexión.
5. Haz clic en Editar autorización en la sección Autenticación. Se mostrará el panel Autorizar.
6. Haz clic en Autorizar.

   Si la autorización se realiza correctamente, el estado de la conexión se establecerá como Activa en la página Conexiones.

Entidades, operaciones y acciones

Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.

Nota: Puedes ver las entidades, operaciones y acciones de un conector en la tarea de conectores.

• Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.

  Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista Entities estará vacía.

• Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:
  • Lista
  • Obtén
  • Crear
  • Actualizar
  • Borrar

  Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, tales operaciones operaciones no aparecen en la lista Operations.

• Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Por lo general, una acción tendrá algunos parámetros de entrada y un parámetro de salida. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista Actions estará vacía.

Nota: Todas las entidades y acciones tendrán un esquema asociado. Por ejemplo, un esquema de acción tendrá los detalles de los parámetros como los siguientes: el parámetro nombres y su tipo de datos correspondiente. La conexión recupera el esquema (metadatos) de las entidades y las acciones durante el tiempo de ejecución desde tu backend. Si hay actualizaciones en el esquema, estas no se reflejarán automáticamente en tus conexiones existentes. Debes actualizar el esquema de forma manual. Para actualizar el esquema de una conexión, abre la página Detalles de la conexión de la conexión y, luego, haz clic en Actualiza el esquema de conexión.

Limitaciones del sistema

El conector de Azure Synapse puede procesar un máximo de 4 transacciones por segundo por nodo y regula las transacciones que superen este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) por una conexión.

Para obtener información sobre los límites aplicables a Integration Connectors, consulta Límites.

Nota: La cantidad de nodos de Integration Connectors se ajustará automáticamente de forma dinámica según tu uso. Sin embargo, si deseas reservar capacidad para grandes volúmenes sin mientras esperas el ajuste de escala automático, puedes ajustar el valor mínimo de nodo para una conexión. Se requieren más nodos para procesar más transacciones para una conexión. Por el contrario, hay menos nodos si una conexión procesa menos transacciones. Cómo configurar el nodo de salida, haz lo siguiente:

• Si eres un cliente de pago por uso, configura el valor mínimo y máximo de los nodos en la página para editar conexiones.
• Si eres un cliente basado en suscripciones, comunícate con el equipo de asistencia.

La cantidad máxima de transacciones que puede controlar un nodo depende de varios factores. Antes de ajustar la cantidad mínima de nodos para mejorar la capacidad de procesamiento, te recomendamos verificar si tus sistemas de backend están configurados de manera óptima para manejar el tráfico requerido.

Tipos de datos admitidos

A continuación, se indican los tipos de datos admitidos para este conector:

• BIGINT
• BINARY
• BIT
• CHAR
• DATE
• DATETIME
• DATETIME2
• DATETIMEOFFSET
• DECIMAL
• FLOAT
• DECIMAL
• FLOAT
• INT
• DINERO
• NCHAR
• NVARCHAR
• REAL
• LSEG
• SMALLDATETIME
• SMALLINT
• SMALLMONEY
• TINYINT
• UNIQUEIDENTIFIER
• VARBINARY
• VARCHAR

Acciones

El conector de Azure Synapse te permite ejecutar tus procedimientos almacenados y consultas SQL personalizadas en el formato que admite Azure Synapse. Para ejecutar consultas de SQL personalizadas, el conector proporciona la acción Ejecutar consulta personalizada.

Para crear una consulta personalizada, sigue estos pasos:

1. Sigue las instrucciones detalladas para agregar una tarea de conectores.
2. Cuando configures la tarea del conector, en el tipo de acción que desees realizar, selecciona Acciones.
3. En la lista Acción, selecciona Ejecutar consulta personalizada y, luego, haz clic en Listo.

   

4. Expande la sección Task input y haz lo siguiente:
   1. En el campo Timeout after, ingresa la cantidad de segundos que se espera hasta que se ejecute la consulta.

      Valor predeterminado: 180 segundos.

   2. En el campo Cantidad máxima de filas, ingresa la cantidad máxima de filas que se mostrarán en la base de datos.

      Valor predeterminado: 25.

   3. Para actualizar la consulta personalizada, haz clic en Editar secuencia de comandos personalizada. Se abrirá el diálogo Editor de secuencia de comandos.

      

   4. En el diálogo Editor de secuencia de comandos, ingresa la consulta de SQL y haz clic en Guardar.

      Puedes usar un signo de interrogación (?) en una instrucción de SQL para representar un parámetro único que debe especificarse en la lista de parámetros de consulta. Por ejemplo, la siguiente consulta de SQL selecciona todas las filas de la tabla Employees que coinciden con los valores especificados para la columna LastName:

      SELECT * FROM Employees where LastName=?

      Nota: Se admiten las declaraciones de lenguaje de manipulación de datos (DML) y lenguaje de definición de datos (DDL).
   5. Si usaste signos de interrogación en tu consulta en SQL, debes agregar el parámetro. Para ello, haz clic en + Agregar nombre del parámetro en cada signo de interrogación. Mientras se ejecuta la integración, estos parámetros reemplazan los signos de interrogación (?) en la consulta SQL de forma secuencial. Por ejemplo, si agregaste tres signos de interrogación (?), debes agregar tres parámetros en orden de secuencia.

      

      Para agregar parámetros de consulta, haz lo siguiente:

      1. En la lista Tipo, selecciona el tipo de datos del parámetro.
      2. En el campo Valor, ingresa el valor del parámetro.
      3. Para agregar varios parámetros, haz clic en + Agregar parámetro de consulta.

Ejemplos de operaciones de entidades

Ejemplo: Lista de registros de una entidad

En este ejemplo, se enumeran los registros de la entidad Users.

1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
2. Selecciona Users de la lista Entity.
3. Selecciona la operación List y, luego, haz clic en Listo.
4. En la sección Task Input de la tarea Connectors, puedes configurar filterClause según tus necesidades.

   Por ejemplo, configurar la cláusula de filtro como employeeCode='5100' and startDate='2010-01-01 00:00:00', muestra solo esos registros. cuyo employeeCode es 5100 y startDate es 2010-01-01 00:00:00.

Ejemplo: Cómo obtener un solo registro de una entidad

En este ejemplo, se recupera un registro de la entidad Users.

1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
2. Selecciona User en la lista Entity.
3. Selecciona la operación Get y, luego, haz clic en Listo.
4. En la sección Entrada de tarea de la tarea Conectores, haz clic en entityId y Luego, ingresa 103032 en el campo Valor predeterminado.

   Aquí, 103032 es el valor de clave primaria de la entidad Users.

Ejemplo: Borra un registro de una entidad

En este ejemplo, se borra un registro de la entidad Users.

1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
2. Selecciona Users en la lista Entity.
3. Selecciona la operación Delete y, luego, haz clic en Listo.
4. En la sección Entrada de tarea de la tarea Conectores, haz clic en entityId y Luego, ingresa 113132 en el campo Valor predeterminado.

   Como alternativa, si la entidad tiene claves primarias compuestas en lugar de especificar el entityId, puedes establecer filterClause. Por ejemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Ejemplo: crea un registro en una entidad

En este ejemplo, se crea un registro en la entidad Users.

1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
2. Selecciona Users en la lista Entity.
3. Selecciona la operación Create y haz clic en Listo.
4. En la sección Task Input de la tarea Connectors, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value:

   {
   "employeeCode": "5100",
   "startDate": "2010-01-01 00:00:00.0",
   "country": "US"
   }

Si la integración se realiza correctamente, el campo connectorOutputPayload de la tarea del conector obtendrás la respuesta de la operación de creación.

Ejemplo: actualiza un registro en una entidad

En este ejemplo, se actualiza un registro en la entidad Users.

1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
2. Selecciona Users de la lista Entity.
3. Selecciona la operación Update y haz clic en Listo.
4. En la sección Task Input de la tarea Connectors, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value:

   {
   "country": "IN"
   }

5. En la sección Task Input de la tarea Connectors, haz clic en entityId y, luego, ingresa 113132 en el campo Default Value.

   De manera alternativa, si la entidad tiene claves primarias compuestas en lugar de especificar el entityId, puedes establecer la filterClause. Por ejemplo, employeeCode='5100' and startDate='2010-01-01 00:00:00'.

Si la integración se realiza correctamente, el campo connectorOutputPayload de la tarea del conector tendrá la respuesta de la operación de actualización.

Usa la conexión de Azure Synapse en una integración

Después de crear la conexión, estará disponible en la integración de Apigee y en la integración de aplicaciones. Puedes usar la conexión en una integración a través de la tarea Connectors.

• Para comprender cómo crear y usar la tarea Connectors en la integración de Apigee, consulta Tarea Connectors.
• Para comprender cómo crear y usar la tarea Conectores en Application Integration, consulta la Tarea Conectores.

Obtén ayuda de la Comunidad de Google Cloud

Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.

¿Qué sigue?

• Obtén información sobre cómo suspender y reanudar una conexión.
• Obtén información para supervisar el uso de los conectores.
• Obtén información para ver los registros de los conectores.