Azure Data Lake

El conector de Azure Data Lake te permite conectarte a un backend de Azure Data Lake y usar SQL para recuperar y actualizar los datos de Azure Data Lake.

Antes de comenzar

Antes de usar el conector de Azuredatalakestorage, realiza las siguientes tareas:

  • En tu proyecto de Google Cloud, haz lo siguiente:
    • Otorga el rol de IAM roles/connectors.admin al usuario que configura el conector.
    • Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el conector:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Una cuenta de servicio es un tipo de Cuenta de Google especial que representa a un usuario no humano que debe autenticarse y tener autorización para acceder a los datos de las APIs de Google. Si no tienes una cuenta de servicio, debes crear una. Para obtener más información, consulta Crea una cuenta de servicio.

    • Habilita los siguientes servicios:
      • secretmanager.googleapis.com (API de Secret Manager)
      • connectors.googleapis.com (API de conectores)

      Para comprender cómo habilitar servicios, consulta Habilita servicios.

    Si estos servicios o permisos no se habilitaron antes para tu proyecto, se te solicitará que los habilites cuando configures el conector.

Configura el conector

Para configurar el conector, debes crear una conexión a tu fuente de datos (sistema de backend). Una conexión es específica de una fuente de datos. Significa que, si tienes muchas fuentes de datos, debes crear una conexión independiente para cada fuente. Para crear una conexión, sigue estos pasos:

  1. En la consola de Cloud, ve a la página Conectores de Integration > Conexiones y, luego, selecciona o crea un proyecto de Google Cloud.

    Ir a la página Conexiones

  2. Haz clic en + Crear nuevo para abrir la página Crear conexión.
  3. En la sección Ubicación, elige la ubicación para la conexión.
    1. Región: selecciona una ubicación de la lista desplegable.

      Entre las regiones admitidas para los conectores, se incluyen las siguientes:

      Para obtener la lista de todas las regiones compatibles, consulta Ubicaciones.

    2. Haz clic en Siguiente.
  4. En la sección Detalles de la conexión, completa lo siguiente:
    1. Conector: Selecciona Azure Data Lake en la lista desplegable de Conectores disponibles.
    2. Versión del conector: selecciona la versión del conector de la lista desplegable de versiones disponibles.
    3. En el campo Nombre de la conexión, ingresa un nombre para la instancia de conexión.

      Los nombres de las conexiones deben cumplir con los siguientes criterios:

      • Los nombres de las conexiones pueden usar letras, números o guiones.
      • Las letras deben estar en minúsculas.
      • Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
      • Los nombres de las conexiones no pueden superar los 63 caracteres.
    4. De manera opcional, ingresa una Descripción para la instancia de conexión.
    5. Cuenta de servicio: Selecciona una cuenta de servicio que tenga los roles necesarios.
    6. De manera opcional, configura los parámetros de nodo de conexión:

      • Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
      • Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.

      Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.

    7. Cuenta: Esta propiedad especifica el nombre de la cuenta de almacenamiento de Azure Data Lake.
    8. Directory: Esta propiedad especifica la ruta de acceso raíz para enumerar archivos y carpetas.
    9. Sistema de archivos: Esta propiedad especifica el nombre del sistema de archivos que se usará en una cuenta de almacenamiento de 2a gen. Por ejemplo, el nombre de tu contenedor de BLOB de Azure.
    10. Tamaño de fragmentación: Es el tamaño de los fragmentos (en MB) que se usarán cuando se suban archivos grandes.
    11. Include Sub Directories: Elige si las rutas de acceso de los subdirectorios se deben enumerar en la vista Recursos del esquema ADLSGen2.
    12. De manera opcional, haz clic en + Agregar etiqueta (+ Add label) para agregar una etiqueta a la conexión en forma de par clave-valor.
    13. Haz clic en Siguiente.
  5. En la sección Autenticación, ingresa los detalles de autenticación.
    1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.

      La conexión de Azure Data Lake admite los siguientes tipos de autenticación:

      • Firma de acceso compartido
      • Clave de acceso a la cuenta

      2. Para comprender cómo configurar estos tipos de autenticación, consulta Configura la autenticación.

    2. Haz clic en Siguiente.
  6. Revisa: Revisa tus detalles de conexión y autenticación.
  7. Haz clic en Crear.

Configura la autenticación

Ingresa los detalles según la autenticación que desees usar.

  • Firma de acceso compartido

    Si deseas usar un acceso anónimo, selecciona No disponible.

    • Firma de acceso compartido: Secreto de Secret Manager que contiene la firma de acceso compartido.
  • Clave de acceso a la cuenta

    Si deseas usar un acceso anónimo, selecciona No disponible.

    • Clave de acceso a la cuenta: Secreto de Secret Manager que contiene la clave de acceso a la cuenta.

Entidades, operaciones y acciones

Todos los Integration Connectors proporcionan una capa de abstracción para los objetos de la aplicación conectada. Solo puedes acceder a los objetos de una aplicación a través de esta abstracción. La abstracción se expone como entidades, operaciones y acciones.

  • Entidades: Una entidad puede considerarse como un objeto o una colección de propiedades en la aplicación o servicio conectados. La definición de una entidad difiere de conector a conector. Por ejemplo, en un conector de bases de datos, las tablas son las entidades; en un conector de servidor de archivos, las carpetas son las entidades; en un conector de sistema de mensajería, las colas son las entidades.

    Sin embargo, es posible que un conector no admita o tenga ninguna entidad, en cuyo caso la lista Entities estará vacía.

  • Operaciones: Una operación es la actividad que puedes realizar en una entidad. Puedes realizar cualquiera de las siguientes operaciones en una entidad:

    Cuando se selecciona una entidad de la lista disponible, se genera una lista de operaciones disponibles para esa entidad. Para obtener una descripción detallada de las operaciones, consulta las operaciones de entidades de la tarea de conectores. Sin embargo, si un conector no admite ninguna de las operaciones de entidad, tales operaciones no compatibles no aparecerán en la lista Operations.

  • Acción: Una acción es una función de primera clase que está disponible para la integración mediante la interfaz de Conectores. Una acción te permite realizar cambios en una entidad o entidades y variar de un conector a otro. Sin embargo, es posible que un conector no admita ninguna acción, en cuyo caso la lista Actions estará vacía.

Limitaciones del sistema

El conector de Azure Data Lake puede procesar 5 transacciones por segundo por nodo, y regula cualquier transacción que supere este límite. De forma predeterminada, Integration Connectors asigna 2 nodos (para una mejor disponibilidad) a una conexión.

Para obtener más información sobre los límites aplicables a Integration Connectors, consulta Límites.

Acciones

En esta sección, se enumeran las acciones que admite el conector. Para comprender cómo configurar las acciones, consulta Ejemplos de acciones.

Acción DownloadFile

Esta acción te permite descargar el contenido de un BLOB en particular desde un directorio o un contenedor.

Parámetros de entrada de la acción DownloadFile

Nombre del parámetro Tipo de datos Requeridos Descripción
Ruta de acceso String Sí Es la ruta de acceso del archivo que se descargará.
HasBytes String No Indica si se debe descargar contenido como bytes.

Parámetros de resultado de la acción DownloadFile

Si la acción se realiza correctamente, se mostrará el contenido del archivo o del BLOB.

Por ejemplo, para configurar la acción DownloadFile, consulta Ejemplos de acciones.

Acción CreateFile

Esta acción te permite crear un BLOB o un archivo en un contenedor o directorio.

Parámetros de entrada de la acción CreateFile

Nombre del parámetro Tipo de datos Requeridos Descripción
Ruta de acceso String Sí Es la ruta de acceso del archivo que se creará.

Por ejemplo, para configurar la acción CreateFile, consulta Ejemplos de acciones.

Acción CopyFile

Esta acción te permite copiar el contenido de un archivo o un BLOB a otro archivo o BLOB en el mismo contenedor o directorio.

Parámetros de entrada de la acción CopyFile

Nombre del parámetro Tipo de datos Requeridos Descripción
SourcePath String Sí Es la ruta de acceso del archivo que se copiará.
DestinationPath String Sí Es la ruta de acceso del archivo en el que se copiará.

Por ejemplo, para configurar la acción CopyFile, consulta Ejemplos de acciones.

Acción DeleteObject

Esta acción te permite borrar un archivo o un BLOB.

Parámetros de entrada de la acción DeleteObject

Nombre del parámetro Tipo de datos Requeridos Descripción
Recurrente String No Establece esta opción como true para borrar todo el contenido de la carpeta, incluidas las subcarpetas.
Ruta de acceso String Sí Es la ruta de acceso del archivo o la carpeta que se borrará.
DeleteType String Sí
  • Configúralo como FILESANDFOLDERS para borrar el archivo o la carpeta especificados en el parámetro de ruta de acceso.
  • Establece esta opción en FILES para borrar solo los archivos dentro de la carpeta especificada en el parámetro de ruta de acceso.

Por ejemplo, para configurar la acción DeleteObject, consulta Ejemplos de acciones.

Acción LeaseBlob

Esta acción te permite crear y administrar un bloqueo en un BLOB.

Parámetros de entrada de la acción LeaseBlob

Nombre del parámetro Tipo de datos Requeridos Descripción
Ruta de acceso String Sí Es la ruta de acceso del archivo.
LeaseAction String Sí Especifica la acción de asignación que se ejecutará.
LeaseDuration Integer Sí Especifica la duración del arrendamiento.

Por ejemplo, para configurar la acción LeaseBlob, consulta Ejemplos de acciones.

Acción UploadFile

Esta acción permite a los usuarios subir el contenido a un BLOB o contenedor en particular.

Parámetros de entrada de la acción UploadFile

Nombre del parámetro Tipo de datos Requeridos Descripción
Ruta de acceso String Sí Es la ruta de acceso del archivo que se subirá.
HasBytes String No Indica si se debe subir contenido como bytes.
Temario String Sí Contenido para subir

Por ejemplo, para configurar la acción UploadFile, consulta Ejemplos de acciones.

Acción RenameObject

Esta acción te permite cambiar el nombre de un archivo o una carpeta.

Parámetros de entrada de la acción RenameObject

Nombre del parámetro Tipo de datos Requeridos Descripción
Ruta de acceso String Sí La ruta de acceso a la que se le cambiará el nombre.
RenameTo String Sí El nuevo nombre del archivo o de la carpeta.

Por ejemplo, para configurar la acción RenameObject, consulta Ejemplos de acciones.

Ejemplos de acciones

Ejemplo: Descarga un archivo

En este ejemplo, se descarga un archivo binario.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción DownloadFile y haz clic en Listo.
  3. En la sección Entrada de la tarea de la tarea Conectores, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value: 
    {
"Path": "testdirectory1/testblob1",
"HasBytes": true
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea DownloadFile tendrá un valor similar al siguiente:

    [{
"Success": "True",
"ContentBytes": "UEsDBBQABgAIAAAAIQCj77sdZQEAAFIFAAATAAgCW0NvbnRlbnRfVHlwZXNdLnhtbCCiBAIooA"
}]

Ejemplo: Subir un archivo

En este ejemplo, se sube contenido como un BLOB.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción UploadFile y haz clic en Listo.
  3. En la sección Entrada de la tarea de la tarea Conectores, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value: 
    {
"Path": "testblob4",
"HasBytes": true,
"Content": "abcdef\nabcdef"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea UploadFile tendrá un valor similar al siguiente:

    [{
"Success": "true"
}]

Ejemplo: Crea un archivo

En este ejemplo, se crea un archivo en el directorio especificado.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción CreateFile y haz clic en Listo.
  3. En la sección Entrada de la tarea de la tarea Conectores, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea CreateFile tendrá un valor similar al siguiente:

    [{
"Success": "true"
}]

Ejemplo: copiar un archivo

En este ejemplo, se copia un archivo de una ubicación a otra.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción CopyFile y haz clic en Listo.
  3. En la sección Entrada de la tarea de la tarea Conectores, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value: 
    {
"SourcePath": "testdirectory1/testblob",
"DestinationPath": "testblob"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea CopyFile tendrá un valor similar al siguiente:

    [{
"Success": "true"
}]

Ejemplo: Borra un BLOB

En este ejemplo, se borra el BLOB especificado.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción DeleteObject y haz clic en Listo.
  3. En la sección Entrada de la tarea de la tarea Conectores, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value: 
    {
"path": "testdirectory1/testblob"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea DeleteObject tendrá un valor similar al siguiente:

    [{
"Success": "true"
}]

Ejemplo: Alquila un BLOB

En este ejemplo, se alquila el BLOB especificado.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción LeaseBlob y haz clic en Listo.
  3. En la sección Entrada de la tarea de la tarea Conectores, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value: 
    {
"Path": "testblob2",
"LeaseAction": "Acquire",
"LeaseDuration": 60.0
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea LeaseBlob tendrá un valor similar al siguiente:

    [{
"LeaseId": "7aae9ca2-f015-41b6-9bdf-5fd3401fc493",
"Success": "true"
}]

Ejemplo: cambia el nombre de un BLOB

En este ejemplo, se cambia el nombre de un BLOB.

  1. En el cuadro de diálogo Configure connector task, haz clic en Actions.
  2. Selecciona la acción RenameObject y haz clic en Listo.
  3. En la sección Entrada de la tarea de la tarea Conectores, haz clic en connectorInputPayload y, luego, ingresa un valor similar al siguiente en el campo Default Value: 
    {
"Path": "testblob",
"RenameTo": "testblob6"
}

    4. Si la acción se realiza correctamente, el parámetro de respuesta connectorOutputPayload de la tarea RenameObject tendrá un valor similar al siguiente:

    [{
"Success": true
}]

Ejemplos de operaciones de entidades

En esta sección, se muestra cómo realizar algunas de las operaciones de entidad en este conector.

Ejemplo: enumera todos los registros

En este ejemplo, se enumeran todos los registros de la entidad Resource.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Resource de la lista Entity.
  3. Selecciona la operación List y, luego, haz clic en Listo.
  4. De manera opcional, en la sección Entrada de la tarea de la tarea Conectores, puedes filtrar tu conjunto de resultados especificando una cláusula de filtro. Especifica el valor de la cláusula de filtro siempre entre comillas simples (').

Ejemplo: Obtén un registro

En este ejemplo, se obtiene un registro con el ID especificado de la entidad Resource.

  1. En el cuadro de diálogo Configure connector task, haz clic en Entities.
  2. Selecciona Resource de la lista Entity.
  3. Selecciona la operación Get y, luego, haz clic en Listo.
  4. En la sección Task Input de la tarea Conectores, haz clic en EntityId y, luego, ingresa testdirectory1/testblob1 en el campo Valor predeterminado.

    Aquí, testdirectory1/testblob1 es un ID de registro único en la entidad Resource.

Usa la conexión de Azure Data Lake en una integración

Después de crear la conexión, estará disponible en Apigee Integration y en Application Integration. Puedes usar la conexión en una integración mediante la tarea Conectores.

  • Para comprender cómo crear y usar la tarea Conectores en la integración de Apigee, consulta la Tarea Conectores.
  • Para comprender cómo crear y usar la tarea Conectores en Application Integration, consulta la tarea Conectores.

Obtén ayuda de la Comunidad de Google Cloud

Puedes publicar tus preguntas y debatir sobre este conector en la comunidad de Google Cloud en Cloud Forums.

¿Qué sigue?