Fuente de lotes de SAP BW Open Hub

En esta guía, se describe cómo implementar, configurar y ejecutar canalizaciones de datos que usan el complemento de fuente por lotes de SAP BW Open Hub. Puedes usar SAP como fuente para la extracción de datos por lotes y por delta en Cloud Data Fusion a través del servicio BW Open Hub.

Este complemento permite la integración masiva de datos desde aplicaciones de SAP con Cloud Data Fusion. Puedes configurar y ejecutar transferencias de datos masivas desde DataSources de SAP sin programación.

A fin de obtener información sobre las aplicaciones y los objetos de SAP compatibles para la extracción, consulta Detalles de la asistencia. Para obtener más información sobre cómo ejecutar SAP en Google Cloud, consulta Descripción general de SAP en Google Cloud.

Objetivos

  • Configurar el sistema SAP BW
  • Implementa el complemento en tu entorno de Cloud Data Fusion.
  • Descarga el transporte de SAP de Cloud Data Fusion y, luego, instálalo en SAP.
  • Usa Cloud Data Fusion y SAP BW Open Hub Batch Source para crear canalizaciones de datos que integren los datos de SAP.

Antes de comenzar

Para usar este complemento, debes tener conocimientos sobre las siguientes áreas:

Funciones de usuario

Las tareas de esta página las realizan personas con las siguientes funciones en Google Cloud o en su sistema SAP:

Tipo de usuario Descripción
Administrador de Google Cloud Los usuarios con esta función son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion Los usuarios a los que se les asigna esta función están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, la función de visualizador de Data Fusion (roles/datafusion.viewer). Si usas el control de acceso basado en funciones, es posible que necesites funciones adicionales.
Administrador de SAP Los usuarios con esta función son administradores del sistema SAP. Tienen acceso para descargar software del sitio de servicio de SAP. No es una función de IAM.
Usuario de SAP Los usuarios a los que se les asignó esta función están autorizados para conectarse a un sistema SAP. No es una función de IAM.

Requisitos para SAP BW

Necesitas SAP HANA Studio para crear y editar procesos de transferencia de datos y cadenas de procesos.

Requisitos para Cloud Data Fusion

  • Se requiere una red de VPC para la creación de instancias de Cloud Data Fusion.
  • Se requiere una instancia de Cloud Data Fusion, versión 6.8.0 o posterior, o de cualquier edición.
  • Se deben otorgar los roles necesarios a la cuenta de servicio asignada a la instancia de Cloud Data Fusion. Para obtener más información, consulta Cómo otorgar permiso de usuario de cuenta de servicio.
  • Debes usar una conexión de intercambio de tráfico entre tu VPC y la red de VPC compartida de Google.

Configura el sistema SAP BW

La fuente de lotes de SAP BW Open Hub usa un módulo de función remota (RFM), que debe instalarse en cada servidor SAP del que se extraen los datos. Este RFM se entrega como un transporte SAP.

Para configurar tu sistema SAP, sigue estos pasos:

  1. El usuario de Cloud Data Fusion debe descargar el archivo ZIP que contiene el transporte de SAP y proporcionarlo al administrador de SAP. Para obtener más información, consulta Configura Cloud Data Fusion.
  2. El administrador de SAP debe importar el transporte de SAP al sistema SAP y verificar los objetos creados. Para obtener más información, consulta Instala el transporte de SAP.
  3. Opcional: El usuario de SAP puede modificar los objetos de autorización estándar de SAP de la función entregada /GOOG/BWOH_CDF_AUTH según las políticas de seguridad de su organización.

Instala los archivos de transporte de SAP

Para diseñar y ejecutar canalizaciones de datos en Cloud Data Fusion, los componentes de SAP se entregan en archivos de transporte de SAP, que se archivan en un archivo ZIP. La descarga está disponible cuando implementas el complemento en Cloud Data Fusion Hub.

Descargar el archivo ZIP de transporte de SAP BW OH

En la siguiente tabla, se proporcionan los IDs de solicitud de transporte de SAP y los archivos asociados:

Transporte de SAP

ID de transporte Coarchivo Archivo de datos Temario
BW1K900054 K900054.BW1 R900054.BW1 Conector de Cloud Data Fusion versión 1.0 de BWOH
Módulos de función:
/GOOG/BWOH_GET_PC_LOG
/GOOG/BWOH_GET_PRO_CHA_DETAILS
/GOOG/BWOH_API_OHS_ETL_READ
/GOOG/BWOH_GET_PC_RUNS
/GOOG/BWOH_SET_LAST_RUN
/GOOG/BWOH_GET_PC_OHD_LIST
BW1K900055 K900055.BW1 R900055.BW1 Rol de autorización /GOOG/BWOH_CDF_AUTH

Para instalar el transporte de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

  1. Accede al sistema operativo de la instancia de SAP.
  2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
  3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
  4. Copia los archivos de datos en la carpeta DIR_TRANS/data.
  5. Configura el usuario y el grupo de datos, y copia en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte mediante una de las siguientes opciones:

Opción 1: Importar los archivos de solicitud de transporte con el sistema de administración de transporte de SAP
  1. Accede al sistema SAP como administrador de SAP.
  2. Ingresa el STMS de la transacción.
  3. Haz clic en Descripción general > Importaciones.
  4. En la columna Queue, haz doble clic en el SID actual.
  5. Haz clic en Adicionales > Otras solicitudes > Agregar.
  6. Selecciona el ID de solicitud de transporte y haz clic en Continuar.
  7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Solicitud > Importar.
  8. Ingresa el número de cliente.

  9. En la pestaña Options, selecciona Overwrite Originals y, luego, Ignore Invalid Component Version.

    Opcional: Selecciona Deja las solicitudes de transporte en la cola para importarlas más tarde. Esto hace que las solicitudes se vuelvan a importar en el orden correcto con la siguiente importación de todas las solicitudes. Esta opción es útil si tienes que realizar importaciones preliminares para solicitudes individuales.

  10. Haz clic en Continuar.

  11. Verifica que el módulo de función y las funciones de autorización se hayan importado correctamente mediante transacciones adecuadas, como SE80 y PFCG.

Opción 2: Importa los archivos de solicitud de transporte en el nivel del sistema operativo
  1. Accede al sistema SAP como administrador de SAP.

  2. Agrega las solicitudes adecuadas al búfer de importación:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por ejemplo: tp addtobuffer BW1K900054 DD1.

  3. Importa las solicitudes de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Reemplaza NNN por el número de cliente. Por ejemplo:

    tp import BW1K900054 DD1 client=100 U1238

  4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y PFCG.

Autorizaciones necesarias de SAP

Para ejecutar una canalización de datos en Cloud Data Fusion, necesitas un usuario de SAP. El usuario de SAP debe ser de los tipos Communications o Dialog. Para evitar el uso de recursos de diálogo de SAP, se recomienda el tipo Communications. El administrador de SAP puede crear usuarios con el código de transacción de SAP SU01.

Las autorizaciones de SAP son necesarias para configurar el conector para SAP. Los objetos de autorización de SAP específicos del conector se envían como parte de la solicitud de transporte. Importa el Transporte de la función de autorización como se describe en Instala el transporte de SAP para incorporar la función en tu sistema y generar la función a partir del código de transacción PFCG.

En el caso de los objetos de autorización de SAP estándar, la organización administra los permisos con su propio mecanismo de seguridad. Puedes mantener objetos de autorización basados en las políticas de seguridad de tu organización.

Crea una cadena de procesos (PC) y un proceso de transferencia de datos (DTP)

La creación de una cadena de procesos y un proceso de transferencia de datos requiere algunas habilidades adicionales y conocimientos previos.

Conceptos generales

Para crear o editar una PC y un DTP, usa SAP HANA Studio.

Habilidades que se requieren

  • Usaste transformaciones para definir el flujo de datos entre el objeto de origen y el de destino.
  • Conoces bien los conceptos básicos de BW y HANA, como los objetos DataStore (DSO), las transformaciones de datos, InfoCubes, la optimización de consultas, el modelado de HANA y las funciones de HANA Studio. Para obtener más información sobre estos conceptos, consulta los instructivos de SAP sobre BW y HANA.

Tipo de extracción

Existen dos modos de extracción de datos para un proceso de transferencia de datos: completo y delta.

  • Full: Selecciona todos los datos disponibles en la fuente según las condiciones del filtro mencionadas en la DTP. Si la fuente de datos es uno de los siguientes InfoProviders, solo estará disponible el modo de extracción completa:

    • InfoObjects
    • InfoSets
    • Objetos de DataStore para la actualización directa

  • Delta: A diferencia de InfoPackage, la transferencia delta con un DTP no requiere una inicialización explícita. Cuando se ejecuta un DTP con el modo de extracción delta por primera vez, todas las solicitudes existentes hasta el momento de extracción se recuperan de la fuente y, luego, delta se inicializa automáticamente.

    Las siguientes opciones están disponibles para una DTP con el modo de extracción Delta:

    • Solo obtén Delta una vez
    • Obtén todas las solicitudes de datos nuevas por solicitud
    • Recupera hasta que no haya más datos nuevos

Tamaño del paquete: Es la cantidad de registros de datos presentes en un paquete de datos individual. El valor predeterminado es 50,000.

Crea una cadena de procesos

Para crear una cadena de procesos (PC), usa la transacción RSPC en la GUI de SAP. Define un proceso de inicio y, luego, agrega los pasos del proceso y la DTP. Para obtener más información, consulta la documentación de SAP sobre cómo crear cadenas de procesos.

Hay varias opciones disponibles en HANA Studio para supervisar y administrar las PCs. Para obtener más información, consulta Operaciones de cadena de procesos de SAP BW/4HANA.

Crea un proceso de transferencia de datos con una cadena de procesos

Ve a la vista Planificación de la cadena de procesos que deseas usar para el proceso de transferencia de datos. En la vista Planning, puedes crear el DTP con HANA Studio. Si deseas obtener más información, consulta la documentación de SAP sobre cómo crear un proceso de transferencia de datos.

Para obtener más información sobre las opciones de configuración, consulta Todo sobre el proceso de transferencia de datos (DTP) – SAP BW 7.

Conexión RFC

Para notificar al sistema de devolución de llamada, como el complemento de fuente por lotes de SAP BW Open Hub, que los datos están disponibles, la cadena de procesos se debe actualizar para usar un destino RFC:

  1. En SM59, crea una conexión RFC de tipo Conexiones TCP/IP para notificar al sistema de destino desde BW una vez que se complete la carga de datos en IE.

  2. Asegúrate de que el ID de programa esté configurado en la conexión RFC. Para ello, haz doble clic en la conexión RFC. El ID de programa debe ser único para cada destino RFC a fin de evitar conflictos de objeto de escucha del tiempo de ejecución.

  3. Usar la conexión TCP/IP recién creada en la cadena de procesos para enviar una notificación a fin de que se complete un trabajo por lotes de Cloud Data Fusion El nombre de la cadena de procesos no distingue mayúsculas de minúsculas. Debe especificarse correctamente en mayúsculas en el proceso de integración de extremo a extremo.

Muestra los registros de las cadenas de procesos y los procesos de transferencia de datos

  1. Ve a Tcode (RSPC) y haz clic en Process Chains.

  2. Haz clic con el botón derecho en la cadena de procesos para la que deseas mostrar los registros y haz clic en Mostrar registros.

Configura el clúster de Dataproc cuando usas la cadena de procesos

Para habilitar la comunicación a través del servidor RFC, debes agregar las entradas de puerto de SAP Gateway en el archivo /etc/services en los nodos del clúster de Dataproc. Se recomienda usar un init action, la secuencia de comandos que se ejecutará cuando se inicialice el clúster. Para obtener más información, consulta Acciones de inicialización.

Crear un archivo de secuencia de comandos y guardarlo en un bucket de Cloud Storage En el siguiente ejemplo, se muestra el contenido del archivo de secuencia de comandos:

gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services

En el ejemplo anterior, ten en cuenta lo siguiente:

  • Las entradas tienen el formato sapgwxx 33xx/tcp, en el que XX es el número de instancia de SAP.

  • Se agregaron los puertos para las instancias de SAP de 00 a 04.

Realiza los siguientes pasos si usas un clúster efímero, persistente recién creado o persistente existente de Dataproc.

Clúster de Dataproc efímero

Si usas un clúster de Dataproc efímero, agrega la ruta de acceso de la secuencia de comandos init a las propiedades del clúster:

  1. En el supervisor de trabajos, desde la página de canalización en Cloud Data Fusion, haz clic en Configurar.
  2. Selecciona el perfil de Compute y haz clic en Personalizar.
  3. En Configuración avanzada, en el campo Acciones de inicialización, ingresa la ruta de acceso a la secuencia de comandos init.

Nuevo clúster de Dataproc persistente

Si usas un clúster de Dataproc persistente recién creado, utiliza la secuencia de comandos init en el comando de gcloud para crear el clúster. Por ejemplo:

gcloud dataproc clusters create cluster-name \
  --region=${REGION} \
  --initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
  ... other flags ...

Clúster de Dataproc persistente existente

Si usas un clúster persistente de Dataproc existente, sigue estos pasos:

Si el clúster ya se creó sin usar la secuencia de comandos init, agrega las entradas de forma manual en los nodos principal y trabajador del clúster de Dataproc.

  1. Conexión de SSH a la instancia principal y al nodo del clúster
  2. Accede al ID del usuario raíz.
  3. Navega a /etc/ y abre el archivo /etc/services en un editor de VI.
  4. Agrega la entrada sapgwxx 33xx/tcp. Reemplaza xx por tu número de instancia de SAP.
  5. Guarda el archivo /etc/services.

Configura Cloud Data Fusion

Asegúrate de que la comunicación esté habilitada entre la instancia de Cloud Data Fusion y el servidor de SAP. Para las instancias privadas, configura el intercambio de tráfico entre redes. Después de establecer el intercambio de tráfico entre redes con el proyecto en el que se alojan los sistemas SAP, no se necesita ninguna configuración adicional para conectarse a tu instancia de Cloud Data Fusion. El sistema SAP y la instancia de Cloud Data Fusion deben estar dentro del mismo proyecto.

Pasos para los usuarios de Cloud Data Fusion

  1. Ve a los detalles de la instancia:

    1. En Google Cloud Console, ve a la página de Cloud Data Fusion.

    2. Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.

      Ir a Instancias

  2. Comprueba que la instancia se haya actualizado a la versión 6.8.0 o posterior. Si la instancia está en una versión anterior, debes actualizarla.
  3. Abre la instancia. Cuando se abra la IU de Cloud Data Fusion, haz clic en Hub.
  4. Selecciona la pestaña SAP > SAP BW. Si la pestaña de SAP no está visible, consulta Soluciona problemas de integraciones de SAP.
  5. Haz clic en Implementar el complemento SAP BW. El complemento aparecerá en el menú Source de la página de Studio.

Pasos para el administrador de SAP y el administrador de Google Cloud

El administrador de SAP descarga los siguientes artefactos de JCo del sitio de asistencia de SAP y se los da al administrador de Google Cloud.

  • Una plataforma independiente (sapjco3.jar)
  • Un elemento dependiente de la plataforma (libsapjco3.so en Unix)

Para descargar los archivos, sigue estos pasos:

  1. Ve a la página Conectores de SAP.
  2. Haz clic en Conector Java de SAP/Herramientas y servicios. Puedes seleccionar vínculos específicos de cada plataforma para la descarga.

  3. Selecciona la plataforma en la que se ejecuta tu instancia de Cloud Data Fusion:

    1. Si usas imágenes estándar de Google Cloud para las VM en tu clúster, que son la configuración predeterminada de Cloud Data Fusion, selecciona Linux para procesadores compatibles con Intel de 64 bits x86.
    2. Si usas una imagen personalizada, selecciona la plataforma correspondiente.

  4. El administrador de Google Cloud debe copiar los archivos JCo en un bucket de Cloud Storage legible. Proporciona la ruta de acceso del bucket al usuario de Cloud Data Fusion para ingresarla en la propiedad del complemento correspondiente de Cloud Data Fusion: ruta de acceso de GCS de la biblioteca de SAP JCo. Consulta Cómo configurar el complemento.

  5. El administrador de Google Cloud debe otorgar acceso de lectura para los dos archivos a la cuenta de servicio de Cloud Data Fusion del entorno de diseño y a la cuenta de servicio de Dataproc para el entorno de ejecución. Para obtener más información, consulta Cuentas de servicio de Cloud Data Fusion.

Cómo configurar el complemento

El complemento SAP BW Open Hub Batch Source lee el contenido de una SAP DataSource.

Para filtrar los registros, puedes configurar las siguientes propiedades de la fuente de lotes de SAP BW Open Hub.

Los siguientes indicadores se usan para definir los campos:

  • (M): Indica que las macros son compatibles con el campo correspondiente
  • (O): Campo opcional

Etiqueta: Etiqueta del complemento en el lienzo.

Básico

En la siguiente lista de propiedades, (M) significa que la opción admite macros y que se pueden usar para administrar de forma centralizada las conexiones de SAP. Por ejemplo, puedes usar macros para las propiedades de conexión y establecer los valores en el tiempo de ejecución con los parámetros de entorno de ejecución o un complemento set de argumentos.

  • Reference Name: Es el nombre que se usa con el objetivo de identificar de forma única esta fuente para el linaje y la anotación de metadatos.

  • Usar conexión (botón de activación/desactivación): Indica si se debe usar una conexión existente (consulta Administrar conexiones). Si eliges usar una conexión existente, no tienes que proporcionar ningún detalle de conexión de SAP.

  • Connection (conexiones de navegación): Elige la conexión existente que deseas usar. También puedes usar la función macro ${conn(connection-name)}.

  • Cliente SAP (M): El cliente SAP que se usará. Por ejemplo, 100

  • Lenguaje de SAP (M): Idioma de inicio de sesión de SAP. Por ejemplo, EN

  • Tipo de conexión: Tipo de conexión de SAP: directa o con balanceo de cargas. Las conexiones de balanceo de cargas no son compatibles con la extracción basada en la cadena de procesos. Para obtener más información, consulta Detalles de la asistencia.

    Cuando seleccionas un tipo de conexión, cambian los campos disponibles.

    Para una conexión directa, están disponibles los siguientes campos:

    • SAP Application Server Host (M): El nombre del servidor SAP o la dirección IP.
    • Número de sistema de SAP (M): El número del sistema SAP. Por ejemplo, 00
    • SAP Router (M, O): La string del router.

    Para una conexión con balanceo de cargas, están disponibles los siguientes campos:

    • SAP Message Server Host (M): El nombre de host o la dirección IP del mensaje SAP.
    • SAP Message Server Service or Port Number (M): es el servicio o número de puerto del servidor de mensajes SAP. Por ejemplo, sapms02
    • SAP System ID (SID) (M): El ID del sistema SAP. Por ejemplo, N75
    • Nombre del grupo de inicio de sesión de SAP (M): El nombre del grupo de inicio de sesión de SAP. Por ejemplo, PUBLIC

  • Usar la cadena de procesos (M): este campo contiene dos opciones.

    Si habilitas la cadena de procesos con la opción Sí, se habilitan las siguientes propiedades:

    • Resolver automáticamente los errores de PC y DTP: Controla el comportamiento cuando se identifica una ejecución que falló anteriormente. Cuando se inhabilita, el complemento hace que la canalización falle con los errores relevantes. Cuando se habilita (opción predeterminada), el complemento verifica la cadena de procesos y el estado del proceso de transferencia de datos en SAP. Si se identifica alguno de los siguientes errores, el complemento intenta resolverlo automáticamente:

    • Data Transfer Process in error state: El complemento borra la solicitud anterior.

    • Cadena de procesos en estado rojo con el error previous request status has not been set: El complemento borra la solicitud de bloqueo después de obtener el ID de solicitud del registro de la cadena de procesos y, luego, intenta ejecutar la PC.

    • Tiempo de espera de la notificación del estado de la cadena del proceso (en minutos) (M, O): Espera el tiempo especificado, en minutos, para que la cadena de procesos complete la etapa de pruebas de los datos y notifique a la canalización para iniciar la extracción. Si especificas 0 o lo dejas en blanco, el valor se toma como 10 minutos, que es el valor predeterminado.

    • Process Chain (M): Es el nombre de la cadena de procesos de SAP. Por ejemplo, PC_RFC

    Si inhabilitas la cadena de procesos con la opción No, se habilitan las siguientes propiedades:

    • Open Hub Destination (M): Nombre del destino de Open Hub que se leerá.
    • ID de solicitud (M,O): ID de solicitud para el proceso de transferencia de datos ya ejecutado.

Credenciales

  • Nombre de usuario de inicio de sesión de SAP (M): Nombre de usuario de SAP Recomendado: Si el nombre de usuario de inicio de sesión de SAP cambia de forma periódica, usa una macro.
  • Contraseña de inicio de sesión de SAP (M): Contraseña de usuario de SAP. Recomendación: Para valores sensibles, como Contraseña de usuario, usa macros seguras.

Detalles de SAP JCo

  • ID del proyecto de GCP (M): El ID del proyecto de Google Cloud, que identifica un proyecto de manera única. Puedes encontrarlo en el panel de la consola de Google Cloud.
  • Ruta de acceso de GCS de la biblioteca SAP JCo (M): La ruta de acceso de Cloud Storage que contiene los archivos de la biblioteca SAP JCo subidos por el usuario.
  • Obtener esquema: Haz clic aquí si deseas que el complemento genere un esquema basado en los metadatos de SAP, con la asignación automática de los tipos de datos de SAP a los tipos de datos de Cloud Data Fusion correspondientes. La funcionalidad es la misma que la del botón Validar.

Para obtener más información sobre los certificados de cliente, consulta Usa certificados de cliente X.509 en SAP NetWeaver Application Server para ABAP.

Avanzado

  • Number of fracs to Generate (Cantidad de divisiones que se generarán) (M, O): La cantidad de divisiones se usa para particionar los datos de entrada. Más particiones aumentan el nivel de paralelismo, pero requieren más recursos y sobrecarga. En el caso de un sistema local de SAP, si no se especifica el valor en la IU, las divisiones representan el 50% de los procesos de trabajo de diálogo disponibles en SAP. De lo contrario, las divisiones se optimizan entre las especificadas por el usuario y el 50% de los procesos de trabajo disponibles.

    Recomendación: Deja la propiedad en blanco, a menos que conozcas la configuración de tu sistema SAP.

  • Propiedades adicionales de conexión de SAP (M, O): Establece propiedades adicionales de SAP JCo que anulen los valores predeterminados de SAP JCo. Por ejemplo, si configuras jco.destination.pool_capacity = 10, se anula la capacidad predeterminada del grupo de conexiones.

    En la siguiente tabla, se enumeran las propiedades SAP JCo compatibles:

    Propiedad Descripción
    jco.destination.peak_limit Cantidad máxima de conexiones activas que se pueden crear para un destino de forma simultánea.
    jco.destination.pool_capacity Cantidad máxima de conexiones inactivas que mantiene abiertas el destino. Un valor de 0 tiene el efecto de que no hay agrupamiento de conexiones, es decir, las conexiones se cerrarán después de cada solicitud.
    jco.destination.expiration_time Tiempo en ms posterior a que se puedan cerrar las conexiones que retiene el grupo interno.
    jco.destination.expiration_check_period Intervalo en ms con el que el subproceso del verificador de tiempo de espera comprueba el vencimiento de las conexiones del grupo.
    jco.destination.max_get_client_time Tiempo máximo en ms para esperar una conexión, si la aplicación asigna la cantidad máxima permitida de conexiones.

Comportamiento de los modos de extracción de datos

El modo de extracción de datos se controla a través de la configuración del Proceso de transferencia de datos. El comportamiento es diferente cuando se usa una cadena de procesos o cuando se usa un destino de Open Hub.

Cuando se utiliza una cadena de procesos

La configuración a nivel del proceso de transferencia de datos controla si se realiza una carga completa o delta. El ID de solicitud llega como una notificación de SAP al complemento. El complemento lee los datos de paquetes asociados con este ID de solicitud único.

Cuando se usa el destino de Open Hub sin ID de solicitud

Carga completa: Si ejecutas la canalización por primera vez, se obtienen todos los IDs de solicitud disponibles en la tabla de Open Hub. El complemento lee los datos de los paquetes asociados con estos IDs de solicitud.

Carga delta: Si se ejecuta la misma canalización por la próxima vez, se recuperan todos los IDs de solicitud delta disponibles, después del último ID de solicitud recuperado. El complemento lee los datos de los paquetes asociados con estos IDs de solicitud.

Cuando se usa el destino de Open Hub con el ID de solicitud

Carga completa: Cuando se ejecuta la canalización por primera vez, se obtienen todos los siguientes IDs de solicitud disponibles mayores que el ID de solicitud especificado. El complemento lee los datos del paquete asociados con estos IDs de solicitud.

Carga delta: Si se ejecuta la misma canalización por la próxima vez, se recuperan todos los IDs de solicitud delta disponibles, después del último ID de solicitud recuperado. El complemento lee los datos de los paquetes asociados con estos IDs de solicitud.

Asignación de tipos de datos

En la siguiente tabla, se muestra la asignación entre los tipos de datos usados en SAP BW y Cloud Data Fusion.

Tipo de datos BW Tipo de ABAP Descripción (SAP) Tipo de datos de Cloud Data Fusion
Numérico
INT1 b Número entero de 1 byte integer
INT2 s Número entero de 2 bytes integer
INT4 i Número entero de 4 bytes integer
INT8 8 Número entero de 8 bytes long
DIC p Número empaquetado en formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Número de punto flotante decimal 8 bytes IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Número de punto flotante decimal, 16 bytes, IEEE 754r decimal
FLTP f Número de punto flotante binario double
Regla
CARACTER
LCHR		 c Cadena de caracteres string
SSTRING
GEOM_EWKB		 string Cadena de caracteres string
STRING string CLOB de string de caracteres bytes
NUMC
ACCP		 n Texto numérico string
Byte
RAW
LRAW		 x Datos binarios bytes
STRING SIN PROCESAR xstring BLOB de cadenas de bytes bytes
fecha/hora
DATS d Fecha date
TIMS t Tiempo time
TIMESTAMP utcl TimeStamp
Utclong		 timestamp

Validación

Haz clic en Validar u Obtener esquema.

El complemento valida las propiedades y genera un esquema basado en los metadatos de SAP. Asigna automáticamente los tipos de datos de SAP a los tipos de datos de Cloud Data Fusion correspondientes.

Ejecuta una canalización de datos

  1. Después de implementar la canalización, haz clic en Configurar.
  2. Selecciona Recursos.
  3. Si es necesario, cambia la CPU del ejecutor y la memoria según el tamaño general de los datos y la cantidad de transformaciones usadas en la canalización.
  4. Haz clic en Guardar.
  5. Para iniciar la canalización de datos, haz clic en Ejecutar.

Optimiza el rendimiento

Cómo optimizar la configuración del complemento

Usa las siguientes propiedades para obtener un rendimiento óptimo cuando ejecutes la canalización:

  • Cantidad de divisiones que se generarán en las propiedades del complemento de Cloud Data Fusion: esto controla directamente el paralelismo en el lado de Cloud Data Fusion. El motor del entorno de ejecución crea la cantidad especificada de particiones y conexiones SAP mientras extrae los registros de la tabla. Se recomiendan los valores entre 8 y 16, pero puedes aumentar hasta 32 o 64 con la configuración adecuada del lado de SAP si asignas los recursos de memoria adecuados para los procesos de trabajo en SAP.

    Si el valor es 0 o se deja en blanco (recomendado), el sistema elige automáticamente un valor apropiado según la cantidad de procesos de trabajo de SAP disponibles, los registros que se extraerán y el tamaño del paquete.

  • Package Size en las propiedades del Proceso de transferencia de datos de BW: Controla la cantidad de registros de datos presentes en un paquete de datos individual. El valor predeterminado es 50,000. Aumentar este valor podría generar un mejor rendimiento, pero una mayor carga de recursos. Si ya usas valores más altos, disminúyelos para permitir una mejor paralelización de la extracción.

Configuración de recursos de Cloud Data Fusion

Recomendación: Usa 1 CPU y 4 GB de memoria por ejecutor. Este valor se aplica a cada proceso del ejecutor. Establece estos valores en el diálogo Configurar > Recursos.

Configuración del clúster de Dataproc

Recomendación: Asigna, como mínimo, un total de CPU entre los trabajadores, mayor que la cantidad de divisiones deseada. Consulta Configuración de complementos.

Por ejemplo, si tienes 16 fracciones, define 20 o más CPU en total, en todos los trabajadores. Hay una sobrecarga de 4 CPU que se usan para la coordinación.

Recomendado: Usa un clúster de Dataproc persistente para reducir el entorno de ejecución de la canalización de datos. Esto elimina el paso de aprovisionamiento, que puede tardar algunos minutos o más. Establece esto en la sección de configuración de Compute Engine.

Información sobre la asistencia

Versiones y productos de SAP compatibles

Fuentes admitidas:

  • SAP NW BW 7.5 y versiones posteriores
  • SAP BW4HANA 2.0 SP9 (para incluir la API de Open Hub Destination; las versiones anteriores de BW4HANA no son compatibles con la API de Open Hub Destination)

Compatibilidad con la conexión con balanceo de cargas de SAP (servidor de mensajes)

La conexión con balanceo de cargas de SAP (servidor de mensajes) es compatible con la extracción basada en el destino de Open Hub, en la que no se usa un servidor RFC.

La conexión con balanceo de cargas de SAP (servidor de mensajes) no es compatible con la extracción basada en cadenas de procesos. El motivo es una limitación de SAP cuando se proporciona una notificación de data ready al sistema cliente, lo que requiere registrar el servidor RFC (objeto de escucha de complementos) en cada servidor SAP en el entorno de BW, lo que aumenta la huella del conector y puede afectar el rendimiento de SAP y el uso de recursos. Para obtener más información, consulta la Nota de SAP 2572564 (se requiere el acceso a la asistencia de SAP para ver la información).

Modelos de implementación de SAP compatibles

El complemento se prueba con servidores SAP implementados en Google Cloud.

Objetos SAP compatibles

Fuentes de datos para el destino de Open Hub: InfoProviders (InfoObject, InfoCube, objeto de almacén de datos, objeto de almacén de datos avanzado, proveedor compuesto)

Procesa cadenas para ejecutar automáticamente el proceso de transferencia de datos en el destino de Open Hub.

Licencia separada para usar el servidor HTTP de Oracle para extraer datos de SAP

No necesitas una licencia aparte para usar Oracle HTTP Server (OHS) y extraer datos de SAP; sin embargo, consulta con tu representante de SAP tu acuerdo específico y caso de uso.

Capacidad de procesamiento esperada del complemento

Para un entorno configurado según los lineamientos de Cómo optimizar el rendimiento, el complemento puede extraer alrededor de 38 GB por hora. El rendimiento real puede variar con la carga del sistema de Cloud Data Fusion y SAP o el tráfico de red.

¿Qué sigue?