Fuente de lotes de SAP OData

En esta guía, se describe cómo implementar, configurar y ejecutar canalizaciones de datos que usan el complemento SAP OData.

Puedes usar SAP como fuente para la extracción de datos por lotes en Cloud Data Fusion mediante el Protocolo de datos abiertos (OData). El complemento SAP OData te ayuda a configurar y ejecutar transferencias de datos desde SAP OData Catalog Services sin ninguna programación.

Para obtener más información sobre los servicios y las fuentes de datos de SAP OData Catalog compatibles, consulta los detalles de asistencia. Para obtener más información sobre SAP en Google Cloud, consulta la Descripción general de SAP en Google Cloud.

Objetivos

• Configura el sistema SAP ERP (activa DataSources en SAP).
• Implementa el complemento en tu entorno de Cloud Data Fusion.
• Descarga el transporte de SAP desde Cloud Data Fusion y, luego, instálalo en SAP.

• Usa Cloud Data Fusion y SAP OData para crear canalizaciones de datos a fin de integrar datos de SAP.

Antes de comenzar

Para usar este complemento, necesitarás conocimientos de dominio en las siguientes áreas:

• Compila canalizaciones en Cloud Data Fusion
• Administración de acceso con IAM
• Configurar sistemas de SAP Cloud y de planificación de recursos empresariales (ERP) local

Funciones de usuario

Las tareas de esta página las realizan personas con las siguientes funciones en Google Cloud o en su sistema SAP:

Tipo de usuario	Descripción
Administrador de Google Cloud	Los usuarios con esta función son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion	Los usuarios a los que se les asigna esta función están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, la función de visualizador de Data Fusion (roles/datafusion.viewer). Si usas el control de acceso basado en funciones, es posible que necesites funciones adicionales.
Administrador de SAP	Los usuarios con esta función son administradores del sistema SAP. Tienen acceso para descargar software del sitio de servicio de SAP. No es una función de IAM.
Usuario de SAP	Los usuarios a los que se les asignó esta función están autorizados para conectarse a un sistema SAP. No es una función de IAM.

Requisitos para la extracción de datos OData

1. El servicio de OData Catalog se debe activar en el sistema SAP.

2. Los datos se deben propagar en el servicio OData.

Requisitos para tu sistema SAP

• En SAP NetWeaver 7.02 a SAP NetWeaver versión 7.31, las funciones OData y SAP Gateway se entregan con los siguientes componentes de software de SAP:

  • IW_FND
  • GW_CORE
  • IW_BEP

• En la versión 7.40 y posteriores de SAP NetWeaver, todas las funcionalidades están disponibles en el componente SAP_GWFND, que debe estar disponible en SAP NetWeaver.

Opcional: Instala los archivos de transporte de SAP

Los componentes de SAP necesarios para las llamadas de balanceo de cargas a SAP se entregan como archivos de transporte de SAP que se archivan como un archivo ZIP (una solicitud de transporte que consta de un coarchivo y un archivo de datos). Puedes usar este paso para limitar varias llamadas paralelas a SAP, según los procesos de trabajo disponibles en SAP.

La descarga del archivo ZIP está disponible cuando implementas el complemento en Cloud Data Fusion Hub.

Descargar el archivo ZIP de transporte de ODATA de SAP

En la siguiente tabla, se proporcionan los IDs de solicitud de transporte de SAP y los archivos asociados:

ID de transporte	Coarchivo	Archivo de datos	Temario
ED1K900360	K900360.ED1	R900360.ED1	Módulos de funciones RFC expuestos a través de OData

Cuando importas los archivos de transporte a SAP, se crean los siguientes proyectos de OData de SAP:

• Proyectos de OData

  • /GOOG/GET_STATISTIC
  • /GOOG/TH_WPINFO

• Nodo del servicio de IIF: GOOG

Para instalar el transporte de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

1. Accede al sistema operativo de la instancia de SAP.
2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
4. Copia los archivos de datos en la carpeta DIR_TRANS/data.
5. Configura el usuario y el grupo de datos, y copia en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte mediante una de las siguientes opciones:

Opción 1: Importar los archivos de solicitud de transporte con el sistema de administración de transporte de SAP

1. Accede al sistema SAP como administrador de SAP.
2. Ingresa el STMS de la transacción.
3. Haz clic en Resumen > Importaciones.
4. En la columna Cola, haz doble clic en el SID actual.
5. Haz clic en Contenido adicional > Otras solicitudes > Agregar.
6. Selecciona el ID de solicitud de transporte y haz clic en Continuar.
7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Request > Import.
8. Ingresa el número de cliente.

9. En la pestaña Opciones, selecciona Reemplazar los originales y, luego, Ignorar la versión de componente no válido (si está disponible).

   Si quieres programar una reimportación de los transportes para más adelante, selecciona Dejar las solicitudes de transporte en cola para una importación posterior y Volver a importar las solicitudes de transporte (opcional). Esto es útil para las actualizaciones del sistema SAP y los restablecimientos de copias de seguridad.

10. Haz clic en Continuar.

11. Para verificar la importación, usa cualquier transacción, como SE80 y SU01.

Opción 2: Importa los archivos de solicitud de transporte a nivel del sistema operativo

1. Accede al sistema SAP como administrador del sistema SAP.

2. Ejecuta el siguiente comando para agregar las solicitudes adecuadas al búfer de importación:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Por ejemplo: tp addtobuffer IB1K903958 DD1.

3. Importa las solicitudes de transporte mediante la ejecución del siguiente comando:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Reemplaza NNN por el número de cliente. Por ejemplo: tp import IB1K903958 DD1 client=800 U1238

   Nota: U1238 indica que se deben configurar las opciones descritas en los pasos 9 a 10 de la opción 1. Los números indican el número de pedido de la opción correspondiente en la GUI de SAP, que puede variar según el sistema. El administrador de SAP debe ajustar los números.

4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y SU01.

Obtén una lista de columnas filtrables para un servicio de catálogo de SAP

Solo se pueden usar algunas columnas de DataSource para las condiciones de filtro (esta es una limitación de SAP por diseño).

Si deseas obtener una lista de columnas filtrables para un servicio de catálogo de SAP, sigue estos pasos:

1. Accede al sistema SAP.
2. Ir al código t-código SEGW

3. Ingresa el nombre del proyecto OData, que es una subcadena del nombre del servicio. Por ejemplo:

   • Nombre del servicio: MM_PUR_POITEMS_MONI_SRV
   • Nombre del proyecto: MM_PUR_POITEMS_MONI

4. Haz clic en Ingresar.

5. Ve a la entidad que deseas filtrar y selecciona Propiedades.

   Puedes usar los campos que se muestran en Propiedades como filtros. Las operaciones admitidas son Equal y Between (Rango).

   

Para obtener una lista de operadores compatibles con el lenguaje de expresión, consulta la documentación de código abierto de OData: Convenciones del URI (OData versión 2.0).

Ejemplo de URI con filtros:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configura el sistema SAP ERP

El administrador de SAP realiza las tareas de esta sección.

El complemento de SAP OData usa un servicio OData que se activa en cada servidor SAP del que se extraen los datos. Este servicio OData puede ser un estándar proporcionado por SAP o un servicio OData personalizado desarrollado en tu sistema SAP.

Paso 1: Instala la puerta de enlace de SAP 2.0

El administrador de SAP (Basis) debe verificar que los componentes de SAP Gateway 2.0 estén disponibles en el sistema de origen de SAP, según la versión de NetWeaver. Para obtener más información sobre la instalación de SAP Gateway 2.0, accede a SAP ONE Support Launchpad y consulta la Nota 1569624 (se requiere acceso) .

Paso 2: Activa el servicio OData

Activa el servicio OData requerido en el sistema de origen. Para obtener más información, consulta Servidor de frontend: activa servicios de OData.

Paso 3: Crea un rol de autorización

Para conectarte a DataSource, crea una función de autorización con las autorizaciones necesarias en SAP y, luego, otórgale al usuario de SAP.

Para crear el rol de autorización en SAP, sigue estos pasos:

1. En la GUI de SAP, ingresa el código de transacción PFCG para abrir la ventana Mantenimiento de roles.

2. En el campo Rol, ingresa un nombre para el rol.

   Por ejemplo: ZODATA_AUTH.

3. Haz clic en Rol único.

   Se abre la ventana Crear roles.

4. En el campo Descripción, ingresa una descripción y haz clic en Guardar.

   Por ejemplo: Authorizations for SAP OData plugin.

5. Haz clic en la pestaña Autorizaciones. El título de la ventana cambiará a Cambiar funciones.

6. En Edit Authorization Data and Generate Profiles, haz clic en Cambiar datos de autorización.

   Se abrirá la ventana Elegir plantilla.

7. Haz clic en No seleccionar plantillas.

   Se abrirá la ventana Cambiar rol: autorizaciones.

8. Haz clic en Manualmente.

9. Proporciona las autorizaciones que se muestran en la siguiente tabla de autorización de SAP.

10. Haz clic en Guardar.

11. Para activar el rol de autorización, haz clic en el ícono Generar.

Autorizaciones de SAP

Clase de objeto	Texto de la clase de objeto	Objeto de autorización	Texto de objeto de autorización	Autorización	Texto	Valor
AAAB	Objetos de autorización entre aplicaciones	S_SERVICE	Verificar al inicio de los servicios externos	SRV_NAME	Nombre del programa, de la transacción o del módulo de la función	*
AAAB	Objetos de autorización entre aplicaciones	S_SERVICE	Verificar al inicio de los servicios externos	SRV_TYPE	Tipo de marca de verificación y valores predeterminados de autorización	HT
FI	Contabilidad financiera	F_UNI_HIER	Acceso universal a la jerarquía	ACTVT	Actividad	03
FI	Contabilidad financiera	F_UNI_HIER	Acceso universal a la jerarquía	TIPO DE RITMO	Tipo de jerarquía	*
FI	Contabilidad financiera	F_UNI_HIER	Acceso universal a la jerarquía	IDENTIFICADORES	ID de jerarquía	*

Para diseñar y ejecutar una canalización de datos en Cloud Data Fusion (como el usuario de Cloud Data Fusion), necesitas credenciales de usuario de SAP (nombre de usuario y contraseña) para configurar el complemento a fin de que se conecte a DataSource.

El usuario de SAP debe ser del tipo Communications o Dialog. Para evitar el uso de recursos de diálogo de SAP, se recomienda el tipo Communications. Los usuarios se pueden crear con el código de transacción SU01 de SAP.

Paso 4: Protege la conexión (opcional)

Puedes proteger la comunicación a través de la red entre tu instancia privada de Cloud Data Fusion y SAP.

Nota: Se requiere un certificado X.509 para esta tarea.

Para asegurar la conexión, sigue estos pasos:

1. El administrador de SAP debe generar un certificado X509. Para generar el certificado, consulta Crea un PSE del servidor SSL.
2. El administrador de Google Cloud debe copiar el archivo X509 en un bucket de Cloud Storage legible en el mismo proyecto que la instancia de Cloud Data Fusion y proporcionar la ruta de acceso del bucket al usuario de Cloud Data Fusion, que la ingresará cuando configure el complemento.
3. El administrador de Google Cloud debe otorgar acceso de lectura para el archivo X509 al usuario de Cloud Data Fusion que diseña y ejecuta canalizaciones.

Paso 5: Crea servicios de OData personalizados (opcional)

Puedes personalizar la forma en que se extraen los datos si creas servicios de OData personalizados en SAP:

• Si quieres crear servicios OData personalizados, consulta Creación de servicios de OData para principiantes.
• Para crear servicios de OData personalizados con vistas de servicios de datos principales (CDS), consulta Cómo crear un servicio OData y cómo exponer vistas de CDS como un servicio OData.
• Cualquier servicio OData personalizado debe admitir las consultas $top, $skip y $count. Estas consultas permiten que el complemento particiona los datos para la extracción secuencial y paralela. Si se usan, también se deben admitir las consultas $filter, $expand o $select.

Configura Cloud Data Fusion

El usuario de Cloud Data Fusion realiza las tareas de esta sección.

Asegúrate de que esté habilitada la comunicación entre la instancia de Cloud Data Fusion y el servidor de SAP. Para las instancias privadas, configura el intercambio de tráfico entre redes. Después de establecer el intercambio de tráfico entre redes con el proyecto en el que se alojan los sistemas SAP, no se necesita ninguna configuración adicional para conectarse a tu instancia de Cloud Data Fusion. El sistema SAP y la instancia de Cloud Data Fusion deben estar dentro del mismo proyecto.

Paso 1: Configura tu entorno de Cloud Data Fusion

Para configurar tu entorno de Cloud Data Fusion para el complemento, sigue estos pasos:

1. Ve a los detalles de la instancia:

   1. En Google Cloud Console, ve a la página de Cloud Data Fusion.

   2. Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.

      Ir a Instancias

2. Comprueba que la instancia se haya actualizado a la versión 6.4.0 o posterior. Si la instancia está en una versión anterior, debes actualizarla.

3. Haz clic en Ver instancia. Cuando se abra la IU de Cloud Data Fusion, haz clic en Hub.

4. Selecciona la pestaña SAP > SAP OData.

   Si la pestaña de SAP no está visible, consulta Soluciona problemas de integraciones de SAP.

5. Haz clic en Deploy SAP OData Plugin.

   El complemento ahora aparecerá en el menú Source de la página de Studio.

   

Paso 2: Configura el complemento

El complemento SAP OData lee el contenido de una SAP DataSource.

Para filtrar los registros, puedes configurar las siguientes propiedades en la página SAP OData Properties.

Nombre de la propiedad	Descripción
Básico
Nombre de referencia	Nombre que se usa con el fin de identificar de forma única esta fuente para el linaje, la anotación de metadatos, etcétera.
URL de base de datos de SAP de SAP	URL base de OData de la puerta de enlace de SAP (usa la ruta de URL completa, similar a https://ADDRESS:PORT/sap/opu/odata/sap/).
Versión de OData	Versión de SAP OData compatible.
Nombre del servicio	Nombre del servicio de SAP OData del que deseas extraer una entidad.
Nombre de la entidad	Nombre de la entidad que se está extrayendo, como Results. Puedes usar un prefijo, como C_PurchaseOrderItemMoni/Results. Este campo admite los parámetros Category y Entity. Ejemplos: Un parámetro para la categoría C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results Un parámetro para Entidad: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD') Un parámetro para Category y Entity: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Botón Obtener esquema	Genera un esquema basado en los metadatos de SAP, con la asignación automática de los tipos de datos de SAP a los tipos de datos de Cloud Data Fusion correspondientes (la misma funcionalidad que el botón Validar).
Credenciales^*
Tipo de SAP	Básica (mediante nombre de usuario y contraseña).
Nombre de usuario de inicio de sesión de SAP	Nombre de usuario de SAP Recomendado: Si el nombre de usuario de inicio de sesión de SAP cambia de forma periódica, usa una macro.
Contraseña de inicio de sesión de SAP	Contraseña de usuario de SAP Recomendado: Usa macros seguras para valores sensibles, como contraseñas.
Certificado de cliente de SAP X.509 (consulta Usa certificados de cliente X.509 en SAP NetWeaver Application Server para ABAP.
ID del proyecto de GCP	Un identificador único a nivel global para tu proyecto. Este campo es obligatorio si el campo Ruta de acceso de Cloud Storage del certificado X.509 no contiene un valor de macro.
Ruta de acceso de GCS	La ruta de acceso del bucket de Cloud Storage que contiene el certificado X.509 subido por el usuario, que corresponde al servidor de aplicaciones de SAP para llamadas seguras basadas en tus requisitos (consulta el paso Protege la conexión).
Frase de contraseña	Frase de contraseña correspondiente al certificado X.509 proporcionado.
Avanzado
Opciones de filtro	Indica el valor que debe leerse un campo. Usa esta condición de filtro para restringir el volumen de datos de salida. Por ejemplo: "Price Gt 200" selecciona los registros con un valor de campo "Price" mayor que "200". (Consulta Obtén una lista de columnas filtrables para un servicio de catálogo de SAP).
Selecciona campos	Los campos que se conservarán en los datos extraídos (por ejemplo: Categoría, Precio, Nombre, Proveedor/Dirección).
Expandir campos	Lista de campos complejos que se expandirán en los datos de salida extraídos (por ejemplo: Productos/Proveedores).
Cantidad de filas que se omitirán	La cantidad total de filas que se omitirán (por ejemplo: 10).
Cantidad de filas para recuperar	Cantidad total de filas que se extraerán.
Cantidad de divisiones que se generarán	La cantidad de divisiones que se usan para particionar los datos de entrada. Una mayor cantidad de particiones aumentan el nivel de paralelismo, pero requieren más recursos y sobrecarga. Si se deja en blanco, el complemento elegirá un valor óptimo (recomendado).
Tamaño del lote	Cantidad de filas para recuperar en cada llamada de red a SAP. Un tamaño pequeño hace que las llamadas de red frecuentes repitan la sobrecarga asociada. Un tamaño grande puede ralentizar la recuperación de datos y causar un uso excesivo de recursos en SAP. Si el valor se configura como 0, el valor predeterminado es 2500 y el límite de filas para recuperar en cada lote es 5000.

^* Las macros son compatibles con las propiedades de las credenciales. Puedes usarlos para administrar de forma centralizada tus conexiones de SAP. Por ejemplo, puedes configurar valores en el tiempo de ejecución con los parámetros de entorno de ejecución o un complemento método set de argumentos.

Tipos de OData compatibles

En la siguiente tabla, se muestra la asignación entre los tipos de datos OData v2 que se usan en las aplicaciones de SAP y los tipos de datos de Cloud Data Fusion.

Tipo de OData	Descripción (SAP)	Tipo de datos de Cloud Data Fusion
Numérico
SByte	Valor entero de 8 bits con firma	int
Byte	Valor entero de 8 bits sin signo	int
Int16	Valor de número entero de 16 bits firmado	int
Int32	Valor entero de 32 bits firmado	int
Int64	Valor entero de 64 bits firmado con el carácter “L” Ejemplos: 64L, -352L	long
Único	Número de punto flotante con precisión de 7 dígitos que puede representar valores con un rango aproximado de ± 1.18e a -38 a ± 3.40e +38, unido con el carácter "f" Ejemplo: 2.0f	float
Double	Número de punto flotante con precisión de 15 dígitos que puede representar valores con rangos aproximados de ± 2.23e a -308 a ± 1.79e +308, unido con el carácter "d" Ejemplos: 1E+10d, 2.029d, 2.0d	double
Decimal	Valores numéricos con precisión fija y escala que describen un valor numérico que va desde negativo 10^255 + 1 hasta positivo 10^255 -1, agregado al carácter “M” o “m” Ejemplo: 2.345M	decimal
Regla
Guía	Un valor de identificador único de 16 bytes (128 bits) que comienza con el carácter: "guid" Ejemplo: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'	string
String	Datos de caracteres de longitud fija o variable codificados en UTF-8	string
Byte
Clases binarias	Datos binarios fijos o de longitud variable, que comienzan con "X" o "binario" (ambos distinguen mayúsculas de minúsculas) Ejemplo: X'23AB', binary'23ABFF'	bytes
Lógicos
Booleano	Concepto matemático de lógica de valores binarios	boolean
Fecha/hora
Fecha/hora	Fecha y hora con valores que van desde las 12:00:00 a.m. del 1 de enero de 1753 hasta las 11:59:59 p.m. del 31 de diciembre de 9999	timestamp
Tiempo	Hora del día con valores que van de 0:00:00.x a 23:59:59.y, en la que “x” e “y” dependen de la precisión	time
DateTimeOffset	Fecha y hora como un desplazamiento, en minutos desde GMT, con valores que van desde las 12:00:00 a.m. del 1 de enero de 1753 hasta las 11:59:59 p.m. del 31 de diciembre de 9999	timestamp
Complejidad
Propiedades de navegación y no de navegación (multiplicidad = *)	Colecciones de tipo simple, con multiplicidad de uno a varios.	array, string, int, etc.
Propiedades (multiplicidad = 0.1)	Referencias a otros tipos complejos con multiplicidad de uno a uno	record

Validación

Haz clic en Validar en la parte superior derecha o en Obtener esquema.

El complemento valida las propiedades y genera un esquema basado en los metadatos de SAP. Asigna automáticamente los tipos de datos de SAP a los tipos de datos correspondientes de Cloud Data Fusion.

Ejecuta una canalización de datos

1. Después de implementar la canalización, haz clic en Configurar, en el panel superior central.
2. Selecciona Recursos.
3. Si es necesario, cambia la CPU del ejecutor y la memoria según el tamaño general de los datos y la cantidad de transformaciones usadas en la canalización.
4. Haz clic en Guardar.
5. Para iniciar la canalización de datos, haz clic en Ejecutar.

Rendimiento

El complemento usa las capacidades de paralelización de Cloud Data Fusion. Los siguientes lineamientos pueden ayudarte a configurar el entorno de ejecución de modo que proporciones recursos suficientes al motor del entorno de ejecución para lograr el grado de paralelismo y rendimiento previstos.

Nota: En el entorno de ejecución, el complemento lee la cantidad de procesos de trabajo de SAP disponibles y la memoria asignada por proceso de trabajo de SAP para ajustar automáticamente la Cantidad de divisiones y el Tamaño del lote si no especificaste estos valores.

Cómo optimizar la configuración del complemento

Recomendación: A menos que estés familiarizado con la configuración de memoria del sistema SAP, deja en blanco Cantidad de divisiones que se generarán y Tamaño del lote (sin especificar).

Para obtener un mejor rendimiento cuando ejecutas la canalización, usa la siguiente configuración:

• Cantidad de divisiones que se generarán: Se recomiendan valores entre 8 y 16. Sin embargo, pueden aumentar a 32, o incluso 64, con las configuraciones adecuadas del lado de SAP (asignando los recursos de memoria apropiados para los procesos de trabajo en SAP). Esta configuración mejora el paralelismo del lado de Cloud Data Fusion. El motor del entorno de ejecución crea la cantidad especificada de particiones (y conexiones SAP) mientras extrae los registros.

  • Si el servicio de configuración (que viene con el complemento cuando importas el archivo de transporte SAP) está disponible, el complemento usa la configuración predeterminada del sistema SAP de manera predeterminada. Las divisiones representan el 50% de los procesos de trabajo de diálogo disponibles en SAP. Nota: El servicio de configuración solo puede importarse desde sistemas S4HANA.

  • Si el servicio de configuración no está disponible, el valor predeterminado es divisiones de 7.

  • En cualquier caso, si especificas un valor diferente, el valor que proporciones prevalecerá sobre el valor de división predeterminado,excepto que esté limitado por los procesos de diálogo disponibles en SAP, menos dos divisiones.

  • Si la cantidad de registros para extraer es menor que 2500, la cantidad de divisiones es 1.

• Tamaño del lote: Este es el recuento de registros para recuperar en cada llamada de red a SAP. Un tamaño del lote más pequeño provoca llamadas de red frecuentes y repite la sobrecarga asociada. De forma predeterminada, el recuento mínimo es 1000 y el máximo es 50000.

Para obtener más información, consulta Límites de entidades OData.

Configuración de recursos de Cloud Data Fusion

Recomendación: Usa 1 CPU y 4 GB de memoria por ejecutor (este valor se aplica a cada proceso del ejecutor). Configúralos en el diálogo Configure > Resources.

Configuración del clúster de Dataproc

Recomendación: Como mínimo, asigna un total de CPU (entre trabajadores) mayor que la cantidad de divisiones prevista (consulta Configuración de complementos).

Cada trabajador debe tener 6.5 GB o más de memoria asignada por CPU en la configuración de Dataproc (esto se traduce a 4 GB o más disponibles por ejecutor de Cloud Data Fusion). Otras opciones se pueden mantener con los valores predeterminados.

Recomendación: Usa un clúster de Dataproc persistente para reducir el entorno de ejecución de la canalización de datos (esto elimina el paso de aprovisionamiento, que puede tardar algunos minutos o más). Establece esto en la sección de configuración de Compute Engine.

Parámetros de configuración y capacidad de procesamiento de muestra

Configuraciones de prueba y desarrollo de muestra

• Clúster de Dataproc con 8 trabajadores, cada uno con 4 CPUs y 26 GB de memoria Genera hasta 28 divisiones.
• Clúster de Dataproc con 2 trabajadores, cada uno con 8 CPUs y 52 GB de memoria Genera hasta 12 divisiones.

Parámetros de configuración de producción y capacidad de procesamiento de muestra

• Clúster de Dataproc con 8 trabajadores, cada uno con 8 CPUs y 32 GB de memoria Genera hasta 32 divisiones (la mitad de las CPU disponibles).
• Clúster de Dataproc con 16 trabajadores, cada uno con 8 CPUs y 32 GB de memoria Genera hasta 64 divisiones (la mitad de las CPU disponibles).

Capacidad de procesamiento de muestra para un sistema de origen de producción SAP S4HANA 1909

La siguiente tabla tiene una capacidad de procesamiento de muestra. La capacidad de procesamiento que se muestra no tiene opciones de filtro, a menos que se especifique lo contrario. Cuando se usan opciones de filtro, se reduce la capacidad de procesamiento.

Tamaño del lote	Tramos	Servicio OData	Total de filas	Filas extraídas	Capacidad de procesamiento (filas por segundo)
1000	4	ZACDOCA_CDS	5.37 M	5.37 M	1069
2,500	10	ZACDOCA_CDS	5.37 M	5.37 M	3384
5000	8	ZACDOCA_CDS	5.37 M	5.37 M	4630
5000	9	ZACDOCA_CDS	5.37 M	5.37 M	4817

Capacidad de procesamiento de muestra para un sistema de origen de producción en la nube de SAP S4HANA

Tamaño del lote	Tramos	Servicio OData	Total de filas	Filas extraídas	Capacidad de procesamiento (GB/hora)
2,500	40	TEST_04_UOM_ODATA_CDS/	201 M	10 M	25,48
5000	50	TEST_04_UOM_ODATA_CDS/	201 M	10 M	26,78

Información sobre la asistencia

Versiones y productos de SAP compatibles

• Las fuentes admitidas incluyen SAP S4/HANA 1909 y versiones posteriores, S4/HANA en la nube de SAP y cualquier aplicación de SAP capaz de exponer OData Services.

• El archivo de transporte que contiene el servicio OData personalizado para el balanceo de cargas de las llamadas a SAP debe importarse en S4/HANA 1909 y versiones posteriores. El servicio ayuda a calcular la cantidad de divisiones (particiones de datos) que el complemento puede leer en paralelo (consulta la cantidad de divisiones).

• Se admite la versión 2 de OData.

• El complemento se probó con los servidores SAP S/4HANA implementados en Google Cloud.

Los servicios de SAP OData Catalog son compatibles con la extracción

El complemento admite los siguientes tipos de DataSource:

• Datos de transacciones
• Vistas de CDS expuestas a través de OData

• Datos maestros

  • Atributos
  • Textos
  • Jerarquías

Nota: Las APIs de OData operativas no son compatibles con la extracción (por ejemplo, interfaces para la creación de órdenes de compra o órdenes de venta).

Notas de SAP

No se requieren notas de SAP antes de la extracción, pero el sistema SAP debe tener disponible la puerta de enlace de SAP. Para obtener más información, consulta la nota 1560585 (este sitio externo requiere un acceso a SAP).

Límites en el volumen de datos o en el ancho del registro

No hay un límite definido para el volumen de datos extraídos. Probamos hasta 6 millones de filas extraídas en una llamada, con un ancho de registro de 1 KB. Para SAP S4/HANA en la nube, realizamos pruebas con hasta 10 millones de filas extraídas en una llamada, con un ancho de registro de 1 KB.

Capacidad de procesamiento esperada del complemento

Para un entorno configurado según los lineamientos de la sección Rendimiento, el complemento puede extraer alrededor de 38 GB por hora. El rendimiento real puede variar con las cargas del sistema de Cloud Data Fusion y SAP o el tráfico de red.

Extracción delta (datos modificados)

No se admite la extracción delta.

Situaciones de error

En el entorno de ejecución, el complemento escribe entradas de registro en el registro de canalización de datos de Cloud Data Fusion. Estas entradas tienen el prefijo CDF_SAP para facilitar su identificación.

Nota: Haz clic en Registros avanzados para ver todos los mensajes registrados en Cloud Data Fusion.

En el momento del diseño, cuando validas la configuración del complemento, los mensajes se muestran en la pestaña Properties y se destacan en rojo.

En la siguiente tabla, se enumeran algunos mensajes de error comunes (el texto de se reemplazará por valores reales en el tiempo de ejecución):

ID del mensaje	Mensaje	Acción recomendada
Ninguna	Propiedad requerida "" para el tipo de conexión "".	Ingresa un valor real o una macro variable.
Ninguna	El valor para la propiedad "" no es válido.	Ingresa un número entero no negativo (0 o superior, sin un decimal) o una variable macro.
CDF_SAP_ODATA_01505	No se pudo preparar el esquema de salida de Cloud Data Fusion. Verifica el valor de las macros de entorno de ejecución proporcionados.	Asegúrate de que los valores de la macro proporcionados sean correctos.
N/A	Falta la certificación "<UI input in GCS Path>" con certificación de SAP X509. Asegúrate de que el certificado X509 requerido esté subido al bucket de Google Cloud Storage “<GCS bucket name>” que especificaste.	Asegúrate de que la ruta de acceso de Cloud Storage proporcionada sea correcta.
CDF_SAP_ODATA_01532	Código de error genérico relacionado con problemas de conectividad de SAP OData No se pudo llamar con el servicio SAP OData. Causa raíz: <Mensaje de causa raíz del servicio de SAP OData>	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.
CDF_SAP_ODATA_01534	Código de error genérico relacionado con el error del servicio de SAP OData. No se pudo validar el servicio. Causa raíz: Mensaje de causa raíz del servicio AP OData>	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.
CDF_SAP_ODATA_01503	No se pudo recuperar el recuento total de registros disponible de <SAP OData service instance name>. Causa raíz: <SAP Odata service root cause message>	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.
CDF_SAP_ODATA_01506	No se encontraron registros para extraer en <nombre de la entidad de servicio de SAP OData>. Asegúrate de que la entidad proporcionada contenga registros.	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.
CDF_SAP_ODATA_01537	No se pudieron procesar los registros de <nombre de la entidad de servicio de SAP OData>. Causa raíz: <mensaje de causa raíz del servicio de SAP OData>.	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.
CDF_SAP_ODATA_01536	No se pudieron extraer los registros de <nombre de la entidad de servicio de SAP OData>. Causa raíz: <mensaje de causa raíz del servicio de SAP OData>.	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.
CDF_SAP_ODATA_01504	No se pudo generar la string de metadatos codificada para el servicio OData especificado <nombre del servicio de SAP OData>. Causa raíz: mensaje de causa raíz del servicio de SAP OData>.	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.
CDF_SAP_ODATA_01533	No se pudieron decodificar los metadatos de la string de metadatos codificada proporcionada para el servicio <SAP OData service name>. Causa raíz: <SAP OData service root cause message>	Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.

¿Qué sigue?

• Obtén más información sobre Cloud Data Fusion.
• Obtén más información sobre SAP en Google Cloud.