Fuente por lotes de SAP OData

En esta guía, se describe cómo implementar, configurar y ejecutar canalizaciones de datos que usan el complemento SAP OData.

Puedes usar SAP como fuente para la extracción de datos por lotes en Cloud Data Fusion con el Protocolo de datos abiertos (OData). El complemento SAP OData te ayuda a configurar y ejecutar datos. de servicios de SAP OData Catalog sin programación.

Para obtener más información sobre los servicios compatibles de SAP OData Catalog y DataSources, consulta los detalles de asistencia. Para obtener más información sobre SAP en Google Cloud, consulta la Descripción general de SAP en Google Cloud.

Objetivos

• Configura el sistema SAP ERP (activa DataSources en SAP).
• Implementa el complemento en tu entorno de Cloud Data Fusion.
• Descarga el transporte de SAP desde Cloud Data Fusion y, luego, instálalo en SAP.

• Usa Cloud Data Fusion y SAP OData para crear canalizaciones de datos para integrar datos de SAP.

Antes de comenzar

Para usar este complemento, necesitarás conocimientos de dominio en las siguientes áreas:

• Compila canalizaciones en Cloud Data Fusion
• Administración de acceso con IAM
• Configurar sistemas de SAP Cloud y de planificación de recursos empresariales (ERP) local

Funciones de usuario

Las tareas de esta página las realizan personas con las siguientes funciones en Google Cloud o en su sistema SAP:

Tipo de usuario	Descripción
Administrador de Google Cloud	Los usuarios con esta función son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion	Los usuarios a los que se les asigna esta función están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, la función de visualizador de Data Fusion (roles/datafusion.viewer). Si usas el control de acceso basado en funciones, es posible que necesites funciones adicionales.
Administrador de SAP	Los usuarios con esta función son administradores del sistema SAP. Tienen acceso para descargar software del sitio de servicio de SAP. No es una función de IAM.
Usuario de SAP	Los usuarios a los que se les asignó esta función están autorizados para conectarse a un sistema SAP. No es una función de IAM.

Requisitos previos para la extracción de OData

1. El servicio de OData Catalog debe Activar en el sistema SAP.

2. Los datos deben completarse en el servicio OData.

Requisitos previos para tu sistema SAP

• En SAP NetWeaver 7.02 a la versión 7.31 de SAP NetWeaver, los objetos OData y SAP Las funciones de puerta de enlace se entregan con el siguiente software de SAP componentes:

  • IW_FND
  • GW_CORE
  • IW_BEP

• En la versión 7.40 y posteriores de SAP NetWeaver, todas las funcionalidades se disponible en el componente SAP_GWFND, que debe estar disponible en SAP NetWeaver.

Opcional: instala los archivos de transporte de SAP

Se entregan los componentes de SAP necesarios para las llamadas de balanceo de cargas a SAP. como archivos de transporte de SAP que se archivan como un archivo ZIP (una solicitud de transporte, que consta de un archivo adjunto y un archivo de datos). Puedes usar este paso para limitar múltiples llamadas paralelas a SAP según los procesos de trabajo disponibles en SAP.

La descarga del archivo ZIP está disponible cuando implementar el complemento en Cloud Data Fusion Hub.

Descarga el archivo ZIP de transporte de SAP ODATA

Los IDs de solicitud de transporte de SAP y los archivos asociados se proporcionan en lo siguiente: tabla:

ID de transporte	Coarchivo	Archivo de datos	Contenido
ED1K900360	K900360.ED1	R900360.ED1	Módulos de la función de RFC expuestos a través de OData

Cuando importas los archivos de transporte a SAP, los siguientes proyectos de SAP OData se crean:

• Proyectos de OData

  • /GOOG/GET_STATISTIC
  • /GOOG/TH_WPINFO

• Nodo de servicio de ICF: GOOG

Para instalar el transporte de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

1. Accede al sistema operativo de la instancia de SAP.
2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
4. Copia los archivos de datos en la carpeta DIR_TRANS/data.
5. Configura el usuario y el grupo de datos, y copia en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte con una de las siguientes opciones:

Opción 1: Importar los archivos de solicitud de transporte con el sistema de administración de transporte de SAP

1. Accede al sistema de SAP como administrador de SAP.
2. Ingresa el STMS de la transacción.
3. Haz clic en Descripción general > Importaciones.
4. En la columna Queue, haz doble clic en el SID actual.
5. Haz clic en Adicionales > Otras solicitudes > Agregar.
6. Selecciona el ID de solicitud de transporte y haz clic en Continuar.
7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Solicitar > Importar.
8. Ingresa el número de cliente.

9. En la pestaña Opciones, selecciona Reemplazar originales y Ignorar versión de componente no válida (si está disponible).

   (Opcional) Si deseas programar una reimportación de los transportes para más adelante, selecciona Deja las solicitudes de transporte en cola para importarlas más tarde y, luego, Importar las solicitudes de transporte nuevamente. Esto es útil para las actualizaciones del sistema SAP y los restablecimientos de copias de seguridad.

10. Haga clic en Continuar.

11. Para verificar la importación, usa cualquier transacción, como SE80 y SU01.

Opción 2: Importa los archivos de solicitud de transporte a nivel del sistema operativo

1. Accede al sistema SAP como administrador del sistema SAP.

2. Ejecuta el siguiente comando para agregar las solicitudes adecuadas al búfer de importación:

   tp addtobuffer TRANSPORT_REQUEST_ID SID
   

   Por ejemplo: tp addtobuffer IB1K903958 DD1.

3. Ejecuta el siguiente comando para importar las solicitudes de transporte:

   tp import TRANSPORT_REQUEST_ID SID client=NNN U1238
   

   Reemplaza NNN por el número de cliente. Por ejemplo: tp import IB1K903958 DD1 client=800 U1238

   Nota: U1238 indica que se deben configurar las opciones que se describen en los pasos 9 y 10 de la Opción 1. Los números indican número de pedido de opción correspondiente en la GUI de SAP, que puede variar en función en un sistema de archivos. Tu administrador de SAP debe ajustar las cifras.

4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y SU01.

Obtén una lista de columnas filtrables para un servicio de catálogo de SAP

Solo se pueden usar algunas columnas DataSource para las condiciones del filtro (este es un código de este tipo de limitaciones por diseño).

Si quieres obtener una lista de columnas filtrables para un servicio de catálogos de SAP, sigue estos pasos: pasos:

1. Accede al sistema SAP.
2. Ir al t-code SEGW.

3. Ingresa el nombre del proyecto de OData, que es una subcadena del nombre del servicio. Por ejemplo:

   • Nombre del servicio: MM_PUR_POITEMS_MONI_SRV
   • Nombre del proyecto: MM_PUR_POITEMS_MONI

4. Haz clic en Ingresar.

5. Ve a la entidad que deseas filtrar y selecciona Propiedades.

   Puedes usar los campos que se muestran en Propiedades como filtros. Compatible las operaciones son Igual y Entre (Rango).

   

Para obtener una lista de los operadores admitidos en el lenguaje de expresión, consulta el archivo OData abierto documentación de origen: Convenciones de URI (OData versión 2.0).

URI de ejemplo con filtros:

/sap/opu/odata/sap/MM_PUR_POITEMS_MONI_SRV/C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results/?$filter=(PurchaseOrder eq '4500000000')

Configura el sistema SAP ERP

El administrador de SAP realiza las tareas en esta sección.

El complemento SAP OData usa un servicio de OData que se activa en cada servidor SAP del que se extraen los datos. Este servicio de OData puede ser un estándar proporcionado por SAP o un servicio de OData personalizado desarrollado en tu sistema SAP.

Paso 1: Instala SAP Gateway 2.0

El administrador de SAP (Basis) debe verificar que SAP Gateway 2.0 están disponibles en el sistema de origen de SAP, según lanzamiento. Para obtener más información sobre cómo instalar SAP Gateway 2.0, accede a SAP ONE Support Launchpad y consulta la Nota 1569624 (acceso obligatorio) .

Paso 2: Activa el servicio de OData

Activa el servicio de OData necesario en el sistema de origen. Para obtener más información, consulta Servidor de frontend: activa servicios de OData.

Paso 3: Crea un rol de autorización

Para conectarte a DataSource, crea un rol de autorización con la en SAP y, luego, otorgarlas al usuario de SAP.

Para crear el rol de autorización en SAP, sigue estos pasos:

1. En la GUI de SAP, ingresa el código de transacción PFCG para abrir la ventana Mantenimiento de roles.

2. En el campo Rol, ingresa un nombre para el rol.

   Por ejemplo: ZODATA_AUTH.

3. Haz clic en Rol único.

   Se abre la ventana Crear roles.

4. En el campo Descripción, ingresa una descripción y haz clic en Guardar.

   Por ejemplo: Authorizations for SAP OData plugin.

5. Haz clic en la pestaña Autorizaciones. El título de la ventana cambia a Cambiar roles.

6. En Editar datos de autorización y generar perfiles, haz clic en Cambiar los Datos de Autorización.

   Se abrirá la ventana Elegir plantilla.

7. Haz clic en No seleccionar plantillas.

   Se abrirá la ventana Cambiar rol: autorizaciones.

8. Haz clic en Manualmente.

9. Proporciona las autorizaciones que se muestran en la siguiente tabla de autorización de SAP.

10. Haz clic en Guardar.

11. Para activar el rol de autorización, haz clic en el ícono Generar.

Autorizaciones de SAP

Clase de objeto	Texto de la clase de objeto	Objeto de autorización	Texto del objeto de autorización	Autorización	Texto	Valor
AAAB	Objetos de autorización entre aplicaciones	S_SERVICE	Verificación al inicio de los servicios externos	SRV_NAME	Nombre del módulo de función, programa o transacción	*
AAAB	Objetos de autorización entre aplicaciones	S_SERVICE	Verificación al inicio de los servicios externos	SRV_TYPE	Tipo de marca de verificación y valores predeterminados de autorización	HT
FI	Contabilidad financiera	F_UNI_HIER	Acceso a jerarquía universal	TACTV	Actividad	03
FI	Contabilidad financiera	F_UNI_HIER	Acceso a jerarquía universal	HRYTYPE	Tipo de jerarquía	*
FI	Contabilidad financiera	F_UNI_HIER	Acceso a jerarquía universal	HRYID	ID de jerarquía	*

Para diseñar y ejecutar una canalización de datos en Cloud Data Fusion (como usuario de Cloud Data Fusion), necesitas credenciales de usuario de SAP (nombre de usuario y contraseña) para configurar el complemento y que se conecte a DataSource.

El usuario de SAP debe ser de los tipos Communications o Dialog. Para evitar el uso Recursos de diálogo de SAP, se recomienda el tipo Communications. Los usuarios pueden creado con el código de transacción SU01 de SAP.

Opcional: Paso 4: Protege la conexión

Puedes proteger la comunicación a través de la red entre tu instancia de Cloud Data Fusion y SAP.

Nota: Un Se requiere un certificado X.509 para esta tarea.

Para proteger la conexión, sigue estos pasos:

1. El administrador de SAP debe generar un certificado X509. Para generar la consulta Crea un PSE del servidor SSL.
2. El administrador de Google Cloud debe copiar el archivo X509 en un bucket de Cloud Storage en el mismo proyecto que de Cloud Data Fusion y le asignas la ruta de acceso al bucket Usuario de Cloud Data Fusion, que lo ingresa cuando configura el complemento
3. El administrador de Google Cloud debe otorgar acceso de lectura al archivo X509 al Usuario de Cloud Data Fusion que diseña y ejecuta canalizaciones.

Opcional: Paso 5: Crea servicios de OData personalizados

Puedes personalizar la forma en que se extraen los datos creando servicios de OData personalizados en SAP:

• Si quieres crear servicios de OData personalizados, consulta Cómo crear servicios de OData para principiantes.
• Para crear servicios de OData personalizados con vistas de servicios básicos de datos (CDS), consulta Cómo crear un servicio de OData y exponer vistas de CDS como servicio de OData.
• Cualquier servicio de OData personalizado debe admitir consultas $top, $skip y $count. Estas consultas permiten que el complemento particiona los datos para una extracción secuencial y paralela. Si se usan, también se deben admitir las consultas $filter, $expand o $select.

Configura Cloud Data Fusion

El usuario de Cloud Data Fusion realiza las tareas de esta sección.

Asegúrate de que la comunicación entre la instancia de Cloud Data Fusion esté habilitada y el servidor SAP. Para las instancias privadas, configura intercambio de tráfico entre redes. Después de establecer el intercambio de tráfico entre redes con el proyecto en el que se ejecutan los sistemas SAP alojado, no se necesita configuración adicional para conectarse a tu instancia de Cloud Data Fusion. El sistema SAP y Cloud Data Fusion deben estar dentro del mismo proyecto.

Paso 1: Configura tu entorno de Cloud Data Fusion

Sigue estos pasos para configurar el entorno de Cloud Data Fusion para el complemento:

1. Ve a los detalles de la instancia:

   1. En Google Cloud Console, ve a la página de Cloud Data Fusion.

   2. Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.

      Ir a Instancias

2. Comprueba que la instancia se haya actualizado a la versión 6.4.0 o posterior. Si Si la instancia está en una versión anterior, debes actualizarla.

3. Haz clic en Ver instancia. Cuando se abra la IU de Cloud Data Fusion, haz clic en Concentrador.

4. Selecciona la pestaña SAP > SAP OData.

   Si la pestaña SAP no está visible, consulta Soluciona problemas de integraciones de SAP.

5. Haz clic en Implementar el complemento SAP OData.

   El complemento ahora aparece en el menú Source de la página de Studio.

   

Paso 2: Configura el complemento

El complemento SAP OData lee el contenido de una SAP DataSource.

Para filtrar los registros, puedes configurar las siguientes propiedades en la página de propiedades de SAP OData.

Nombre de la propiedad	Descripción
Básico
Nombre de referencia	Nombre que se usa para identificar de manera inequívoca esta fuente para el linaje, la anotación de metadatos, etcétera.
URL base de SAP OData	URL base de OData de la puerta de enlace de SAP (usa la ruta de URL completa, similar a https://ADDRESS:PORT/sap/opu/odata/sap/).
Versión de OData	Versión de SAP OData compatible.
Nombre del servicio	Nombre del servicio SAP OData del que quieres extraer un .
Nombre de la entidad	Nombre de la entidad que se está extrayendo, como Results. Puedes usar un prefijo, como C_PurchaseOrderItemMoni/Results. Este campo admite los parámetros Category y Entity. Ejemplos: Un parámetro para categoría: C_PurchaseOrderItemMoni(P_DisplayCurrency='USD')/Results Un parámetro para la entidad: C_PurchaseOrderItemMoni/Results('.1~4500000000.2~00010-PUSD') Un parámetro para Category y Entity: C_PurchaseOrderItemMoni('USD')/Results('.1~4500000000.2~00010-PUSD')
Botón Obtener esquema	Genera un esquema basado en los metadatos de SAP, con asignación de los tipos de datos de SAP a los datos correspondientes de Cloud Data Fusion (misma funcionalidad que el botón Validar).
Credenciales^*
Tipo de SAP	Básica (mediante nombre de usuario y contraseña)
Nombre de usuario del inicio de sesión de SAP	Nombre de usuario de SAP Recomendado: si el nombre de usuario de inicio de sesión de SAP cambian de forma periódica, usa un macro.
Contraseña de inicio de sesión de SAP	Contraseña del usuario de SAP Recomendada: Usar macros seguras para valores sensibles, como contraseñas.
Certificado de cliente SAP X.509 (consulta Uso de certificados de cliente X.509 en SAP NetWeaver Servidor de aplicaciones para ABAP
ID del proyecto de GCP	Un identificador único a nivel global para tu proyecto. Este campo es obligatorio. si la Ruta de acceso de Cloud Storage del certificado X.509 no contiene un valor macro.
Ruta de acceso de GCS	La ruta de acceso del bucket de Cloud Storage que contiene el archivo certificado X.509, que corresponde al servidor de aplicaciones SAP para llamadas seguras en función de tus requisitos (consulta la Protege la conexión).
Frase de contraseña	Frase de contraseña correspondiente al certificado X.509 proporcionado.
Avanzado
Opciones de filtro	Indica el valor que debe tener un campo para que se pueda leer. Usar este filtro para restringir el volumen de los datos de salida. Por ejemplo: "Precio de Gt 200" selecciona los registros con un valor de campo `Price` superior a `200`. (Consulta Obtén una lista de columnas filtrables para un SAP servicio de catálogos).
Seleccionar campos	Campos que se conservarán en los datos extraídos (por ejemplo: Categoría, Precio, nombre, proveedor o dirección).
Expandir campos	Lista de campos complejos que se expandirán en los datos de salida extraídos (por ejemplo, productos o proveedores).
Cantidad de filas que se omitirán	Cantidad total de filas que se omitirán (por ejemplo: 10).
Cantidad de filas para recuperar	Cantidad total de filas que se extraerán.
Cantidad de divisiones que se deben generar	La cantidad de divisiones utilizadas para particionar los datos de entrada. Más particiones aumentar el nivel de paralelismo, pero requieren más recursos y la sobrecarga. Si se deja en blanco, el complemento elige un valor óptimo (recomendado).
Tamaño del lote	Cantidad de filas para recuperar en cada llamada de red a SAP. Un tamaño pequeño causa llamadas de red frecuentes que repiten la sobrecarga asociada. Tamaño grande podría ralentizar la recuperación de datos y causar un uso excesivo de recursos en SAP. Si el valor se establece en 0, el valor predeterminado es 2500 y el límite de filas para recuperar en cada lote es 5000

^* Las macros son compatibles con la credencial propiedades. Puedes usarlos para administrar de forma centralizada tus conexiones SAP. Para ejemplo, puedes establecer valores en el tiempo de ejecución usando parámetros de entorno de ejecución o Complemento de método set de argumentos.

Tipos de OData admitidos

En la siguiente tabla, se muestra la asignación Tipos de datos de OData v2 que se usan en las aplicaciones de SAP y los tipos de datos de Cloud Data Fusion.

Tipo de OData	Descripción (SAP)	Tipo de datos de Cloud Data Fusion
Numérico
SByte	Valor de número entero de 8 bits con firma	int
Byte	Valor de número entero de 8 bits sin signo	int
Int16	Valor de número entero de 16 bits con firma	int
Int32	Valor de número entero de 32 bits con firma	int
Int64	Valor entero de 64 bits firmado y agregado al carácter: "L" Ejemplos: 64L, -352L	long
Único	Número de punto flotante con precisión de 7 dígitos que puede representar valores con un rango aproximado de ± 1.18e -38 a ± 3.40e +38, agregado con el carácter: 'f' Ejemplo: 2.0f	float
Doble	Número de punto flotante con precisión de 15 dígitos que puede representar valores con rangos aproximados de ± 2.23e -308 a ± 1.79e +308, agregado con el carácter: 'd' Ejemplos: 1E+10d, 2.029d, 2.0d	double
Decimal	Valores numéricos con precisión fija y escala que describen un valor numérico que va de negativo 10^255 + 1 a positivo 10^255 -1, unido con el carácter: “M” o "m" Ejemplo: 2.345M	decimal
Regla
Guía	Un valor identificador único de 16 bytes (128 bits), que comienza con el carácter: 'guid' Ejemplo: guid'12345678-aaaa-bbbb-cccc-ddddeeeeffff'	string
String	Datos de caracteres de longitud variable o fija codificados en UTF-8	string
Byte
Binaria	Datos binarios de longitud variable o fija que empiecen con "X" o "binario" (ambos distinguen mayúsculas de minúsculas) Ejemplo: X'23AB', binary'23ABFF'	bytes
Lógicos
Booleano	Concepto matemático de lógica con valores binarios	boolean
Fecha/hora
Fecha/hora	Fecha y hora con valores que varían desde las 12:00:00 a.m. del 1 de enero de 1753 hasta 11:59:59 p.m. el 31 de diciembre de 9999	timestamp
Hora	Hora del día con valores que van de 0:00:00.x a 23:59:59.y, donde “x” y "y" depender de la precisión	time
DateTimeOffset	Fecha y hora como desplazamiento, en minutos desde GMT, con valores que varían desde las 12:00:00 a.m. del 1 de enero de 1753 hasta las 11:59:59 p.m. del 31 de diciembre de 9999	timestamp
Compleja
Propiedades Navigation y que no son de navegación (multiplicación = *)	Colecciones de un tipo simple, con una multiplicidad de uno a varios.	array, string, int, etcétera
Propiedades (multiplicidad = 0.1)	Referencias a otros tipos complejos con una multiplicidad de uno a uno	record

Validación

Haz clic en Validate en la parte superior derecha o haz clic en Get Schema.

El complemento valida las propiedades y genera un esquema basado en los metadatos. desde SAP. Asigna automáticamente los tipos de datos de SAP a las Tipos de datos de Cloud Data Fusion.

Ejecuta una canalización de datos

1. Después de implementar la canalización, haz clic en Configurar, en el panel superior central.
2. Selecciona Recursos.
3. Si es necesario, cambia la CPU del ejecutor y la memoria según el tamaño general de los datos y la cantidad de transformaciones usadas en la canalización.
4. Haz clic en Guardar.
5. Para iniciar la canalización de datos, haz clic en Ejecutar.

Rendimiento

El complemento usa las capacidades de paralelización de Cloud Data Fusion. El los siguientes lineamientos pueden ayudarte a configurar el entorno de ejecución para que recursos suficientes al motor de ejecución para lograr el objetivo grado de paralelismo y rendimiento.

Nota: En el tiempo de ejecución, el complemento lee la cantidad de trabajo de SAP disponible. y la memoria asignadas por proceso de trabajo de SAP para ajustar automáticamente la cantidad de Divisiones y Tamaño del lote si no especificaste estos valores.

Cómo optimizar la configuración del complemento

Recomendado: A menos que conozcas en la configuración de la memoria del sistema SAP, deja Number of Splits to Generate y Tamaño del lote en blanco (sin especificar).

Para obtener un mejor rendimiento cuando ejecutes tu canalización, usa lo siguiente parámetros de configuración:

• Cantidad de divisiones que se generarán: Los valores entre 8 y 16 son se recomienda. Pero pueden aumentar a 32, o incluso 64, con configuraciones adecuadas en el lado de SAP (asignar memoria apropiada para los procesos de trabajo en SAP). Esta configuración mejora paralelismo en el lado de Cloud Data Fusion. El motor de entorno de ejecución crea la cantidad especificada de particiones (y conexiones SAP) durante la extracción los registros.

  • Si el servicio de configuración (que viene con el complemento cuando importas el archivo de transporte de SAP) está disponible, el complemento usa la configuración del sistema SAP de forma predeterminada. Las divisiones representan el 50% de los procesos de trabajo de diálogo disponibles en SAP. Nota: El servicio de configuración solo se puede importar desde sistemas S4HANA.

  • Si el servicio de configuración no está disponible, el valor predeterminado es divisiones 7.

  • En cualquier caso, si especificas un valor diferente, el valor que proporcionas prevalece sobre el valor de división predeterminado,excepto que está limitado por los procesos de diálogo disponibles en SAP, menos dos divisiones.

  • Si la cantidad de registros a extracto es menor que 2500, el número de divisiones es 1.

• Tamaño del lote: Es el recuento de registros para recuperar en cada red. llamada a SAP. Un tamaño de lote más pequeño causa llamadas de red frecuentes y repetitivas la sobrecarga asociada. De forma predeterminada, el conteo mínimo es 1000 y el el máximo es 50000.

Para obtener más información, consulta Límites de entidades de OData.

Configuración de recursos de Cloud Data Fusion

Recomendado: Usa 1 CPU y 4 GB de memoria por ejecutor (este valor se aplica a cada proceso del Ejecutor). Establece estos parámetros en Configurar > Recursos.

Configuración del clúster de Dataproc

Recomendado: Como mínimo, asigna un total de CPU (entre trabajadores) mayor que el previsto. la cantidad de divisiones (consulta Configuración de complementos).

Cada trabajador debe tener 6.5 GB o más de memoria asignada por CPU en el Configuración de Dataproc (esto se traduce en 4 GB o más disponibles) por ejecutor de Cloud Data Fusion). Las demás opciones de configuración se pueden mantener de forma predeterminada de salida.

Recomendado: Usa un clúster de Dataproc persistente para reducir el entorno de ejecución de la canalización de datos (esto elimina el paso de aprovisionamiento, que podría requerir unos minutos o más). Establece esto en la sección de configuración de Compute Engine.

Capacidad de procesamiento y parámetros de configuración de muestra

Ejemplos de configuraciones de desarrollo y prueba

• Clúster de Dataproc con 8 trabajadores, cada uno con 4 CPUs y 26 GB de memoria. Genera hasta 28 divisiones.
• Clúster de Dataproc con 2 trabajadores, cada uno con 8 CPU y 52 GB de memoria. Genera hasta 12 divisiones.

Configuraciones de producción y capacidad de procesamiento de muestra

• Clúster de Dataproc con 8 trabajadores, cada uno con 8 CPU y 32 GB de memoria. Genera hasta 32 divisiones (la mitad de las disponibles CPU)
• Clúster de Dataproc con 16 trabajadores, cada uno con 8 CPU y 32 GB de memoria. Genera hasta 64 divisiones (la mitad de las CPU disponibles).

Capacidad de procesamiento de muestra para un sistema de origen de producción SAP S4HANA 1909

La siguiente tabla tiene una capacidad de procesamiento de muestra. La capacidad de procesamiento que se muestra no tiene filtro opciones, a menos que se especifique lo contrario. Cuando se usan opciones de filtro, la capacidad de procesamiento es se reducen.

Tamaño del lote	Tramos	Servicio de OData	Total de filas	Filas extraídas	Capacidad de procesamiento (filas por segundo)
1000	4	ZACDOCA_CDS	5.37 M	5.37 M	1069
2,500	10	ZACDOCA_CDS	5.37 M	5.37 M	3384
5000	8	ZACDOCA_CDS	5.37 M	5.37 M	4630
5000	9	ZACDOCA_CDS	5.37 M	5.37 M	4817

Capacidad de procesamiento de muestra para un sistema de origen de producción en la nube de SAP S4HANA

Tamaño del lote	Tramos	Servicio de OData	Total de filas	Filas extraídas	Capacidad de procesamiento (GB/hora)
2,500	40	TEST_04_UOM_ODATA_CDS/	201 M	10 millones	25,48
5000	50	TEST_04_UOM_ODATA_CDS/	201 M	10 millones	26,78

Información sobre la asistencia

Productos y versiones de SAP compatibles

• Las fuentes admitidas incluyen SAP S4/HANA 1909 y versiones posteriores, S4/HANA en la nube de SAP. cualquier aplicación de SAP capaz de exponer los servicios de OData.

• El archivo de transporte que contiene el servicio de OData personalizado para el balanceo de cargas de las llamadas a SAP debe importarse en S4/HANA 1909 y versiones posteriores. El servicio ayuda a calcular la cantidad de divisiones (particiones de datos) que el complemento puede leer en paralelo (consulta Cantidad de divisiones).

• Se admite la versión 2 de OData.

• El complemento se probó con servidores SAP S/4HANA implementados en Google Cloud.

Se admiten los servicios de SAP OData Catalog para la extracción.

El complemento admite los siguientes tipos de DataSource:

• Datos de transacciones
• Vistas de CDS expuestas a través de OData

• Datos principales

  • Atributos
  • Textos
  • Jerarquías

Nota: Las APIs de OData operativas no son compatibles con la extracción (por ejemplo, interfaces para crear órdenes de compra o pedidos de venta).

Notas de SAP

No se requieren notas de SAP antes de la extracción, pero el sistema SAP debe tener SAP Gateway disponible. Para ver más información, consulta nota 1560585 (este sitio externo requiere un acceso a SAP).

Límites en el volumen de datos o el ancho de los registros

No hay un límite definido para el volumen de datos extraídos. Hemos realizado pruebas con hasta 6 millones de filas extraídas en una llamada, con un ancho de registro de 1 KB. Para SAP S4/HANA en la nube, probamos con hasta 10 millones de filas extraídas en una llamada, con un ancho de registro de 1 KB.

Capacidad de procesamiento esperada de complementos

Para un entorno configurado de acuerdo con los lineamientos de la Performance, el complemento puede extraer alrededor de 38 GB. por hora. El rendimiento real puede variar con Cloud Data Fusion y SAP las cargas del sistema o el tráfico de red.

Extracción delta (datos modificados)

No se admite la extracción delta.

Situaciones de error

En el entorno de ejecución, el complemento escribe entradas de registro en la canalización de datos de Cloud Data Fusion registro. Estas entradas tienen el prefijo CDF_SAP para facilitar su identificación.

Nota: Haz clic en Registros avanzados para ver todos los mensajes registrados. Cloud Data Fusion.

En el momento del diseño, cuando validas la configuración del complemento, los mensajes se muestran en la pestaña Properties y aparecen destacados en rojo.

La siguiente tabla muestra algunos mensajes de error comunes (el texto en se se reemplaza por valores reales en el tiempo de ejecución):

ID de mensaje	Mensaje	Acción recomendada
Ninguno	Propiedad obligatoria "" para conectarse escribe “”.	Ingresa un valor real o una variable macro.
Ninguno	El valor de la propiedad "" no es válido.	Ingresa un número entero que no sea negativo (0 o mayor, sin decimal) o variable de tipo macro.
CDF_SAP_ODATA_01505	No se pudo preparar el esquema de salida de Cloud Data Fusion. Consulta el el valor de macros de entorno de ejecución proporcionado.	Asegúrate de que los valores de macro proporcionados sean correctos.
N/A	SAP X509 certificado "<UI input in GCS Path>" que no está presente. Por favor, asegúrate de que se haya subido el certificado X509 requerido Bucket de Google Cloud Storage '<GCS bucket name>'.	Asegúrate de que la ruta de acceso de Cloud Storage proporcionada sea correcta.
CDF_SAP_ODATA_01532	Código de error genérico relacionado con los problemas de conectividad de SAP OData No se pudo llamar al servicio SAP OData especificado. Causa raíz: <SAP OData mensaje de la causa raíz del servicio>	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_ODATA_01534	Es un código de error genérico que esté relacionado con el error del servicio SAP OData. No se pudo validar el servicio. Root Cause: <sAP OData service root causar mensajes></s	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_ODATA_01503	No se pudo recuperar el recuento total de registros disponible del <servicio SAP OData nombre de la entidad>. Root Cause: <SAP Odata service root cause (Causa raíz del servicio de SAP Odata). mensaje>	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_ODATA_01506	No se encontraron registros para extraer en <SAP OData service entity name>. Asegúrate de que la entidad proporcionada contenga registros.	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_ODATA_01537	No se pudieron procesar los registros de <SAP OData service entity name>. Causa raíz: <SAP OData service root causa message>	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_ODATA_01536	No se pudieron extraer registros de <nombre de la entidad de servicio de SAP OData>. Raíz Causa: <SAP OData service root causa message>.	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_ODATA_01504	No se pudo generar la cadena de metadatos codificada para el servicio de OData determinado <Nombre del servicio de SAP OData>. Root Cause: <SAP OData service root causa un mensaje>	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_ODATA_01533	No se pudieron decodificar los metadatos de la cadena de metadatos codificada correspondiente para el servicio <SAP OData service name>. Causa raíz: <SAP OData mensaje de la causa raíz del servicio>	Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.

¿Qué sigue?

• Obtén más información sobre Cloud Data Fusion.
• Obtén más información sobre SAP en Google Cloud.