Fuente de replicación de SLT de SAP

En esta página, se describe cómo habilitar la replicación de datos en tiempo real desde SAP aplicaciones a Google Cloud con SAP Landscape Transformation (SLT). El el contenido se aplica a los atributos SAP SLT Replication y SAP SLT No RFC Replication. que están disponibles en Cloud Data Fusion Hub. Muestra el parámetros de configuración para SAP Source System, SLT, Cloud Storage y Cloud Data Fusion para realizar las siguientes tareas:

  • Enviar metadatos de SAP y datos de tablas a Google Cloud mediante SAP SLT
  • Crear un trabajo de replicación de Cloud Data Fusion que lea el desde un bucket de Cloud Storage.

La replicación SLT de SAP te permite replicar sus datos de forma continua y en tiempo real desde fuentes de SAP a en BigQuery. Puedes configurar y ejecutar transferencias de datos desde SAP sistemas sin programación.

El proceso de replicación de SLT de Cloud Data Fusion es el siguiente:

  1. Los datos provienen de un sistema de origen de SAP.
  2. SLT realiza un seguimiento de los datos, los lee y los envía a Cloud Storage.
  3. Cloud Data Fusion extrae datos del bucket de almacenamiento y los escribe en BigQuery.

Puedes transferir datos de sistemas SAP compatibles, incluidos los sistemas SAP alojados en Google Cloud.

Para obtener más información, consulta la Descripción general de SAP en Google Cloud. y detalles de asistencia.

Antes de comenzar

Para usar este complemento, necesitarás conocimientos de dominio en las siguientes áreas:

  • Compila canalizaciones en Cloud Data Fusion
  • Administración de acceso con IAM
  • Configurar sistemas de SAP Cloud y de planificación de recursos empresariales (ERP) local

A los administradores y usuarios que realizan los parámetros de configuración

Las tareas de esta página las realizan personas con las siguientes funciones en Google Cloud o en su sistema SAP:

Tipo de usuario Descripción
Administrador de Google Cloud Los usuarios con esta función son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion Los usuarios a los que se les asigna esta función están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, la función de visualizador de Data Fusion (roles/datafusion.viewer). Si usas el control de acceso basado en funciones, es posible que necesites funciones adicionales.
Administrador de SAP Los usuarios con esta función son administradores del sistema SAP. Tienen acceso para descargar software del sitio de servicio de SAP. No es una función de IAM.
Usuario de SAP Los usuarios a los que se les asignó esta función están autorizados para conectarse a un sistema SAP. No es una función de IAM.

Operaciones de replicación compatibles

El complemento SAP SLT Replication admite las siguientes operaciones:

Modelado de datos: todas las operaciones de modelado de datos (registro insert, delete y update) son compatibles con este complemento.

Definición de Datos: Como se describe en Nota de SAP 2055599 (se requiere el acceso a la asistencia de SAP para ver), existen limitaciones en cuanto a qué fuente SLT replica automáticamente los cambios en la estructura de la tabla del sistema. Algunos datos no se admiten operaciones de definición en el complemento (debes propagarlos).

  • Compatible:
    • Agrega un campo sin clave (después de hacer cambios en SE11, activa la tabla usando SE14)
  • No compatibles:
    • Agregar/borrar campo de clave
    • Borrar campo sin clave
    • Modifica los tipos de datos

Requisitos de SAP

Los siguientes elementos son obligatorios en tu sistema SAP:

  • Tienes instalada la versión 2011 SP17 o una posterior de SLT Server en la fuente. Sistema SAP (incorporado) o como sistema de concentrador SLT dedicado
  • Tu sistema SAP de origen es SAP ECC o SAP S/4HANA, que es compatible con DMIS 2011. SP17 o superior, como DMIS 2018 o DMIS 2020.
  • Tu complemento de la interfaz de usuario de SAP debe ser compatible con tu versión de SAP Netweaver.

  • Tu paquete de asistencia admite la clase PL 12 de /UI2/CL_JSON o una posterior. De lo contrario, implementa la nota de SAP más reciente para la clase /UI2/CL_JSON corrections según la versión de complemento de la interfaz de usuario, como SAP Nota 2798102 para PL12.

  • Se implementó la siguiente seguridad:

Requisitos de Cloud Data Fusion

  • Necesitas una instancia de Cloud Data Fusion, versión 6.4.0 o posterior, cualquiera .
  • La cuenta de servicio asignada a la instancia de Cloud Data Fusion es Si otorgaste los roles necesarios (consulta Otorga permiso de usuario a la cuenta de servicio).
  • Para las instancias privadas de Cloud Data Fusion, se requiere el intercambio de tráfico entre VPC.

Requisitos de Google Cloud

Crea el bucket de almacenamiento

Antes de crear un trabajo de replicación SLT, crea el bucket de Cloud Storage. El trabajo transfiere datos al bucket y actualiza el bucket de etapa de pruebas cada cinco minutos. Cuando ejecutas el trabajo, Cloud Data Fusion lee los datos en un bucket de almacenamiento y lo escribe en BigQuery.

Si SLT está instalado en Google Cloud

El servidor SLT debe tener permiso para crear y modificar Cloud Storage objetos en el bucket que creaste.

Como mínimo, otorga los siguientes roles a la cuenta de servicio:

Si SLT no está instalado en Google Cloud

Instalar Cloud VPN o Cloud Interconnect entre la VM de SAP y Google Cloud para permitir la conexión a un extremo de metadatos interno (consulta Configura el Acceso privado a Google para hosts locales.

Si no se pueden asignar metadatos internos:

  • Instala Google Cloud CLI según el sistema operativo de la infraestructura en el que se ejecuta SLT.

  • Crea una cuenta de servicio en el proyecto de Google Cloud Cloud Storage está habilitado.

  • En el sistema operativo SLT, autorizar el acceso a Google Cloud con una cuenta de servicio.

  • Crea una clave de API para la cuenta de servicio y autoriza Permiso relacionado con Cloud Storage.

  • Importa la clave de API a la gcloud CLI instalada antes usando la CLI.

  • Para habilitar el comando de gcloud CLI que imprime el token de acceso, haz lo siguiente: configurar el comando del sistema operativo SAP en la herramienta SM69 de transacción en el sistema SLT.

El administrador de SAP configura el comando del sistema operativo, SM69, que recupera un token de acceso de Google Cloud.

Crea una secuencia de comandos para imprimir un token de acceso y configurar un sistema operativo SAP comando para llamar a la secuencia de comandos como el usuario <sid>adm desde SAP LT Replication Server host.

Linux

Para crear un comando del SO, haz lo siguiente:

  1. En el host de SAP LT Replication Server, en un directorio al que se pueda acceder a <sid>adm, crea una secuencia de comandos bash que contenga las siguientes líneas:

    PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  2. Con la interfaz de usuario de SAP, crea un comando de SO externo:

    1. Ingresa la transacción SM69.
    2. Haz clic en Crear.
    3. En la sección Command del panel External Command, ingresa el nombre del comando, como ZGOOGLE_CDF_TOKEN.

    4. En la sección Definición:

      1. En el campo Comando del sistema operativo, ingresa sh como el valor extensión de archivo de secuencia de comandos.

      2. En el campo Parámetros para el comando del sistema operativo, ingresa lo siguiente:

        /PATH_TO_SCRIPT/FILE_NAME.sh

    5. Haz clic en Guardar.

    6. Para probar la secuencia de comandos, haz clic en Ejecutar.

    7. Haz clic de nuevo en Ejecutar.

    Se devuelve un token de Google Cloud que se muestra en la parte inferior de la Panel de la interfaz de usuario de SAP.

Windows

Con la interfaz de usuario de SAP, crea un comando de sistema operativo externo:

  1. Ingresa la transacción SM69.
  2. Haz clic en Crear.
  3. En la sección Command del panel External Command, ingresa el nombre del comando, como ZGOOGLE_CDF_TOKEN.

  4. En la sección Definición:

    1. En el campo Comando del sistema operativo, ingresa cmd /c.

    2. En el campo Parámetros para el comando del sistema operativo, ingresa lo siguiente:

      gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  5. Haz clic en Guardar.

  6. Para probar la secuencia de comandos, haz clic en Ejecutar.

  7. Haz clic de nuevo en Ejecutar.

Se devuelve un token de Google Cloud que se muestra en la parte inferior del SAP de la interfaz de usuario.

Requisitos de SLT

El conector SLT debe tener la siguiente configuración:

  • El conector es compatible con SAP ECC NW 7.02, DMIS 2011 SP17 y versiones posteriores.
  • Configurar una conexión RFC o base de datos entre el SLT y el sistema de Cloud Storage.
  • Configura los certificados SSL:
    • Descarga los siguientes certificados de la AC del Repositorio de Google Trust Services:
      • GTS Root R1
      • GTS CA 1C3
    • En la interfaz de usuario de SAP, usa la transacción STRUST para importar ambos. los certificados raíz y subordinados en la carpeta SSL Client (Standard) PSE.
  • El Administrador de comunicaciones en Internet (ICM) se debe configurar para HTTPS. Asegúrate de que que los puertos HTTP y HTTPS se mantengan y se activen en el sistema SAP SLT. Puede verificarse a través del código de transacción SMICM > Services.
  • Habilita el acceso a las APIs de Google Cloud en la VM en la que se ejecuta SAP SLT de que un sistema esté alojado. Esto permite una comunicación privada entre los servicios de Google Cloud sin enrutamiento a través de la Internet pública.
  • Garantizar que la red pueda admitir el volumen y la velocidad de datos requeridos de datos entre la infraestructura de SAP y Cloud Storage. Para un una instalación exitosa, Cloud VPN o Cloud Interconnect son se recomienda. La capacidad de procesamiento de la API de transmisión depende del las cuotas de clientes que se otorgaron tu proyecto de Cloud Storage.

Configura el servidor de replicación de SLT

El usuario de SAP realiza los siguientes pasos.

En los siguientes pasos, conectarás el servidor SLT al sistema de origen y al en Cloud Storage, especificando el sistema de origen, las tablas de datos para replicar y el bucket de almacenamiento de destino.

Configura el SDK de ABAP de Google

Para configurar SLT para la replicación de datos (una vez por Cloud Data Fusion) sigue estos pasos:

  1. Para configurar el conector SLT, el SAP-User ingresa lo siguiente: información en la pantalla de configuración (SAP Transaction /GOOG/CDF_SETTINGS) sobre la clave de la cuenta de servicio de Google Cloud para la transferencia de datos a Cloud Storage. Configura lo siguiente en la tabla /GOOG/CDF_CLT_KY con la transacción SE16 y la nota esta clave:

    • NAME: Es el nombre de la clave de tu cuenta de servicio (por ejemplo, CDFSLT).
    • NOMBRE DE LA CUENTA DE SERVICIO: Es el nombre de la cuenta de servicio de IAM.
    • SCOPE: El alcance de la cuenta de servicio
    • ID DE PROYECTO: Es el ID del proyecto de Google Cloud.
    • Opcional: Comando EXT OS: Usa este campo solo si el SLT no está instalado en Google Cloud

    • AUTH CLASS: Si el comando del SO está configurado en la tabla /GOOG/CDF_CLT_KY, usa el valor fijo: /GOOG/CDF_CL_GCP_AUTH.

    • ACTUALIZACIÓN DE SECUNDARIA: Duración de la actualización del token de autorización

Ingresa los detalles de la clave de la cuenta de servicio

Crea la configuración de replicación

Crea una configuración de replicación en el código de transacción: LTRC.

  • Antes de continuar con la configuración de LTRC, asegúrate de que la conexión RFC entre el SLT y el sistema SAP de origen.
  • Para una configuración de SLT, puede haber varias tablas SAP asignadas para la replicación.

  1. Ve al código de transacción LTRC y haz clic en Configuración nueva.

    Ingresa los detalles de la clave de la cuenta de servicio

  2. Ingresa el Nombre de configuración y la Descripción, y haz clic en Siguiente.

  3. Especifica la conexión RFC del sistema de origen de SAP y haz clic en Siguiente.

    Especifica los detalles de la conexión RFC del sistema de origen

  4. En Target System Connection Details, selecciona Other.

  5. Expande el campo Situación para la comunicación RFC, selecciona SDK de SLT. Haz clic en Siguiente.

  6. Ve a la ventana Specify Transfer Settings y, luego, ingresa la aplicación. nombre: ZGOOGLE_CDF.

    Especificar la configuración de transferencia

  7. Ingresa la Cantidad de trabajos de transferencia de datos (Number of Data Transfer Jobs) y la Cantidad de cargas iniciales Jobs y Number of Calculation Jobs. Para obtener más información y rendimiento, consulta la guía de optimización del rendimiento de SAP LT Replication Server.

  8. Haz clic en Tiempo real &gt; Siguiente.

  9. Revisa la configuración y haz clic en Guardar. Ten en cuenta la Transferencia masiva ID para los siguientes pasos.

    Guarda la configuración y anota el ID de la transferencia masiva.

  10. Para mantener el ID de transferencia masiva y los detalles de la tabla de SAP, ejecuta el SAP transacción: /GOOG/CDF_SETTINGS.

  11. Haz clic en Ejecutar o presiona F8.

  12. Crea una entrada nueva haciendo clic en el ícono Agregar fila.

    1. Ingresa el ID de transferencia masiva, la Clave de transferencia masiva y el Nombre de la clave de GCP. y Target GCS Bucket. Selecciona la casilla de verificación Is Active y guarda los cambios. los cambios.

      Ingresa los detalles del transbordo masivo de transporte

  13. Selecciona la configuración en la columna Nombre de configuración y haz clic en Aprovisionamiento de datos.

    Seleccionar aprovisionamiento de datos

  14. Opcional: Personaliza los nombres de la tabla y de los campos.

    1. Haz clic en Nombres personalizados y guarda.

    2. Haz clic en Pantalla.

    3. Para crear una entrada nueva, haz clic en los botones Agregar fila o Crear.

    4. Ingresa el nombre de la tabla de SAP y el nombre de la tabla externa para usar en BigQuery y guarda los cambios.

    5. Haz clic en el botón Ver de la columna Campos de visualización para mantenerlo la asignación de los campos de la tabla.

    6. Se abrirá una página con asignaciones sugeridas. Opcional: Edita el campo Temp. Name y Field Description y, luego, guarda las asignaciones.

  15. Ve a la transacción de LTRC.

  16. Selecciona el valor en la columna Nombre de configuración y haz clic en Datos. Aprovisionamiento

  17. Ingresa el nombre de la tabla en el campo Table Name in Database y selecciona de replicación en la nube.

    Selecciona la situación de replicación

  18. Haz clic en Ejecutar. Esto activa la implementación del SDK de SLT y comienza transferir los datos al bucket de destino en Cloud Storage.

Instala los archivos de transporte de SAP

Para diseñar y ejecutar trabajos de replicación en Cloud Data Fusion, el SAP Los componentes se entregan como archivos de transporte de SAP que se archivan en un archivo ZIP. La descarga está disponible cuando implementar el complemento en Cloud Data Fusion Hub.

Descarga el archivo ZIP de transporte de SAP SLT

Los IDs de solicitud de transporte de SAP y los archivos asociados se proporcionan en lo siguiente: tabla:

ID de transporte Coarchivo Archivo de datos Contenido
ED1K900520 K900520.ED1 R900520.ED1 Implementación de SAP BADI ES_IUUC_REPL_RUNTIME_OLO_EXIT
ED1K900337 K900337.ED1 R900337.ED1 Rol de autorización /GOOG/SLT_CDF_AUTH

Para instalar los transportes de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

  1. Accede al sistema operativo de la instancia de SAP.
  2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
  3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
  4. Copia los archivos de datos en la carpeta DIR_TRANS/data.
  5. Configura el usuario y el grupo de datos, y copia en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte con el SAP el sistema de administración de transporte o el sistema operativo:

Sistema de administración de transporte de SAP

  1. Accede al sistema de SAP como administrador de SAP.
  2. Ingresa el STMS de la transacción.
  3. Haz clic en Descripción general &gt; Importaciones.
  4. En la columna Queue, haz doble clic en el SID actual.
  5. Haz clic en Adicionales > Otras solicitudes > Agregar.
  6. Selecciona el ID de solicitud de transporte y haz clic en Continuar.
  7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Solicitud > Importar.
  8. Ingresa el número de cliente.

  9. En la pestaña Opciones, selecciona Reemplazar originales y, también, Ignorar versión de componente no válida (si está disponible).

    Opcional: Para volver a importar los transportes más tarde, haz clic en Leave Transports requests in Queue for Later Import. Vuelve a importar las solicitudes de transporte. Esto es útil para el sistema SAP y restauraciones de copias de seguridad.

  10. Haga clic en Continuar.

  11. Verifica que se hayan importado el módulo de función y las funciones de autorización correctamente si usa transacciones, como SE80 y PFCG.

Sistema operativo

  1. Accede al sistema de SAP como administrador de SAP.

  2. Agrega solicitudes al búfer de importación:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por ejemplo: tp addtobuffer IB1K903958 DD1

  3. Importa las solicitudes de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Reemplaza NNN por el número de cliente. Por ejemplo: tp import IB1K903958 DD1 client=800 U1238

  4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y PFCG.

Autorizaciones necesarias de SAP

Para ejecutar una canalización de datos en Cloud Data Fusion, necesitas un usuario de SAP. El SAP El usuario debe ser del tipo Communications o Dialog. Evitar el uso del diálogo de SAP recursos, se recomienda el tipo Communications. El SAP puede crear usuarios Administrador que usa el código de transacción de SAP SU01.

Se requieren autorizaciones de SAP para mantener y configurar el conector para SAP, una combinación de objetos de autorización de conectores nuevos y estándar de SAP. Tú mantener objetos de autorización basados en las políticas de seguridad de tu organización. En la siguiente lista, se describen algunas autorizaciones importantes necesarias para el conector:

  • Objeto de autorización: El objeto de autorización ZGOOGCDFMT se envía como de la función de solicitud de transporte.

  • Creación de la función: Crea una función con el código de transacción PFCG.

    Crea un rol con un código de transacción de SAP

  • Para los objetos de autorización estándar de SAP, tu organización administra los permisos con su propio mecanismo de seguridad.

  • Para los objetos de autorización personalizados, proporciona los valores en los campos de autorización para los objetos de autorización ZGOOGCDFMT.

  • Para un control de acceso detallado, ZGOOGCDFMT proporciona grupos de de Google Cloud. Los usuarios con acceso completo, parcial o sin acceso a a los grupos de autorización se les otorga acceso en función del grupo asignados en su función.

  • /GOOG/SLT_CDF_AUTH: Rol con acceso a todos los grupos de autorización. Para restringir el acceso específico a un grupo de autorización en particular, mantener el FICDF del grupo de autorización en la configuración.

Crea un destino RFC para el origen

Antes de comenzar con la configuración, asegúrate de que la conexión RFC esté que se establecen entre el origen y el destino.

  1. Ve al código de transacción SM59.

  2. Haz clic en Crear &gt; Tipo de conexión 3 (conexión ABAP).

    Crea un código de transacción

  3. En la ventana Technical Settings, ingresa los detalles sobre el RFC. Destino.

  4. Haz clic en la pestaña Inicio de sesión y seguridad para mantener las credenciales RFC (RFC usuario y contraseña).

  5. Haz clic en Guardar.

  6. Haz clic en Prueba de conexión. Si la prueba se realiza correctamente, puedes continuar.

  7. Verifica que la prueba de autorización RFC se haya realizado correctamente.

  8. Haz clic en Utilidades &gt; Prueba &gt; Prueba de autorización.

Cómo configurar el complemento

Para configurar el complemento, impleméntalo desde Hub, crea un de replicación y configurar el origen y el destino con el los siguientes pasos.

Implementa el complemento en Cloud Data Fusion

El usuario de Cloud Data Fusion realiza los siguientes pasos.

Antes de ejecutar el trabajo de replicación de Cloud Data Fusion, implementa el complemento SAP SLT Replication:

  1. Ve a tu instancia:

    1. En la consola de Google Cloud, ve a Instancias de Cloud Data Fusion. .

      Ir a Instancias

    2. Habilita la replicación en una instancia nueva o existente:

      • En el caso de una instancia nueva, haz clic en Crear instancia, ingresa una haz clic en Agregar aceleradores y selecciona el botón Replicación. y haz clic en Guardar.
      • Para una instancia existente, consulta Habilita la replicación en una instancia existente.

    3. Haz clic en Ver instancia para abrirla en la Interfaz web de Cloud Data Fusion.

  2. Haz clic en Hub.

  3. Ve a la pestaña SAP, haz clic en SAP SLT y, luego, en Replicación de SAP SLT. Complemento o Complemento de replicación sin RFC sin SLT de SAP.

  4. Haga clic en Implementar.

Crea un trabajo de replicación

El complemento SAP SLT Replication lee el contenido de las tablas SAP con un bucket de etapa de pruebas de la API de Cloud Storage.

Si quieres crear un trabajo de replicación para tu transferencia de datos, sigue estos pasos: pasos:

  1. En tu instancia abierta de Cloud Data Fusion, haz clic en Página principal &gt;. Replicación &gt; Crea un trabajo de replicación. Si no hay Replicación, habilita la replicación para el instancia.

  2. Ingresa un Nombre y una Descripción únicos para el el trabajo de replicación.

  3. Haz clic en Siguiente.

Configura la fuente

  1. Ingresa valores en los siguientes campos para configurar la fuente:

    • ID del proyecto: El ID de tu proyecto de Google Cloud (este campo es prepropagado)

    • Ruta de acceso de GCS de replicación de datos: Es la ruta de acceso de Cloud Storage que contiene datos para la replicación. Debe ser la misma ruta que se configurados en los trabajos SLT de SAP. Internamente, la ruta proporcionada es se concatena con Mass Transfer ID y Source Table Name:

      Formato: gs://<base-path>/<mass-transfer-id>/<source-table-name>

      Ejemplo: gs://slt_bucket/012/MARA

    • GUID: El GUID SLT, un identificador único asignado a SAP SLT Mass ID de transferencia.

    • Mass Transfer ID: El ID de Mass Transfer es un identificador único. asignado a la configuración en SAP SLT.

    • Ruta de acceso de GCS de la biblioteca SAP JCo: Es la ruta de almacenamiento que contiene la archivos de la biblioteca SAP JCo subidos por el usuario. Se pueden descargar las bibliotecas de SAP JCo. en el Portal de asistencia de SAP. (Se quitó en la versión 0.10.0 del complemento).

    • Host del servidor SLT: Es el nombre de host o la dirección IP del servidor SLT. (Se quitó en versión 0.10.0 del complemento).

    • Número del sistema SAP: Es el número del sistema de instalación que proporciona el sistema. administrador (por ejemplo, 00). (Se quitó en la versión 0.10.0 del complemento).

    • Cliente SAP: Es el cliente SAP que se usará (por ejemplo, 100). (Se quitó en versión 0.10.0 del complemento).

    • Idioma de SAP: Idioma de inicio de sesión de SAP (por ejemplo, EN). (Se quitó en versión 0.10.0 del complemento).

    • Nombre de usuario del inicio de sesión de SAP: Nombre de usuario de SAP. (Se quitó en la versión 0.10.0 del complemento).

      • Recomendado: Si el nombre de usuario del inicio de sesión de SAP cambia periódicamente, usa un o la macro.

    • Contraseña de inicio de sesión (M) de SAP: Contraseña de usuario de SAP para la autenticación de usuario

      • Recomendado: Usa macros seguras para valores sensibles, como contraseñas. (Se quitó en la versión 0.10.0 del complemento).

    • Suspender la replicación de SLT cuando se detenga el trabajo de CDF: intenta detener el SLT. el trabajo de replicación (para las tablas involucradas) cuando Se detendrá el trabajo de replicación de Cloud Data Fusion. Puede fallar si el trabajo en Cloud Data Fusion se detiene inesperadamente.

    • Replicar datos existentes: Indica si se deben replicar los datos existentes. de las tablas fuente. De forma predeterminada, los trabajos replican los datos existentes de tablas fuente. Si se configura como false, cualquier dato existente en la fuente las tablas de datos se ignoran y solo los cambios que ocurren después de que comienza el trabajo se replican.

    • Clave de cuenta de servicio: Es la clave que se usa cuando se interactúa con en Google Cloud Storage. La cuenta de servicio debe tener permiso para escribir a Cloud Storage. Cuando se ejecuta en una VM de Google Cloud, este debe configurarse en auto-detect para usar la cuenta de servicio conectada al y la VM.

  2. Haz clic en Siguiente.

Configura el destino

Para escribir datos en BigQuery, el este complemento requiere acceso de escritura a BigQuery y a un entorno bucket. Primero, los eventos de cambio se escriben en lotes, desde SLT hasta en Google Cloud Storage. Luego, se cargan en tablas de etapa de pruebas en BigQuery. Los cambios de la tabla de etapa de pruebas se combinan tabla de destino final con una consulta de combinación de BigQuery.

La tabla de destino final incluye todas las columnas originales de la tabla de origen. más una columna _sequence_num adicional. El número de secuencia garantiza que no se duplican ni se pasan por alto en situaciones de falla del replicador.

  1. Ingresa valores en los siguientes campos para configurar la fuente:

    • ID del proyecto: Es el proyecto del conjunto de datos de BigQuery. Cuando se ejecute en un clúster de Dataproc. Esto se puede dejar en blanco, lo que usará el proyecto del clúster.
    • Credenciales: Consulta Credenciales.
    • Clave de cuenta de servicio: El contenido de la clave de cuenta de servicio que se usará cuando de interactuar con Cloud Storage y BigQuery. Cuándo que se ejecuta en un clúster de Dataproc. Este campo debe dejarse en blanco. que usa la cuenta de servicio del clúster.
    • Dataset Name (Nombre del conjunto de datos): el nombre del conjunto de datos que se creará. en BigQuery. Es opcional y, de forma predeterminada, el nombre del conjunto de datos es de la misma forma que el nombre de la base de datos de origen. Un nombre válido solo debe contener letras, números y guiones bajos, y la longitud máxima puede ser de 1,024 caracteres. Cualquiera los caracteres no válidos se reemplazarían por un guion bajo en el nombre final del conjunto de datos y se truncarán los caracteres que superen el límite de longitud.
    • Nombre de la clave de encriptación: la clave de encriptación administrada por el cliente (CMEK) que se usa para lo siguiente: proteger los recursos que creó el destino. El nombre de la clave de encriptación del formulario projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>
    • Ubicación: La ubicación donde el conjunto de datos de BigQuery y el bucket de etapa de pruebas de Cloud Storage. Por ejemplo, us-east1. Para buckets regionales, us para buckets multirregionales (consulta Ubicaciones). Este valor se ignora si un bucket, como el bucket de etapa de pruebas y BigQuery conjunto de datos se crean en la misma ubicación que ese bucket.

    • Bucket de etapa de pruebas: Es el bucket en el que se escriben los eventos de cambio antes de se cargan en tablas de almacenamiento en etapa intermedia. Los cambios se escriben en un directorio que contiene el nombre del replicador y el espacio de nombres. Es seguro usar el mismo bucket en múltiples replicadores dentro de la misma instancia. Si lo comparten en varias instancias, asegúrate de que el espacio de nombres y el nombre único; de lo contrario, el comportamiento será indefinido. El bucket debe estar en el mismo como el conjunto de datos de BigQuery. Si no se proporciona, se agregará un nuevo bucket para cada trabajo denominado df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>

    • Intervalo de carga (segundos): Número de segundos que se debe esperar antes de cargar un lote de datos en BigQuery.

    • Prefijo de la tabla de etapa de pruebas: Los cambios se escriben primero en una tabla de etapa de pruebas antes combinarse en la tabla final. Los nombres de las tablas de etapa de pruebas se generan mediante la anteposición este prefijo en el nombre de la tabla de destino.

    • Requerir intervención de caída manual: Indica si se debe solicitar o no de forma manual. acción administrativa para descartar tablas y conjuntos de datos cuando se quitan tablas o conjuntos de la base de datos. Cuando se configura como verdadero, el replicador no borrar una tabla o un conjunto de datos. En cambio, falla y vuelve a intentarlo hasta que la tabla o que no existe. Si el conjunto de datos o la tabla no existe, no se requiere intervención manual. El evento se omite como de costumbre.

    • Habilitar eliminaciones no definitivas: Si se establece como verdadera, cuando un evento de eliminación reciba un el objetivo, la columna _is_deleted del registro se establece en true. De lo contrario, el registro se borra de la tabla de BigQuery. Esta configuración es no-op para una fuente que genera eventos desordenados y los registros siempre se borran de forma no definitiva de la tabla de BigQuery.

  2. Haz clic en Siguiente.

Credenciales

Si el complemento se ejecuta en un clúster de Dataproc, la cuenta de servicio debe configurarse en la detección automática. Las credenciales se leen automáticamente desde la del clúster.

Si el complemento no se ejecuta en un clúster de Dataproc, la ruta a un se debe proporcionar la clave de cuenta de servicio. Puedes encontrar la clave de la cuenta de servicio la página de IAM en la consola de Google Cloud. Asegúrate de que la clave de la cuenta tiene permiso para acceder a BigQuery. El archivo de claves de la cuenta de servicio deben estar disponibles en todos los nodos del clúster y deben ser legibles para todos usuarios que ejecutan el trabajo.

Limitaciones

  • Las tablas deben tener una clave primaria para replicar.
  • No se admiten las operaciones de cambio de nombre de tabla.
  • Las alteraciones de tablas son parcialmente compatibles.
    • Una columna existente no anulable se puede transformar en una columna anulable.
    • Se pueden agregar nuevas columnas anulables a una tabla existente.
    • Cualquier otro tipo de alteración del esquema de la tabla fallará.
    • Los cambios en la clave primaria no fallarán, pero los datos existentes no para obedecer a la exclusividad de la nueva clave primaria.

Selecciona tablas y transformaciones

En el paso Seleccionar tablas y transformaciones, se muestra una lista de tablas seleccionadas para en el sistema SLT.

  1. Selecciona las tablas que quieres replicar.
  2. Opcional: Selecciona operaciones de esquema adicionales, como Inserts, Updates o Deletes.
  3. Para ver el esquema, haz clic en Columnas para replicar de una tabla.

  4. Opcional: Para cambiar el nombre de las columnas en el esquema, sigue estos pasos:

    1. Mientras visualizas el esquema, haz clic en Transformar &gt;. Cambiar nombre.
    2. En el campo Cambiar nombre, ingresa un nombre nuevo y haz clic en Aplicar.
    3. Para guardar el nombre nuevo, haz clic en Actualizar y Guardar.

  5. Haz clic en Siguiente.

Opcional: Configura propiedades avanzadas

Si sabes cuántos datos replicas en una hora, puedes selecciona la opción adecuada.

Revisar evaluación

El paso Revisar evaluación busca problemas de esquema, funciones faltantes o problemas de conectividad que ocurren durante la replicación.

  1. En la página Revisar evaluación, haz clic en Ver asignaciones.

    Si hay algún problema, se debe resolver para poder continuar.

  2. Opcional: Si cambiaste el nombre de las columnas cuando seleccionaste las tablas y transformaciones, verifica que los nombres nuevos sean correctos en este paso.

  3. Haz clic en Siguiente.

Visualiza el resumen y, luego, implementa el trabajo de replicación

En la página Revisar detalles del trabajo de replicación, revisa la configuración. y haz clic en Implementar trabajo de replicación.

Selecciona un perfil de Compute Engine

  1. Luego de implementar el trabajo de replicación, haz clic en Configurar desde cualquier página de la interfaz web de Cloud Data Fusion.

  2. Selecciona el perfil de Compute Engine que quieres usar para ejecutar esto. el trabajo de replicación.

  3. Haz clic en Guardar.

    Selecciona un perfil de procesamiento en la interfaz web de Cloud Data Fusion.

Inicia el trabajo de replicación

  • Para ejecutar el trabajo de replicación, haz clic en Iniciar.

Inicia el trabajo de replicación en la interfaz web de Cloud Data Fusion

Opcional: Optimiza el rendimiento

De forma predeterminada, el complemento está configurado para un rendimiento óptimo. Para obtener optimizaciones, consulta Argumentos del tiempo de ejecución.

El rendimiento de la comunicación de SLT y Cloud Data Fusion depende de lo siguiente: estos factores:

  • SLT en el sistema de origen frente a un sistema SLT central dedicado (opción preferida) )
  • Procesamiento de trabajos en segundo plano en el sistema SLT
  • Procesos de trabajo del diálogo en el sistema SAP de origen
  • El número de procesos de trabajo en segundo plano asignados a cada ID de transferencia masiva en Pestaña LTRC Administration
  • Configuración de LTRS
  • Hardware (CPU y memoria) del sistema SLT
  • La base de datos utilizada (por ejemplo: HANA, Sybase o DB2)
  • El ancho de banda de Internet (conectividad entre el sistema SAP y Google Cloud a través de Internet)
  • Uso preexistente (carga) en el sistema
  • La cantidad de columnas de la tabla. Con más columnas, la replicación se vuelve lenta y la latencia puede aumentar.

Se recomiendan los siguientes tipos de lectura en la configuración de LTRS para las cargas iniciales:

sistema SLT Sistema de origen Tipo de tabla Tipo de lectura recomendado
[carga inicial]
SLT 3.0 independiente
[DMIS 2018_1_752 SP 2] 		S/4 HANA 1909 Transparente (pequeña o mediana)
Transparente (grande)
Tabla de clústeres		 1 cálculo de rango
1 cálculo de rango
4 remitentes en fila
SLT incorporado
[S4CORE 104 HANA 1909]		 N/A Transparente (pequeña o mediana)
Transparente (grande)
Tabla de clústeres		 1 cálculo de rango
1 cálculo de rango
4 remitentes en fila
SLT 2.0 independiente
[DMIS 2011_1_731 SP 17]		 ECC NW 7.02 Transparente (pequeña o mediana)
Transparente (grande)
Tabla de clústeres		 5 remitentes en fila
5 remitentes en fila
Fila de 4 remitentes
SLT incorporado
[DMIS 2011_1_700 SP 17]		 N/A Transparente (pequeña o mediana)
Transparente (grande)
Tabla de clústeres		 5 remitentes en fila
5 remitentes en fila
Fila de 4 remitentes
  • Para la replicación, usa Sin rangos a fin de mejorar el rendimiento:
    • Los rangos solo se deben usar cuando se generan tareas pendientes en una tabla de registro con latencia alta.
    • Usar el cálculo de un rango: no se recomienda el tipo de lectura para la carga inicial en un caso de sistemas SLT 2.0 y sin HANA.
    • Usar el cálculo de un rango: el tipo de lectura para la carga inicial podría generar los registros duplicados en BigQuery.
  • El rendimiento siempre es mejor cuando se usa un sistema de SLT independiente.
  • Siempre se recomienda un sistema SLT independiente si el uso de recursos del el sistema de origen ya es alto.

Argumentos de entorno de ejecución

  • snapshot.thread.count: Pasa la cantidad de subprocesos que se iniciarán. realizar una carga de datos de SNAPSHOT/INITIAL en paralelo. De forma predeterminada, usa el la cantidad de CPU virtuales disponibles en el clúster de Dataproc en el que trabajos de replicación.

    Recomendado: Solo configura este parámetro en los casos en los que necesites un control preciso sobre la cantidad de subprocesos paralelos (por ejemplo, para disminuir el uso en clúster).

  • poll.file.count: Pasa la cantidad de archivos para sondear desde el Ruta de acceso de Cloud Storage proporcionada en la Ruta de acceso de GCS de replicación de datos en la interfaz web. De forma predeterminada, el valor es 500 por encuesta. Sin embargo, según la configuración del clúster, se puede aumentar o disminuir.

    Recomendado: Solo configura este parámetro si tienes requisitos estrictos para lo siguiente: el retraso de replicación. Los valores más bajos pueden reducir la demora. Puedes usarlo para mejorar la capacidad de procesamiento (si no responde, usa valores superiores a los predeterminados)

  • bad.files.base.path: Pasa la ruta base de Cloud Storage, en la que se copian todos los archivos de datos erróneos o con errores que se encontraron en la replicación. Esto es útil cuando hay requisitos estrictos de datos de auditoría y se debe usar una ubicación específica para registrar las fallas de datos.

    De forma predeterminada, todos los archivos defectuosos se copian desde Cloud Storage. ruta de acceso proporcionada en el campo Ruta de acceso de Cloud Storage de replicación de datos en la interfaz web.

    • Patrón de ruta de acceso final de los archivos de datos con errores: 

      gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME

    • Ejemplo:

      gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8
ac0640fc83c/20220205_1901205168830_DATA_INIT.xml

    Los criterios para un archivo incorrecto son un archivo en formato XML dañado o no válido, falta PK de salida o un problema de discrepancia de tipos de datos de campo.

Información sobre la asistencia

Productos y versiones de SAP compatibles

  • Versión SAP_BASIS 702, nivel SP 0016 y posterior.
  • Versión SAP_ABA 702, nivel SP 0016 y posterior.
  • Versión DMIS 2011_1_700, nivel de SP 0017 y posterior.

Versiones de SLT compatibles

Se admiten las versiones 2 y 3 de SLT.

Modelos de implementación de SAP compatibles

SLT como sistema independiente o incorporado en el sistema de origen.

Notas de SAP que se deben implementar antes de comenzar a usar el SLT

Si tu paquete de asistencia no incluye correcciones de la clase /UI2/CL_JSON para PL 12 o una versión posterior, implementa la última nota de SAP para las correcciones de clase /UI2/CL_JSON. por ejemplo, la nota de SAP 2798102 para PL12.

Recomendado: Implementa las notas de SAP recomendadas por el informe CNV_NOTE_ANALYZER_SLT según la condición del sistema central o de origen. Para más información, consulta Nota de SAP 3016862 (se requiere el acceso a SAP).

Si SAP ya está configurado, no se debe agregar ninguna nota adicional cuando se implementa un plan. Para ver errores o problemas específicos, consulta la nota central de SAP para tu Versión de SLT.

Límites para el volumen de datos o el ancho de los registros

No hay un límite definido para el volumen de datos extraídos y el ancho del registro.

Capacidad de procesamiento esperada para el complemento SAP SLT Replication

Para un entorno configurado según los lineamientos de Optimiza el rendimiento, el complemento puede extraer 13 GB por hora para la carga inicial y 3 GB por hora para la replicación (CDC). El rendimiento real puede variar con el sistema de Cloud Data Fusion y SAP o el tráfico de red.

Compatibilidad con la extracción delta (datos modificados) de SAP

Se admite la extracción delta de SAP.

Obligatorio: Intercambio de tráfico de usuarios para instancias de Cloud Data Fusion

El intercambio de tráfico entre usuarios es obligatorio cuando la instancia de Cloud Data Fusion se creado con una dirección IP interna. Para obtener más información sobre el intercambio de tráfico de usuarios, consulta Crea una instancia privada.

Solucionar problemas

El trabajo de replicación se sigue reiniciando

Si el trabajo de replicación se sigue reiniciando automáticamente, aumenta la del clúster del trabajo de replicación y vuelve a ejecutar el trabajo de replicación.

Duplicados en el receptor de BigQuery

Si defines la cantidad de trabajos paralelos en la configuración avanzada del Complemento SAP SLT Replication: Cuando tus tablas son grandes, se produce un error. lo que causa columnas duplicadas en el receptor de BigQuery.

Para evitar el problema, quita los trabajos paralelos de carga de datos.

Situaciones de error

En la siguiente tabla se indican algunos mensajes de error comunes (el texto entre comillas se reemplazadas por valores reales en el tiempo de ejecución):

ID de mensaje Mensaje Acción recomendada
CDF_SAP_SLT_01402 Service account type is not defined for SERVICE_ACCT_NAME_FROM_UI. Asegúrate de que la ruta de acceso de Cloud Storage proporcionada sea correcta.
CDF_SAP_SLT_01403 Service account key provided is not valid due to error: ROOT_CAUSE. Please provide a valid service account key for service account type : SERVICE_ACCT_NAME_FROM_UI. Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_SLT_01404 Mass Transfer ID could not be found. Please ensure that it exists in given GCS Bucket. Comprueba que el ID de transferencia masiva tenga el formato correcto.
CDF_SAP_SLT_01502 The specified data replication GCS path 'slt_to_cdf_bucket_1' or Mass Transfer ID '05C' could not be found. Please ensure that it exists in GCS. Asegúrate de que la ruta de acceso de Cloud Storage proporcionada sea correcta.
CDF_SAP_SLT_01400 Metadata file not found. The META_INIT.json file is not present or file is present with invalid format. Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_SLT_03408 Failed to start the event reader. Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_SLT_03409 Error while processing TABLE_NAME file for source table gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME /FILE_NAME. Root cause: ROOT_CAUSE. Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_SLT_03410 Failed to replicate data for source table TABLE_NAME from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/ TABLE_NAME/FILE_NAME. Root cause: ROOT_CAUSE. Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_SLT_03411 Failed data replication for source table TABLE_NAME. Root cause: ROOT_CAUSE. Comprueba la causa raíz que aparece en el mensaje y toma las medidas adecuadas acción.
CDF_SAP_SLT_03412 Failed to create target table for source table TABLE_NAME. Root cause: ROOT_CAUSE. Verifica la causa raíz que aparece en el mensaje y toma las medidas adecuadas.

Asignación de tipos de datos

En la siguiente tabla, se muestra la asignación entre los tipos de datos que se usan en SAP aplicaciones y Cloud Data Fusion.

Tipo de datos SAP Tipo de ABAP Descripción (SAP) Tipo de datos de Cloud Data Fusion
Numérico
INT1 b Número entero de 1 byte int
INT2 s Número entero de 2 bytes int
INT4 i Número entero de 4 bytes int
INT8 8 Número entero de 8 bytes long
DIC p Número de empaque en formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Punto flotante decimal de 8 bytes IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Punto flotante decimal de 16 bytes IEEE 754r decimal
FLTP f Número de punto flotante binario double
Regla
CHAR
LCHR		 c String de caracteres string
SSTRING
GEOM_EWKB		 string String de caracteres string
STRING
GEOM_EWKB		 string CLOB de string de caracteres bytes
NUMC
ACCP		 n Texto numérico string
Byte
RAW
LRAW		 x Datos binarios bytes
STRING SIN PROCESAR cadena internacional BLOB de cadena de bytes bytes
fecha/hora
DATS d Fecha date
Tims t Hora time
TIMESTAMP utcl ( Utclong )
TimeStamp		 timestamp

¿Qué sigue?