Fuente de replicación de SAP SLT

En esta página, se describe cómo habilitar la replicación en tiempo real de datos de las aplicaciones de SAP a Google Cloud con SAP Landscape Transformation (SLT). El contenido se aplica a los complementos SAP SLT Replication y SAP SLT No RFC Replication, que están disponibles en el centro de Cloud Data Fusion. Muestra los parámetros de configuración del sistema de origen de SAP, SLT, Cloud Storage y Cloud Data Fusion para hacer lo siguiente:

  • Envía metadatos y datos de tablas de SAP a Google Cloud con SAP SLT.
  • Crea un trabajo de replicación de Cloud Data Fusion que lea los datos de un bucket de Cloud Storage.

La replicación de SLT de SAP te permite replicar tus datos de forma continua y en tiempo real desde las fuentes de SAP hasta BigQuery. Puedes configurar y ejecutar transferencias de datos desde sistemas de SAP sin programación.

El proceso de replicación de SLT de Cloud Data Fusion es el siguiente:

  1. Los datos provienen de un sistema de origen de SAP.
  2. El SLT realiza un seguimiento de los datos, los lee y los envía a Cloud Storage.
  3. Cloud Data Fusion extrae datos del bucket de almacenamiento y los escribe en BigQuery.

Puedes transferir datos desde sistemas SAP compatibles, incluidos los sistemas SAP alojados en Google Cloud.

Para obtener más información, consulta la descripción general de SAP en Google Cloud y los detalles de asistencia.

Antes de comenzar

Para usar este complemento, necesitarás conocimientos de dominio en las siguientes áreas:

  • Compila canalizaciones en Cloud Data Fusion
  • Administración de acceso con IAM
  • Configuración de sistemas de planificación de recursos empresariales (ERP) locales y en la nube de SAP

Administradores y usuarios que realizan las configuraciones

Las tareas de esta página las realizan personas con los siguientes roles en Google Cloud o en su sistema SAP:

Tipo de usuario Descripción
Administrador de Google Cloud Los usuarios con este rol son administradores de cuentas de Google Cloud.
Usuario de Cloud Data Fusion Los usuarios a los que se les asignó este rol están autorizados para diseñar y ejecutar canalizaciones de datos. Se les otorga, como mínimo, el rol de Visualizador de Data Fusion ( roles/datafusion.viewer). Si usas el control de acceso basado en roles, es posible que necesites roles adicionales.
Administrador de SAP Los usuarios con este rol son administradores del sistema SAP. Tiene acceso para descargar software desde el sitio del servicio de SAP. No es un rol de IAM.
Usuario de SAP Los usuarios con este rol están autorizados a conectarse a un sistema SAP. No es un rol de IAM.

Operaciones de replicación compatibles

El complemento de replicación de SAP SLT admite las siguientes operaciones:

Modelado de datos: Este complemento admite todas las operaciones de modelado de datos (registro insert, delete y update).

Definición de datos: Como se describe en la Nota de SAP 2055599 (se requiere acceso a la asistencia de SAP para verla), existen limitaciones en cuanto a los cambios en la estructura de la tabla del sistema de origen que SLT replica automáticamente. Algunas operaciones de definición de datos no son compatibles con el complemento (debes propagarlas manualmente).

  • Compatible:
    • Agrega un campo sin clave (después de realizar cambios en SE11, activa la tabla con SE14)
  • No se admite:
    • Cómo agregar o quitar un campo de clave
    • Cómo borrar un campo que no es de clave
    • Modifica los tipos de datos

Requisitos de SAP

Los siguientes elementos son obligatorios en tu sistema SAP:

  • Tienes instalado el servidor SLT versión 2011 SP17 o posterior en el sistema SAP fuente (incorporado) o como un sistema de concentrador de SLT dedicado.
  • Tu sistema de SAP de origen es SAP ECC o SAP S/4HANA, que admite DMIS 2011 SP17 o versiones posteriores, como DMIS 2018 o DMIS 2020.
  • Tu complemento de interfaz de usuario de SAP debe ser compatible con tu versión de SAP NetWeaver.

  • Tu paquete de asistencia admite la clase /UI2/CL_JSON PL 12 o una posterior. De lo contrario, implementa la nota de SAP más reciente para la clase /UI2/CL_JSON corrections según la versión del complemento de la interfaz de usuario, como la nota de SAP 2798102 para PL12.

  • Se implementó la siguiente seguridad:

Requisitos de Cloud Data Fusion

  • Necesitas una instancia de Cloud Data Fusion, versión 6.4.0 o posterior, de cualquier edición.
  • A la cuenta de servicio asignada a la instancia de Cloud Data Fusion se le otorgan los roles necesarios (consulta Cómo otorgar permiso de usuario a la cuenta de servicio).
  • Para las instancias privadas de Cloud Data Fusion, se requiere el intercambio de tráfico entre VPC.

Requisitos deGoogle Cloud

Crea el bucket de almacenamiento

Antes de crear un trabajo de replicación de SLT, crea el bucket de Cloud Storage. La tarea transfiere datos al bucket y actualiza el bucket de preparación cada cinco minutos. Cuando ejecutas el trabajo, Cloud Data Fusion lee los datos del bucket de almacenamiento y los escribe en BigQuery.

Si SLT está instalado en Google Cloud

El servidor de SLT debe tener permiso para crear y modificar objetos de Cloud Storage en el bucket que creaste.

Como mínimo, otorga los siguientes roles a la cuenta de servicio:

Si SLT no está instalado en Google Cloud

Instala Cloud VPN o Cloud Interconnect entre la VM de SAP yGoogle Cloud para permitir la conexión a un extremo de metadatos interno (consulta Configurar el Acceso privado a Google para hosts locales).

Si no se pueden asignar los metadatos internos, haz lo siguiente:

  • Instala Google Cloud CLI según el sistema operativo de la infraestructura en la que se ejecuta SLT.

  • Crea una cuenta de servicio en el Google Cloud proyecto en el que está habilitado Cloud Storage.

  • En el sistema operativo SLT, autoriza el acceso a Google Cloud con una cuenta de servicio.

  • Crea una clave de API para la cuenta de servicio y autoriza el permiso relacionado con Cloud Storage.

  • Importa la clave de API a la CLI de gcloud que instalaste antes con la CLI.

  • Para habilitar el comando de gcloud CLI que imprime el token de acceso, configura el comando del sistema operativo de SAP en la herramienta de transacción SM69 en el sistema SLT.

El administrador de SAP configura el comando del sistema operativo, SM69, que recupera un token de acceso de Google Cloud.

Crea una secuencia de comandos para imprimir un token de acceso y configura un comando del sistema operativo SAP para llamar a la secuencia de comandos como usuario <sid>adm desde el host de SAP LT Replication Server.

Linux

Para crear un comando de SO, haz lo siguiente:

  1. En el host de SAP LT Replication Server, en un directorio al que pueda acceder <sid>adm, crea una secuencia de comandos bash que contenga las siguientes líneas:

    PATH_TO_GCLOUD_CLI/bin/gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  2. Crea un comando de SO externo con la interfaz de usuario de SAP:

    1. Ingresa la transacción SM69.
    2. Haz clic en Crear.
    3. En la sección Comando del panel Comando externo, ingresa el nombre del comando, como ZGOOGLE_CDF_TOKEN.

    4. En la sección Definición:

      1. En el campo Comando del sistema operativo, ingresa sh como la extensión del archivo de secuencia de comandos.

      2. En el campo Parámetros para el comando del sistema operativo, ingresa lo siguiente:

        /PATH_TO_SCRIPT/FILE_NAME.sh

    5. Haz clic en Guardar.

    6. Para probar la secuencia de comandos, haz clic en Ejecutar.

    7. Haz clic de nuevo en Ejecutar.

    Se muestra un token de Google Cloud en la parte inferior del panel de la interfaz de usuario de SAP.

Windows

Crea un comando de sistema operativo externo con la interfaz de usuario de SAP:

  1. Ingresa la transacción SM69.
  2. Haz clic en Crear.
  3. En la sección Comando del panel Comando externo, ingresa el nombre del comando, como ZGOOGLE_CDF_TOKEN.

  4. En la sección Definición:

    1. En el campo Comando del sistema operativo, ingresa cmd /c.

    2. En el campo Parámetros para el comando del sistema operativo, ingresa lo siguiente:

      gcloud auth print-access-token SERVICE_ACCOUNT_NAME

  5. Haz clic en Guardar.

  6. Para probar la secuencia de comandos, haz clic en Ejecutar.

  7. Haz clic de nuevo en Ejecutar.

Se muestra un token Google Cloud en la parte inferior del panel de la interfaz de usuario de SAP.

Requisitos de SLT

El conector SLT debe tener la siguiente configuración:

  • El conector admite SAP ECC NW 7.02, DMIS 2011 SP17 y versiones posteriores.
  • Configura una RFC o una conexión de base de datos entre SLT y el sistema de Cloud Storage.
  • Configura los certificados SSL:
    • Descarga los siguientes certificados de AC del repositorio de Google Trust Services:
      • GTS Root R1
      • GTS CA 1C3
    • En la interfaz de usuario de SAP, usa la transacción STRUST para importar el certificado raíz y el subordinado a la carpeta SSL Client (Standard) PSE.
  • El Administrador de comunicación de Internet (ICM) debe estar configurado para HTTPS. Asegúrate de que los puertos HTTP y HTTPS se mantengan y activen en el sistema SAP SLT. Esto se puede verificar a través del código de transacción SMICM > Services.
  • Habilita el acceso a las APIs de Google Cloud en la VM donde se aloja el sistema SAP SLT. Esto permite la comunicación privada entre los servicios deGoogle Cloud sin enrutar a través de la Internet pública.
  • Asegúrate de que la red pueda admitir el volumen y la velocidad necesarios de la transferencia de datos entre la infraestructura de SAP y Cloud Storage. Para una instalación exitosa, se recomiendan Cloud VPN o Cloud Interconnect. La capacidad de procesamiento de la API de transmisión depende de las cuotas del cliente que se otorgaron a tu proyecto de Cloud Storage.

Configura el servidor de replicación de SLT

El usuario de SAP realiza los siguientes pasos.

En los siguientes pasos, conectarás el servidor de SLT al sistema de origen y al bucket de Cloud Storage. Para ello, especifica el sistema de origen, las tablas de datos que se replicarán y el bucket de almacenamiento de destino.

Configura el SDK de ABAP de Google

Para configurar SLT para la replicación de datos (una vez por instancia de Cloud Data Fusion), sigue estos pasos:

  1. Para configurar el conector de SLT, el usuario de SAP ingresa la siguiente información en la pantalla de configuración (transacción de SAP /GOOG/CDF_SETTINGS) sobre la clave de la cuenta de servicio Google Cloud para transferir datos a Cloud Storage. Configura las siguientes propiedades en la tabla /GOOG/CDF_CLT_KY con la transacción SE16 y toma nota de esta clave:

    • NAME: Es el nombre de la clave de tu cuenta de servicio (por ejemplo, CDFSLT).
    • SERVICE ACCOUNT NAME: Es el nombre de la cuenta de servicio de IAM.
    • SCOPE: Es el alcance de la cuenta de servicio.
    • PROJECT ID: Es el ID de tu Google Cloud proyecto.
    • Opcional: EXT OS Command: Usa este campo solo si SLT no está instalado en Google Cloud

    • AUTH CLASS: Si el comando del SO está configurado en la tabla /GOOG/CDF_CLT_KY, usa el valor fijo /GOOG/CDF_CL_GCP_AUTH.

    • TOKEN REFRESH SEC: Es la duración de la actualización del token de autorización.

Ingresa detalles sobre la clave de la cuenta de servicio

Crea la configuración de replicación

Crea una configuración de replicación en el código de transacción: LTRC.

  • Antes de continuar con la configuración de LTRC, asegúrate de que se haya establecido la conexión de RFC entre SLT y el sistema SAP de origen.
  • Para una configuración de SLT, puede haber varias tablas de SAP asignadas para la replicación.

  1. Ve al código de transacción LTRC y haz clic en Nueva configuración.

    Ingresa detalles sobre la clave de la cuenta de servicio

  2. Ingresa el Nombre de la configuración y la Descripción, y haz clic en Siguiente.

  3. Especifica la conexión RFC del sistema de origen de SAP y haz clic en Siguiente.

    Especifica los detalles de la conexión RFC del sistema de origen

  4. En Target System Connection Details, selecciona Other.

  5. Expande el campo Situación para la comunicación de RFC, selecciona SDK de SLT y haz clic en Siguiente.

  6. Ve a la ventana Especificar la configuración de transferencia y, luego, ingresa el nombre de la aplicación: ZGOOGLE_CDF.

    Especifica la configuración de transferencia

  7. Ingresa la cantidad de trabajos de transferencia de datos, la cantidad de trabajos de carga iniciales y la cantidad de trabajos de cálculo. Para obtener más información sobre el rendimiento, consulta la Guía de optimización del rendimiento de SAP LT Replication Server.

  8. Haz clic en En tiempo real > Siguiente.

  9. Revisa la configuración y haz clic en Guardar. Anota el ID de transferencia masiva para los siguientes pasos.

    Guarda la configuración y toma nota del ID de transferencia masiva

  10. Para mantener el ID de transferencia masiva y los detalles de la tabla de SAP, ejecuta la transacción de SAP: /GOOG/CDF_SETTINGS.

  11. Haz clic en Ejecutar o presiona F8.

  12. Para crear una entrada nueva, haz clic en el ícono de agregar fila.

    1. Ingresa el ID de transferencia masiva, la clave de transferencia masiva, el nombre de clave de GCP y el bucket de GCS de destino. Selecciona la casilla de verificación Is Active y guarda los cambios.

      Ingresa los detalles de la transferencia masiva de transporte

  13. Selecciona la configuración en la columna Configuration Name y haz clic en Data Provisioning.

    Selecciona el aprovisionamiento de datos

  14. Opcional: Personaliza los nombres de la tabla y los campos.

    1. Haz clic en Nombres personalizados y guárdalos.

    2. Haz clic en Pantalla.

    3. Para crear una entrada nueva, haz clic en los botones Agregar fila o Crear.

    4. Ingresa el nombre de la tabla de SAP y el nombre de la tabla externa que deseas usar en BigQuery y guarda los cambios.

    5. Haz clic en el botón Ver en la columna Campos de visualización para mantener la asignación de los campos de la tabla.

    6. Se abrirá una página con las asignaciones sugeridas. Opcional: Edita el Nombre del campo temporal y la Descripción del campo y, luego, guarda las asignaciones.

  15. Ve a la transacción de LTRC.

  16. Selecciona el valor de la columna Configuration Name y haz clic en Data provisioning.

  17. Ingresa el nombre de la tabla en el campo Nombre de la tabla en la base de datos y selecciona la situación de replicación.

    Selecciona la situación de replicación

  18. Haz clic en Ejecutar. Esto activa la implementación del SDK de SLT y comienza a transferir los datos al bucket de destino en Cloud Storage.

Instala archivos de transporte de SAP

Para diseñar y ejecutar trabajos de replicación en Cloud Data Fusion, los componentes de SAP se entregan como archivos de transporte de SAP que se archivan en un archivo ZIP. La descarga estará disponible cuando implementes el complemento en el Centro de noticias de Cloud Data Fusion.

Para instalar los transportes de SAP, sigue estos pasos:

Paso 1: Sube los archivos de solicitud de transporte

  1. Accede al sistema operativo de la instancia de SAP.
  2. Usa el código de transacción AL11 de SAP para obtener la ruta de acceso de la carpeta DIR_TRANS. Por lo general, la ruta es /usr/sap/trans/.
  3. Copia los coarchivos a la carpeta DIR_TRANS/cofiles.
  4. Copia los archivos de datos a la carpeta DIR_TRANS/data.
  5. Establece el usuario y el grupo de datos y el archivo compartido en <sid>adm y sapsys.

Paso 2: Importa los archivos de solicitud de transporte

El administrador de SAP puede importar los archivos de solicitud de transporte con el sistema de administración de transporte de SAP o el sistema operativo:

Sistema de administración de transporte de SAP

  1. Accede al sistema SAP como administrador de SAP.
  2. Ingresa el STMS de la transacción.
  3. Haz clic en Descripción general > Importaciones.
  4. En la columna Cola, haz doble clic en el SID actual.
  5. Haz clic en Adicionales > Otras solicitudes > Agregar.
  6. Selecciona el ID de la solicitud de transporte y haz clic en Continuar.
  7. Selecciona la solicitud de transporte en la cola de importación y, luego, haz clic en Solicitud > Importar.
  8. Ingresa el número de cliente.

  9. En la pestaña Opciones, selecciona Reemplazar originales y, también, Ignorar versión de componente no válida (si está disponible).

    Opcional: Para volver a importar los transportes más adelante, haz clic en Dejar las solicitudes de transporte en la cola para una importación posterior y Importar solicitudes de transporte de nuevo. Esto es útil para las actualizaciones del sistema SAP y las restauraciones de copias de seguridad.

  10. Haz clic en Continuar.

  11. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante transacciones, como SE80 y PFCG.

Sistema operativo

  1. Accede al sistema SAP como administrador de SAP.

  2. Agrega solicitudes al búfer de importación:

    tp addtobuffer TRANSPORT_REQUEST_ID SID

    Por ejemplo: tp addtobuffer IB1K903958 DD1

  3. Importa las solicitudes de transporte:

    tp import TRANSPORT_REQUEST_ID SID client=NNN U1238

    Reemplaza NNN por el número de cliente. Por ejemplo: tp import IB1K903958 DD1 client=800 U1238

  4. Verifica que el módulo de función y los roles de autorización se hayan importado de forma correcta mediante las transacciones adecuadas, como SE80 y PFCG.

Autorizaciones necesarias de SAP

Para ejecutar una canalización de datos en Cloud Data Fusion, necesitas un usuario de SAP. El usuario de SAP debe ser de tipo de comunicación o diálogo. Para evitar el uso de recursos de diálogo de SAP, se recomienda el tipo de comunicación. El administrador de SAP puede crear usuarios con el código de transacción SU01 de SAP.

Las autorizaciones de SAP son necesarias para mantener y configurar el conector para SAP, una combinación de objetos de autorización estándar de SAP y nuevos del conector. Mantienes objetos de autorización según las políticas de seguridad de tu organización. En la siguiente lista, se describen algunas autorizaciones importantes necesarias para el conector:

  • Objeto de autorización: El objeto de autorización ZGOOGCDFMT se envía como parte del rol de solicitud de transporte.

  • Creación de roles: Crea un rol con el código de transacción PFCG.

    Crea un rol con un código de transacción de SAP

  • En el caso de los objetos de autorización de SAP estándar, tu organización administra los permisos con su propio mecanismo de seguridad.

  • Para los objetos de autorización personalizados, proporciona valores en los campos de autorización para los objetos de autorización ZGOOGCDFMT.

  • Para el control de acceso detallado, ZGOOGCDFMT proporciona autorización basada en el grupo de autorización. Los usuarios con acceso completo, parcial o sin acceso a los grupos de autorización se les proporciona acceso según el grupo de autorización asignado en su rol.

  • /GOOG/SLT_CDF_AUTH: Es un rol con acceso a todos los grupos de autorización. Para restringir el acceso específico a un grupo de autorización en particular, mantén el FICDF del grupo de autorización en la configuración.

Crea un destino de RFC para la fuente

Antes de comenzar con la configuración, asegúrate de que se establezca la conexión de RFC entre el origen y el destino.

  1. Ve al código de transacción SM59.

  2. Haz clic en Crear > Tipo de conexión 3 (conexión ABAP).

    Crea un código de transacción

  3. En la ventana Configuración técnica, ingresa los detalles sobre el destino de RFC.

  4. Haz clic en la pestaña Logon and Security para mantener las credenciales de RFC (usuario y contraseña de RFC).

  5. Haz clic en Guardar.

  6. Haz clic en Prueba de conexión. Si la prueba se realiza correctamente, puedes continuar.

  7. Verifica que la prueba de autorización de RFC se realice correctamente.

  8. Haz clic en Utilidades > Prueba > Prueba de autorización.

Configura el complemento

Para configurar el complemento, instálalo desde el centro, crea un trabajo de replicación y configura la fuente y el destino con los siguientes pasos.

Implementa el complemento en Cloud Data Fusion

El usuario de Cloud Data Fusion realiza los siguientes pasos.

Antes de que puedas ejecutar el trabajo de replicación de Cloud Data Fusion, implementa el complemento de replicación de SAP SLT:

  1. Ve a tu instancia:

    1. En la consola de Google Cloud, ve a la página Instancias de Cloud Data Fusion.

      Ir a Instancias

    2. Habilita la replicación en una instancia nueva o existente:

      • Para una instancia nueva, haz clic en Crear instancia, ingresa un nombre para la instancia, haz clic en Agregar aceleradores, selecciona la casilla de verificación Replicación y haz clic en Guardar.
      • Para una instancia existente, consulta Habilita la replicación en una instancia existente.

    3. Haz clic en Ver instancia para abrirla en la interfaz web de Cloud Data Fusion.

  2. Haz clic en Hub.

  3. Ve a la pestaña SAP, haz clic en SAP SLT y, luego, en SAP SLT Replication Plugin o SAP SLT No RFC Replication Plugin.

  4. Haz clic en Implementar.

Crea un trabajo de replicación

El complemento de SAP SLT Replication lee el contenido de las tablas de SAP con un bucket de etapa de la API de Cloud Storage.

Para crear un trabajo de replicación para tu transferencia de datos, sigue estos pasos:

  1. En la instancia abierta de Cloud Data Fusion, haz clic en Página principal > Replicación > Crear un trabajo de replicación. Si no hay una opción de Replicación, habilita la replicación para la instancia.

  2. Ingresa un Nombre y una Descripción únicos para la tarea de replicación.

  3. Haz clic en Siguiente.

Configura la fuente

  1. Para configurar la fuente, ingresa valores en los siguientes campos:

    • ID del proyecto: Es el ID de tu Google Cloud proyecto (este campo se prepropaga).

    • Ruta de acceso de GCS de replicación de datos: Es la ruta de acceso de Cloud Storage que contiene datos para la replicación. Debe ser la misma ruta que se configuró en los trabajos de SAP SLT. De forma interna, la ruta de acceso proporcionada se concatena con Mass Transfer ID y Source Table Name:

      Formato: gs://<base-path>/<mass-transfer-id>/<source-table-name>

      Ejemplo: gs://slt_bucket/012/MARA

    • GUID: Es el GUID de SLT, un identificador único asignado al ID de transferencia masiva de SLT de SAP.

    • ID de transferencia masiva: El ID de transferencia masiva de SLT es un identificador único asignado a la configuración en SAP SLT.

    • Ruta de acceso de GCS de la biblioteca de SAP JCo: Es la ruta de acceso de almacenamiento que contiene los archivos de la biblioteca de SAP JCo subidos por el usuario. Las bibliotecas de SAP JCo se pueden descargar desde el Portal de asistencia de SAP. (Se quitó en la versión 0.10.0 del complemento).

    • Host del servidor de SLT: Es el nombre de host o la dirección IP del servidor de SLT. (Se quitó en la versión 0.10.0 del complemento).

    • Número de sistema SAP: Es el número de sistema de instalación que proporciona el administrador del sistema (por ejemplo, 00). (Se quitó en la versión 0.10.0 del complemento).

    • Cliente de SAP: Es el cliente de SAP que se usará (por ejemplo, 100). (Se quitó en la versión 0.10.0 del complemento).

    • Lenguaje de SAP: Es el lenguaje de inicio de sesión de SAP (por ejemplo, EN). (Se quitó en la versión 0.10.0 del complemento).

    • Nombre de usuario de inicio de sesión de SAP: Es el nombre de usuario de SAP. (Se quitó en la versión 0.10.0 del complemento).

      • Recomendación: Si el nombre de usuario de inicio de sesión de SAP cambia de forma periódica, usa una macro.

    • Contraseña de inicio de sesión de SAP (M): Contraseña de usuario de SAP para la autenticación del usuario.

      • Recomendación: Usa macros seguras para valores sensibles, como contraseñas. (Se quitó en la versión 0.10.0 del complemento).

    • Suspende la replicación de SLT cuando se detiene el trabajo de CDF: Intenta detener el trabajo de replicación de SLT (para las tablas involucradas) cuando se detiene el trabajo de replicación de Cloud Data Fusion. Es posible que falle si el trabajo en Cloud Data Fusion se detiene de forma inesperada.

    • Replicar datos existentes: Indica si se deben replicar los datos existentes de las tablas de origen. De forma predeterminada, los trabajos replican los datos existentes de las tablas de origen. Si se establece en false, se ignoran los datos existentes en las tablas de origen y solo se replican los cambios que se producen después de que se inicia el trabajo.

    • Clave de la cuenta de servicio: Es la clave que se debe usar cuando se interactúa con Cloud Storage. La cuenta de servicio debe tener permiso para escribir en Cloud Storage. Cuando se ejecuta en una VM de Google Cloud , se debe establecer en auto-detect para usar la cuenta de servicio adjunta a la VM.

  2. Haz clic en Siguiente.

Configura el destino

Para escribir datos en BigQuery, el plugin requiere acceso de escritura a BigQuery y a un bucket de preparación. Los eventos de cambio se escriben primero en lotes desde SLT a Cloud Storage. Luego, se cargan en las tablas de etapa intermedia de BigQuery. Los cambios de la tabla de preparación se combinan en la tabla de destino final con una consulta de combinación de BigQuery.

La tabla de destino final incluye todas las columnas originales de la tabla de origen, además de una columna _sequence_num adicional. El número de secuencia garantiza que los datos no se dupliquen ni se pierdan en situaciones de fallas del replicador.

  1. Para configurar la fuente, ingresa valores en los siguientes campos:

    • ID del proyecto: Es el proyecto del conjunto de datos de BigQuery. Cuando se ejecuta en un clúster de Dataproc, se puede dejar en blanco, lo que usará el proyecto del clúster.
    • Credenciales: Consulta Credenciales.
    • Clave de cuenta de servicio: Es el contenido de la clave de cuenta de servicio que se usará cuando se interactúe con Cloud Storage y BigQuery. Cuando se ejecuta en un clúster de Dataproc, se debe dejar en blanco, lo que usa la cuenta de servicio del clúster.
    • Nombre del conjunto de datos: Es el nombre del conjunto de datos que se creará en BigQuery. Es opcional y, de forma predeterminada, el nombre del conjunto de datos es el mismo que el nombre de la base de datos de origen. Un nombre válido solo debe contener letras, números y guiones bajos, y su longitud máxima puede ser de 1,024 caracteres. Cualquier carácter no válido se reemplazará por guiones bajos en el nombre del conjunto de datos final, y se truncarán los caracteres que superen el límite de longitud.
    • Nombre de la clave de encriptación: Es la clave de encriptación administrada por el cliente (CMEK) que se usa para proteger los recursos que crea este objetivo. El nombre de la clave de encriptación debe ser del formato projects/<project-id>/locations/<key-location>/keyRings/<key-ring-name>/cryptoKeys/<key-name>.
    • Ubicación: Es la ubicación en la que se crean el conjunto de datos de BigQuery y el bucket de preparación de Cloud Storage. Por ejemplo, us-east1 para buckets regionales y us para buckets multirregionales (consulta Ubicaciones). Este valor se ignora si se especifica un bucket existente, ya que el bucket de preparación y el conjunto de datos de BigQuery se crean en la misma ubicación que ese bucket.

    • Bucket de preparación: Es el bucket en el que se escriben los eventos de cambio antes de que se carguen en las tablas de preparación. Los cambios se escriben en un directorio que contiene el nombre y el espacio de nombres del replicador. Es seguro usar el mismo bucket en varios replicadores dentro de la misma instancia. Si los replicadores lo comparten en varias instancias, asegúrate de que el espacio de nombres y el nombre sean únicos; de lo contrario, el comportamiento no se definirá. El bucket debe estar en la misma ubicación que el conjunto de datos de BigQuery. Si no se proporciona, se crea un bucket nuevo para cada trabajo llamado df-rbq-<namespace-name>-<job-name>-<deployment-timestamp>.

    • Intervalo de carga (segundos): Es la cantidad de segundos que se deben esperar antes de cargar un lote de datos en BigQuery.

    • Prefijo de la tabla de preparación: Los cambios se escriben primero en una tabla de preparación antes de combinarse con la tabla final. Para generar los nombres de las tablas de preparación, se antepone este prefijo al nombre de la tabla de destino.

    • Require Manual Drop Intervention: Indica si se requiere una acción administrativa manual para eliminar tablas y conjuntos de datos cuando se produce un evento de eliminación de tabla o base de datos. Cuando se establece como verdadero, el replicador no borra una tabla ni un conjunto de datos. En su lugar, falla y vuelve a intentarlo hasta que la tabla o el conjunto de datos no existan. Si el conjunto de datos o la tabla no existen, no se requiere intervención manual. El evento se omite como de costumbre.

    • Enable Soft Deletes: Si se establece como verdadero, cuando el destino recibe un evento de eliminación, la columna _is_deleted del registro se establece en true. De lo contrario, el registro se borra de la tabla de BigQuery. Esta configuración no realiza ninguna acción para una fuente que genera eventos fuera de orden, y los registros siempre se borran de forma diferida de la tabla de BigQuery.

  2. Haz clic en Siguiente.

Credenciales

Si el complemento se ejecuta en un clúster de Dataproc, la clave de la cuenta de servicio se debe configurar para que se detecte automáticamente. Las credenciales se leen automáticamente del entorno del clúster.

Si el complemento no se ejecuta en un clúster de Dataproc, se debe proporcionar la ruta a una clave de cuenta de servicio. Puedes encontrar la clave de la cuenta de servicio en la página de IAM de la consola de Google Cloud. Asegúrate de que la clave de la cuenta tenga permiso para acceder a BigQuery. El archivo de claves de la cuenta de servicio debe estar disponible en todos los nodos del clúster y todos los usuarios que ejecuten la tarea deben poder leerlo.

Limitaciones

  • Las tablas deben tener una clave primaria para replicarse.
  • No se admiten operaciones de cambio de nombre de la tabla.
  • Los cambios en las tablas son compatibles de forma parcial.
    • Una columna existente no anulable se puede modificar en una columna anulable.
    • Se pueden agregar nuevas columnas con valores nulos a una tabla existente.
    • Cualquier otro tipo de alteración en el esquema de la tabla fallará.
    • Los cambios en la clave primaria no fallarán, pero los datos existentes no se reescriben para obedecer la unicidad en la nueva clave primaria.

Selecciona tablas y transformaciones

En el paso Seleccionar tablas y transformaciones, aparece una lista de tablas seleccionadas para la replicación en el sistema de SLT.

  1. Selecciona las tablas que deseas replicar.
  2. Opcional: Selecciona operaciones de esquema adicionales, como Inserts, Updates o Deletes.
  3. Para ver el esquema, haz clic en Columnas para replicar en una tabla.

  4. Opcional: Para cambiar el nombre de las columnas del esquema, sigue estos pasos:

    1. Mientras ves el esquema, haz clic en Transformar > Cambiar nombre.
    2. En el campo Cambiar nombre, ingresa un nombre nuevo y haz clic en Aplicar.
    3. Para guardar el nombre nuevo, haz clic en Actualizar y Guardar.

  5. Haz clic en Siguiente.

Opcional: Configura propiedades avanzadas

Si sabes cuántos datos replicarás en una hora, puedes seleccionar la opción adecuada.

Revisa la evaluación

El paso Revisar evaluación busca problemas de esquema, funciones faltantes o problemas de conectividad que ocurren durante la replicación.

  1. En la página Revisar evaluación, haz clic en Ver asignaciones.

    Si se produce algún problema, debes resolverlo antes de poder continuar.

  2. Opcional: Si cambiaste el nombre de las columnas cuando seleccionaste las tablas y las transformaciones, verifica que los nombres nuevos sean correctos en este paso.

  3. Haz clic en Siguiente.

Consulta el resumen y, luego, implementa el trabajo de replicación

En la página Revisar los detalles del trabajo de replicación, revisa la configuración y haz clic en Implementar trabajo de replicación.

Selecciona un perfil de Compute Engine

  1. Después de implementar el trabajo de replicación, haz clic en Configurar en cualquier página de la interfaz web de Cloud Data Fusion.

  2. Selecciona el perfil de Compute Engine que deseas usar para ejecutar esta tarea de replicación.

  3. Haz clic en Guardar.

    Selecciona un perfil de procesamiento en la interfaz web de Cloud Data Fusion.

Inicia el trabajo de replicación

  • Para ejecutar el trabajo de replicación, haz clic en Iniciar.

Inicia el trabajo de replicación en la interfaz web de Cloud Data Fusion

Opcional: Optimiza el rendimiento

De forma predeterminada, el complemento se configura para obtener un rendimiento óptimo. Para obtener optimizaciones adicionales, consulta Argumentos del entorno de ejecución.

El rendimiento de la comunicación de SLT y Cloud Data Fusion depende de estos factores:

  • SLT en el sistema de origen en comparación con un sistema de SLT central dedicado (opción preferida)
  • Procesamiento de trabajos en segundo plano en el sistema SLT
  • Procesos de trabajo de diálogo en el sistema SAP de origen
  • Es la cantidad de procesos de trabajo en segundo plano asignados a cada ID de transferencia masiva en la pestaña Administración de LTRC.
  • Configuración de LTRS
  • Hardware (CPU y memoria) del sistema de SLT
  • La base de datos que se usa (por ejemplo, HANA, Sybase o DB2)
  • El ancho de banda de Internet (conectividad entre el sistema SAP yGoogle Cloud a través de Internet)
  • Utilización (carga) preexistente en el sistema
  • Es la cantidad de columnas de la tabla. Con más columnas, la replicación se vuelve lenta y la latencia puede aumentar.

Se recomiendan los siguientes tipos de lectura en la configuración de LTRS para las cargas iniciales:

Sistema SLT Sistema de origen Tipo de tabla Tipo de lectura recomendado
[carga inicial]
SLT 3.0 independiente
[DMIS 2018_1_752 SP 2] 		S/4 HANA 1909 Transparente (pequeña/mediana)
Transparente (grande)
Tabla de clústeres		 1 cálculo de rango
1 cálculo de rango
4 colas de remitentes
SLT incorporado
[S4CORE 104 HANA 1909]		 N/A Transparente (pequeña/mediana)
Transparente (grande)
Tabla de clústeres		 1 cálculo de rango
1 cálculo de rango
4 colas de remitentes
SLT 2.0 independiente
[DMIS 2011_1_731 SP 17]		 ECC NW 7.02 Transparente (pequeña/mediana)
Transparente (grande)
Tabla de clústeres		 Cola de 5 remitentes
Cola de 5 remitentes
Cola de 4 remitentes
SLT incorporado
[DMIS 2011_1_700 SP 17]		 N/A Transparente (pequeña/mediana)
Transparente (grande)
Tabla de clústeres		 Cola de 5 remitentes
Cola de 5 remitentes
Cola de 4 remitentes
  • Para la replicación, usa Sin rangos para mejorar el rendimiento:
    • Los rangos solo deben usarse cuando se generan listas de tareas pendientes en una tabla de registro con alta latencia.
    • Uso de un cálculo de rango: No se recomienda el tipo de lectura para la carga inicial en el caso de SLT 2.0 y sistemas que no son HANA.
    • Usar un cálculo de rango: El tipo de lectura para la carga inicial puede generar registros duplicados en BigQuery.
  • El rendimiento siempre es mejor cuando se usa un sistema de SLT independiente.
  • Siempre se recomienda un sistema SLT independiente si el uso de recursos del sistema fuente ya es alto.

Argumentos del entorno de ejecución

  • snapshot.thread.count: Pasa la cantidad de subprocesos para comenzar a realizar la carga de datos de SNAPSHOT/INITIAL en paralelo. De forma predeterminada, usa la cantidad de CPU virtuales disponibles en el clúster de Dataproc en el que se ejecuta el trabajo de replicación.

    Opción recomendada: Solo configura este parámetro en los casos en que necesites un control preciso sobre la cantidad de subprocesos en paralelo (por ejemplo, para disminuir el uso en el clúster).

  • poll.file.count: Pasa la cantidad de archivos que se sondearán desde la ruta de Cloud Storage proporcionada en el campo Ruta de GCS de replicación de datos en la interfaz web. De forma predeterminada, el valor es 500 por sondeo. Sin embargo, según la configuración del clúster, se puede aumentar o disminuir.

    Opción recomendada: Solo configura este parámetro si tienes requisitos estrictos para la demora de replicación. Los valores más bajos podrían reducir la demora. Puedes usarlo para mejorar la capacidad de procesamiento (si no responde, usa valores superiores al predeterminado).

  • bad.files.base.path: Pasa la ruta de acceso base de Cloud Storage a la que se copian todos los archivos de datos con errores o defectuosos que se encontraron durante la replicación. Esto es útil cuando hay requisitos estrictos para la auditoría de datos y se debe usar una ubicación específica para registrar las transferencias fallidas.

    De forma predeterminada, todos los archivos defectuosos se copian de la ruta de acceso de Cloud Storage proporcionada en el campo Ruta de acceso de Cloud Storage de la replicación de datos en la interfaz web.

    • Patrón de ruta de acceso final de los archivos de datos defectuosos: 

      gs://BASE_FILE_PATH/MASS_TRANSFER_ID/SOURCE_TABLE_NAME/bad_files/REPLICATION_JOB_NAME/REPLICATION_JOB_ID/BAD_FILE_NAME

    • Ejemplo:

      gs://slt_to_cdf_bucket/001/MARA/bad_files/MaraRepl/05f97349-7398-11ec-9443-8
ac0640fc83c/20220205_1901205168830_DATA_INIT.xml

    Los criterios para determinar si un archivo es incorrecto son los siguientes: archivo en formato XML dañado o no válido, valores de PK faltantes o un problema de discrepancia de tipo de datos de campo.

Detalles de la asistencia

Productos y versiones de SAP compatibles

  • Versión SAP_BASIS 702, nivel de SP 0016 y versiones posteriores
  • Versión SAP_ABA 702, nivel de SP 0016 y versiones posteriores
  • Versión DMIS 2011_1_700, nivel de SP 0017 y versiones posteriores

Versiones de SLT compatibles

Se admiten las versiones 2 y 3 de SLT.

Modelos de implementación de SAP compatibles

SLT como un sistema independiente o incorporado en el sistema de origen

Notas de SAP que se deben implementar antes de comenzar a usar el SLT

Si tu paquete de asistencia no incluye correcciones de clase /UI2/CL_JSON para PL12 o versiones posteriores, implementa la nota de SAP más reciente para correcciones de clase /UI2/CL_JSON, por ejemplo, la nota de SAP 2798102 para PL12.

Opción recomendada: Implementa las notas de SAP que recomienda el informe CNV_NOTE_ANALYZER_SLT según la condición del sistema central o de origen. Para obtener más información, consulta la Nota 3016862 de SAP (se requiere acceso a SAP).

Si SAP ya está configurado, no se debe implementar ninguna nota adicional. Si tienes errores o problemas específicos, consulta la nota central de SAP de tu versión de SLT.

Límites para el volumen de datos o el ancho del registro

No hay un límite definido para el volumen de datos extraídos ni el ancho del registro.

Capacidad de procesamiento esperada para el complemento de replicación de SAP SLT

Para un entorno configurado de acuerdo con los lineamientos de Optimiza el rendimiento, el complemento puede extraer alrededor de 13 GB por hora para la carga inicial y 3 GB por hora para la replicación (CDC). El rendimiento real puede variar con la carga del sistema SAP y Cloud Data Fusion, o el tráfico de red.

Compatibilidad con la extracción de delta (datos modificados) de SAP

Se admite la extracción de delta de SAP.

Obligatorio: Vinculación de inquilinos para instancias de Cloud Data Fusion

El emparejamiento de inquilinos es obligatorio cuando la instancia de Cloud Data Fusion se crea con una dirección IP interna. Para obtener más información sobre el enrutamiento entre inquilinos, consulta Cómo crear una instancia privada.

Solucionar problemas

El trabajo de replicación se reinicia constantemente

Si la tarea de replicación sigue reiniciándose automáticamente, aumenta la memoria del clúster de la tarea de replicación y vuelve a ejecutarla.

Duplicados en el destino de BigQuery

Si defines la cantidad de trabajos en paralelo en la configuración avanzada del plugin de replicación de SAP SLT, cuando tus tablas sean grandes, se producirá un error que causará columnas duplicadas en el receptor de BigQuery.

Para evitar el problema, quita los trabajos en paralelo cuando cargues datos.

Situaciones de error

En la siguiente tabla, se enumeran algunos mensajes de error comunes (el texto entre comillas se reemplazará por valores reales durante el tiempo de ejecución):

ID de mensaje Mensaje Acción recomendada
CDF_SAP_SLT_01402 Service account type is not defined for SERVICE_ACCT_NAME_FROM_UI. Asegúrate de que la ruta de acceso de Cloud Storage proporcionada sea correcta.
CDF_SAP_SLT_01403 Service account key provided is not valid due to error: ROOT_CAUSE. Please provide a valid service account key for service account type : SERVICE_ACCT_NAME_FROM_UI. Verifica la causa raíz que se muestra en el mensaje y toma las medidas adecuadas.
CDF_SAP_SLT_01404 Mass Transfer ID could not be found. Please ensure that it exists in given GCS Bucket. Verifica que el ID de transferencia masiva que se proporcionó tenga el formato correcto.
CDF_SAP_SLT_01502 The specified data replication GCS path 'slt_to_cdf_bucket_1' or Mass Transfer ID '05C' could not be found. Please ensure that it exists in GCS. Asegúrate de que la ruta de Cloud Storage proporcionada sea correcta.
CDF_SAP_SLT_01400 Metadata file not found. The META_INIT.json file is not present or file is present with invalid format. Verifica la causa raíz que se muestra en el mensaje y toma las medidas adecuadas.
CDF_SAP_SLT_03408 Failed to start the event reader. Verifica la causa raíz que se muestra en el mensaje y toma las medidas adecuadas.
CDF_SAP_SLT_03409 Error while processing TABLE_NAME file for source table gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/TABLE_NAME /FILE_NAME. Root cause: ROOT_CAUSE. Verifica la causa raíz que se muestra en el mensaje y toma las medidas adecuadas.
CDF_SAP_SLT_03410 Failed to replicate data for source table TABLE_NAME from file: gs://CLOUD_STORAGE_BUCKET_NAME/MT_ID/ TABLE_NAME/FILE_NAME. Root cause: ROOT_CAUSE. Verifica la causa raíz que se muestra en el mensaje y toma las medidas adecuadas.
CDF_SAP_SLT_03411 Failed data replication for source table TABLE_NAME. Root cause: ROOT_CAUSE. Verifica la causa raíz que se muestra en el mensaje y toma las medidas adecuadas.
CDF_SAP_SLT_03412 Failed to create target table for source table TABLE_NAME. Root cause: ROOT_CAUSE. Verifica la causa raíz que se muestra en el mensaje y toma las medidas adecuadas.

Asignación de tipos de datos

En la siguiente tabla, se muestra la asignación entre los tipos de datos que se usan en las aplicaciones de SAP y Cloud Data Fusion.

Tipo de datos SAP Tipo de ABAP Descripción (SAP) Tipo de datos de Cloud Data Fusion
Numérico
INT1 b Número entero de 1 byte int
INT2 s Número entero de 2 bytes int
INT4 i Número entero de 4 bytes int
INT8 8 Entero de 8 bytes long
DIC p Número empaquetado en formato BCD (DEC) decimal
DF16_DEC
DF16_RAW		 a Punto flotante decimal de 8 bytes, IEEE 754r decimal
DF34_DEC
DF34_RAW		 e Punto flotante decimal de 16 bytes, IEEE 754r decimal
FLTP f Número de punto flotante binario double
Regla
CHAR
LCHR		 c Cadena de caracteres string
SSTRING
GEOM_EWKB		 string Cadena de caracteres string
STRING
GEOM_EWKB		 string CLOB de string de caracteres bytes
NUMC
ACCP		 n Texto numérico string
Byte
RAW
LRAW		 x Datos binarios bytes
STRING SIN PROCESAR xstring BLOB de cadena de bytes bytes
fecha/hora
DATS d Fecha date
Tims t Hora time
TIMESTAMP utcl ( Utclong )
TimeStamp		 timestamp

¿Qué sigue?