Versión 2.0: Guía de operaciones de BigQuery Connector para SAP

En esta guía se muestra a los administradores de SAP LT Replication Server, los ingenieros de datos de SAP o cualquier otro cómo realizar tareas operativas, como el ajuste del rendimiento y las actualizaciones de versiones, para las versiones 2.0 y 2.1 de BigQuery Connector for SAP.

Ajusta el rendimiento de la replicación

El rendimiento de la replicación puede verse afectado por varios factores. Los factores específicos que se pueden aplicar pueden variar entre instalaciones y pueden cambiar con el tiempo.

En las siguientes secciones, se brinda orientación sobre cómo ajustar algunos de los factores más comunes que pueden afectar el rendimiento.

Si deseas obtener más información sobre el rendimiento de la replicación con BigQuery Connector para SAP, consulta Planificación del rendimiento.

Configura opciones de rendimiento para las tablas

En SAP LT Replication Server, puedes especificar opciones de replicación para cada tabla que afecta el rendimiento.

En particular, el rendimiento de la replicación para las tablas grandes, que requieren más tiempo y recursos para replicarse, puede mejorar si especificas rangos y aumentas la cantidad máxima de trabajos de replicación paralelos que se pueden usar para la tabla.

Algunos ejemplos de tablas que suelen ser grandes son MSEG, ACDOCA y MATDOC, entre otras.

Cuando especificas trabajos de replicación paralelos para tablas grandes, debes equilibrar la cantidad de trabajos paralelos que permites para una tabla determinada y la cantidad total de trabajos paralelos permitidos en la configuración de transferencia masiva. Tu organización también puede limitar la cantidad de trabajos de replicación paralelos que puedes especificar para un servidor determinado.

Si deseas establecer las opciones de rendimiento de una tabla, sigue estos pasos:

  1. En la GUI de SAP, ingresa la transacción LTRS de SAP.

  2. En la pantalla Configuración avanzada de la replicación, especifica el ID de la configuración de transferencia masiva para la tabla.

  3. En la jerarquía de carpetas de Configuración avanzada de la replicación, haz clic en la carpeta Opciones de rendimiento para ver las tablas que tienen opciones de rendimiento definidas.

  4. Si la tabla que necesitas no aparece en la lista, haz clic con el botón derecho en la carpeta Opciones de rendimiento y selecciona Agregar tabla.

  5. Especifica un nombre para la tabla.

  6. Especifica las siguientes opciones según sea necesario:

    • En Opciones de rendimiento generales:
      • N.º de trabajos paralelos, para establecer la cantidad máxima de trabajos de replicación paralelos que se pueden usar en la tabla.
      • Número de secuencia, para priorizar la replicación de esta tabla en relación con otras replicaciones de tablas.
    • En Opciones de carga inicial, haz lo siguiente:
      • En Tipo de lectura, selecciona Lectura de tipo 1: cálculo de rangos si tu tabla no es demasiado grande. Para obtener más información, consulta Rendimiento y la configuración avanzada de la replicación de LTRS.
      • En Tamaño del paquete, especifica el tamaño en bytes de las partes de los registros que se envían a SAP LT Replication Server.
      • Si seleccionas un tipo de lectura que use rangos, define los rangos adecuados.
    • En Opción de replicación, haz lo siguiente:
      • En Rangos para la tabla de Logging, especifica N.º de rangos en la opción más confiable.
      • Si seleccionas Especificar rangos de forma manual, define los rangos adecuados.

  7. Haz clic en Guardar.

Comparativa de rendimiento de referencia

Para ayudarte a evaluar el rendimiento de la replicación, en esta sección, se incluyen números de rendimiento de referencia que se observaron en los sistemas de prueba de Google Cloud.

Debido a los diversos factores que afectan el rendimiento, es probable que los números de rendimiento varíen.

Por ejemplo, si tus sistemas SAP no se ejecutan en Google Cloud, tus tasas de carga y replicación pueden ser más lentas que las tasas de referencia debido a elementos como la latencia de red y la sobrecarga asociada con los tokens de acceso. Si tu tabla de origen tiene menos columnas o instalas SAP LT Replication Server en su propio servidor en una arquitectura independiente, tus tasas podrían ser más rápidas porque SAP LT Replication Server no tiene que competir con el sistema de origen por los recursos.

Números de rendimiento de referencia observados

Los siguientes números de rendimiento representan el rendimiento de referencia que observó Google Cloud para cada tipo de sistema de origen durante las pruebas. En cada sistema de prueba, SAP LT Replication Server se instaló en el sistema de origen de SAP en una arquitectura incorporada en las VM de Compute Engine. El sistema de origen de SAP se ejecutaba en la misma región de Google Cloud que el conjunto de datos de BigQuery de destino.

Para obtener información sobre la configuración de los sistemas de prueba, consulta Configuración del sistema de prueba de rendimiento de referencia.

Para ver los números de rendimiento, haz clic en tu tipo de sistema de origen:

S/4HANA

  • Tabla: ACDOCA
    • 343 millones de registros
    • 477 columnas
  • Carga inicial
    • Tasa de carga: 350 millones de registros por hora en promedio
    • Duración de la carga: 59 minutos en promedio
  • Replicación
    • Tasa de cambio de la tabla de origen: 50 millones de registros por hora en promedio
    • Tasa de replicación máxima: 50 millones de registros por hora en promedio

ECC

  • Tabla: MSEG
    • 203 millones de registros
    • 188 columnas
  • Carga inicial
    • Tasa de carga: 385 millones de registros por hora en promedio
    • Duración de la carga: 32 minutos en promedio
  • Replicación
    • Tasa de cambio de la tabla de origen: 50 millones de registros por hora en promedio
    • Tasa de replicación máxima: 69 millones de registros por hora en promedio

Las cifras de rendimiento anteriores son las referencias que observaron los verificadores de Google Cloud.

El rendimiento observado fue mejor en los sistemas de prueba que tenían los siguientes atributos:

  • SAP LT Replication Server se instaló en su propia VM en una arquitectura independiente.
    • En los sistemas S/4HANA, se observó que una arquitectura independiente tiene una tasa de carga inicial un 42% más rápida aproximadamente que una arquitectura incorporada debido al escalamiento independiente de los procesos de SAP LT Replication Server.
    • En los sistemas ECC, se observó que una arquitectura independiente tiene una tasa de carga inicial un 10% más rápida aproximadamente que una arquitectura incorporada debido al escalamiento independiente de los procesos SAP LT Replication Server.
  • La tabla fuente tenía menos columnas.
  • El tamaño total de bytes de los registros era menor.

Si deseas obtener información sobre los atributos del sistema que puedes modificar para mejorar el rendimiento, consulta los siguientes vínculos:

Configuración del sistema de prueba de rendimiento de referencia

Los sistemas de prueba descritos en esta sección produjeron los números de rendimiento de referencia que se enumeran en la sección anterior, Números de rendimiento de referencia observados.

Los sistemas de prueba, incluido el sistema de origen de SAP, SAP LT Replication Server y el conjunto de datos de BigQuery, se ejecutaban en VM de Compute Engine en la misma región de Google Cloud.

En cada sistema, los servidores y la carga de trabajo se diseñaron para simular una carga de trabajo más pesada y un volumen de replicación más alto que podrías encontrar en muchas instalaciones reales.

Para ver los atributos del sistema de prueba, haz clic en el tipo de sistema de origen:

S/4HANA

  • Arquitectura de instalación de SAP LT Replication Server:
    • Arquitectura incorporada
  • Servidores de sistemas de origen:
    • Dos servidores de aplicaciones, cada uno en un tipo personalizado de máquina de Compute Engine basado en N2 con las siguientes especificaciones:
      • CPU virtuales: 60
      • Memoria: 324 GB
      • Plataforma de CPU: Cascade Lake de Intel
    • Un servidor SAP HANA en una VM m1-ultramem-80 de Compute Engine con las siguientes especificaciones:
      • CPU virtuales: 80
      • Memoria: 1,900 GB
      • Plataforma de CPU: Intel Broadwell
  • Versiones de software:
    • S/4HANA 1909
    • SAP LT Replication Server: S/4CORE 104 SP00
  • Tamaño de la tabla:
    • Nombre de la tabla: ACDOCA, datos de elementos de una sola línea de la entradas en el diario del registro general
    • Cantidad de registros: 343 millones
    • Cantidad de columnas: 477
  • Procesos de trabajo en cada servidor de aplicaciones:
    • 60 procesos de diálogo
    • 220 procesos en segundo plano
  • Configuración de carga en SAP LT Replication Server:
    • Trabajos: 99
    • Tipo de lectura: 1 rango
    • Cálculo: Rangos automáticos
  • Configuración de replicación:
    • Trabajos: 99
    • Usa campos de clave a fin de calcular rangos para la tabla de registro
    • 128 rangos

ECC

  • Arquitectura de instalación de SAP LT Replication Server:
    • Arquitectura incorporada
  • Servidores de sistemas de origen:
    • Dos servidores de aplicaciones, cada uno en una VM n2-highmem-48 de Compute Engine con las siguientes especificaciones:
      • CPU virtuales: 60
      • Memoria: 348 GB
      • Plataforma de CPU: Cascade Lake de Intel
  • Versiones de software:
    • SAP NetWeaver: 7.0 EHP2
    • SAP LT Replication Server: DMIS 2011_1_700 SP17
  • Tamaño de la tabla:
    • Tabla: MSEG, documentos de administración de inventario de materiales
    • Cantidad de registros: 203 millones
    • Cantidad de columnas: 188
  • Procesos de trabajo en cada servidor de aplicaciones:
    • 60 procesos de diálogo
    • 100 procesos en segundo plano
  • Configuración de carga en SAP LT Replication Server:
    • Trabajos: 99
    • Tipo de lectura: 5 Sender
    • Cola: rangos manuales
  • Configuración de replicación:
    • Trabajos: 99
    • Rangos para la tabla de registro: usa campos de clave a fin de calcular los rangos
    • Cantidad de rangos: 128

Transporta la configuración de transferencia masiva a producción

Para transportar la configuración de transferencia masiva a producción, primero debes exportar la configuración de un sistema de desarrollo y, luego, importarla al sistema de producción.

De manera opcional, puedes importar tres partes distintas de la configuración de una transferencia masiva a la producción:

  • La configuración de replicación avanzada, a la que se puede acceder mediante la transacción LTRS.
  • La configuración de la clave de cliente de la tabla /GOOG/CLIENT_KEY, a la que se puede acceder mediante la transacción SM30.
  • BigQuery Connector para SAP usa la configuración de transferencia masiva, a la que se puede acceder mediante la transacción /GOOG/SLT_SETTINGS.

Exporta la configuración de transferencia masiva desde un sistema de desarrollo

En el sistema de desarrollo de SAP LT Replication Server, exporta cada parte de la configuración de transferencia masiva:

  1. Exporta la configuración de replicación avanzada:

    1. Ejecuta la transacción LTRS.
    2. Selecciona los registros de transferencia masiva que transportas a producción.
    3. En el menú desplegable Archivo, selecciona Exportar toda la configuración.
    4. En el diálogo Exportar configuración, selecciona un destino y haz clic en Guardar. La configuración se guarda en un archivo comprimido en formato CSV en tu estación de trabajo local.

  2. Exporta la configuración de la transferencia masiva de BigQuery Connector para SAP:

    1. Ejecuta la transacción /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. En el campo Tabla de configuración, selecciona Transferencia masiva.

    3. Selecciona los registros de transferencia masiva que transportas a producción.

    4. Haz clic en Transportar transferencia masiva.

    5. En Solicitud de Workbench, ingresa el número de solicitud de transporte y haz clic en el ícono Continuar. Para cada registro de transferencia masiva seleccionado, la configuración de las siguientes tablas de configuración personalizadas se incluye en el transporte:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    La configuración de transferencia masiva se guarda en una solicitud de transporte.

  3. Para exportar la configuración de la clave de cliente, incluye de forma manual el contenido de la tabla /GOOG/CLIENT_KEY en la solicitud de transporte.

  4. Guarda los archivos en tu estación de trabajo local.

Importa la configuración de la transferencia masiva a un sistema de producción

En el sistema de producción de SAP LT Replication Server, importa cada parte de la configuración de transferencia masiva:

  1. Crea una configuración de replicación de SAP LT Replication Server para la configuración de la transferencia masiva.

  2. Importa la configuración de replicación avanzada:

    1. Ejecuta la transacción LTRS.
    2. Selecciona la transferencia masiva que creaste en el primer paso.
    3. En el menú desplegable Archivo, selecciona Importar toda la configuración.
    4. En el cuadro de diálogo Elegir archivo, selecciona el archivo comprimido de tu estación de trabajo local y haz clic en Abrir. La configuración se importa como la configuración de la transferencia masiva.

  3. Importa la solicitud de transporte que contiene la configuración de transferencia masiva.

  4. Ejecuta la transacción SM30.

  5. Actualiza la configuración de la clave de cliente según sea necesario para el entorno de producción.

  6. Ejecuta la transacción /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verifica que las transferencias masivas correctas se muestren en la pantalla Transferencias masivas.

  8. En la columna ID de transferencia masiva, reemplaza el ID de transferencia masiva del sistema de desarrollo por el ID de transferencia masiva de la configuración de replicación que creaste en el primer paso.

  9. En las pantallas de configuración de Tablas y Campos posteriores, actualiza otros valores de tablas y campos según sea necesario para el entorno de producción.

  10. Para probar la configuración, inicia una carga o replicación inicial. Para obtener más información sobre cómo iniciar una carga o replicación inicial, consulta lo siguiente:

Actualiza BigQuery Connector para SAP

Google Cloud entrega versiones nuevas de BigQuery Connector para SAP a medida que transporta SAP.

Los administradores de SAP pueden actualizar BigQuery Connector para SAP mediante estos pasos:

  1. Desactiva la configuración en SAP LT Replication Server.
  2. Importa la nueva solicitud de transporte de SAP.
  3. Después de validar la importación y la activación de objetos exitosas, activa la configuración en SAP LT Replication Server.

Actualiza la CLI de gcloud

Debes mantener Google Cloud CLI actualizado en el host de SAP LT Replication Server.

Para obtener más información sobre cómo administrar la CLI de gcloud, consulta Administra los componentes de la CLI de gcloud.

Monitoring

Puedes supervisar varios puntos diferentes en la ruta de acceso de los datos desde la fuente de datos de SAP hasta la tabla de BigQuery de destino, incluidos los siguientes:

  • Infraestructura: red, hardware y sistema operativo
  • Capa de la base de datos de SAP
  • Capa de la aplicación de SAP
  • BigQuery Connector para SAP
  • BigQuery

Las opciones de supervisión en cada uno de estos puntos se presentan en las siguientes subsecciones.

Supervisa la infraestructura

En Google Cloud, puedes instalar el agente de operaciones en las VM de tu host para obtener supervisión y registro avanzados. El agente de operaciones envía los datos a Cloud Monitoring en la consola de Google Cloud.

Para obtener más información, consulte:

Para los sistemas que no se ejecutan en Google Cloud, también puedes obtener información del servidor si ejecutas transacciones de SAP, como la transacción ST06.

Supervisa la capa de la base de datos

Usa códigos de transacción estándar de SAP para supervisar el estado de la base de datos.

El código de transacción DBACOCKPIT es la transacción más común para supervisar la base de datos. Esta transacción también proporciona registros detallados que puedes usar para solucionar errores.

Para SAP HANA, puedes usar SAP HANA Studio para las operaciones de SAP HANA. Puedes instalar SAP HANA Studio en cualquier máquina de frontend.

Cuando soluciones problemas de rendimiento o de otro tipo, verifica lo siguiente en la base de datos de origen:

  • Instrucciones de SQL costosas
  • Bloqueos
  • Historial de cargas
  • Índices
  • Procesos

Supervisa la capa de la aplicación

Puedes usar las herramientas de supervisión y solución de problemas de aplicaciones de SAP para supervisar y solucionar problemas de BigQuery Connector para SAP, ya que se ejecuta en la capa de la aplicación.

La supervisión y la solución de problemas de la aplicación de SAP se pueden clasificar aún más en lo siguiente:

  • Supervisión y solución de problemas de SAP estándar
  • Supervisión y solución de problemas de BigQuery Connector para SAP

Para entornos más grandes, puedes usar SAP Solution Manager como una herramienta de supervisión central.

Puedes usar los códigos de transacción de SAP de la siguiente lista para supervisar y diagnosticar problemas en sistemas de aplicaciones SAP individuales:

  • Estado de configuración de SLT: LTRC
  • Errores y registros de SLT: LTRO y SLG1
  • Administrador de comunicaciones de Internet (llamadas HTTP y HTTPS): SMICM
  • Seguridad y certificados: STRUST
  • Transportes de SAP: STMS
  • Conexiones RFC: SM59
  • Comando del SO: SM69
  • Verificación del paquete: SE80
  • Verificaciones de autorización: SU53
  • Trabajos en segundo plano: SM37
  • Registros del sistema: SM21

Supervisa BigQuery

Usa Cloud Monitoring para ver las métricas de BigQuery y crear gráficos y alertas. Cada métrica tiene un tipo de recurso, ya sea bigquery_dataset, bigquery_project o global, y un conjunto de etiquetas.

Usa los tipos de recursos y etiquetas para compilar consultas en el Lenguaje de consulta de Monitoring (MQL).

Puedes agrupar o filtrar cada métrica con las etiquetas.

Para obtener más información sobre Monitoring, consulta la documentación de Cloud Monitoring.

Validación de replicación

Si seleccionas la marca de campos adicionales cuando creas la tabla de BigQuery de destino con la transacción /GOOG/SLT_SETTINGS, las columnas se agregan al esquema de la tabla para almacenar el tipo de cambio a cada registro que activó la replicación y para una marca de tiempo que refleja el momento en el que SAP LT Replication Server recibió la parte que contenía el registro.

Puedes usar los tipos de cambio y la marca de tiempo para consultar los siguientes tipos de recuentos de registros:

  • La cantidad de registros que se cargan en una tabla de BigQuery durante una carga inicial.
  • La cantidad de registros replicados en un día específico en una tabla de BigQuery.
  • La cantidad total de registros únicos en una tabla de BigQuery.

Para obtener estos recuentos, puedes consultar la tabla de BigQuery directamente mediante el envío de consultas de SQL en la consola de Google Cloud o puedes ejecutar la herramienta de validación de replicación, que genera informes que comparan los recuentos de registros de BigQuery con las estadísticas de SAP LT Replication Server o los recuentos de registros de la tabla de origen.

Para obtener una descripción general de la marca de campos adicionales, consulta Campos adicionales para cambios de registros y consultas de recuentos.

Para obtener información sobre cómo especificar la marca de campos adicionales, consulta lo siguiente:

Consultas en SQL para recuentos de registros

En la página Editor de SQL de BigQuery en la consola de Google Cloud, puedes ejecutar consultas de SQL para verificar los recuentos de registros en tus tablas de BigQuery.

Luego, puedes comparar los recuentos de registros de BigQuery con los recuentos en la tabla de origen o en las estadísticas de SAP LT Replication Server.

Consulta el recuento de registros insertados en el modo de carga inicial

Cuando un esquema de tabla de BigQuery incluye la columna opcional operation_flag, los registros que se insertan en la tabla en el modo de carga inicial incluyen la marca de operación L.

Para obtener el recuento de registros que recibió BigQuery durante una carga inicial, ejecuta la siguiente consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Consulta la cantidad de registros insertados en modo de replicación

Cuando un esquema de tabla de BigQuery incluye la columna opcional operation_flag, los registros que se insertan en la tabla en modo de replicación incluyen una de las siguientes marcas de operación:

  • I: el registro se insertó en la tabla de origen.
  • D: el registro se borró de la tabla de origen.
  • U: el registro se actualizó en la tabla de origen.

Para obtener el recuento de registros que recibió BigQuery en modo de replicación, ejecuta la siguiente consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Consulta el recuento total de registros en una tabla de BigQuery

Cuando un esquema de tabla de BigQuery incluye la columna opcional recordstamp, el campo recordstamp correspondiente de cada registro que se inserta en la tabla contiene una marca de tiempo que indica cuándo SAP LT Replication Server envió el registro a BigQuery.

Para obtener un recuento total de los registros en una tabla de BigQuery que puedes comparar con el recuento total de registros en una tabla de origen, puedes usar los campos recordstamp y is_deleted para contar los registros únicos en la tabla de BigQuery que no se borraron de la tabla de origen.

Si la tabla de origen se actualiza o la replicación está activa cuando consultas los registros, es posible que el recuento de registros en las tablas de origen y destino no coincida de forma exacta.

Para obtener el recuento actual de registros únicos en la tabla de destino de BigQuery, ejecuta la siguiente consulta:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Herramienta de validación de replicación

En esta sección, se proporciona una descripción general de la herramienta de validación de replicación y lo que puedes hacer con ella.

La herramienta de validación de replicación genera informes que comparan los recuentos de registros en la tabla de BigQuery con las estadísticas de SAP LT Replication Server y los recuentos de registros en la tabla de origen. Si los recuentos no coinciden de forma exacta, la herramienta marca el informe con un círculo rojo.

Para contar los registros en BigQuery, la herramienta usa las consultas en SQL que se muestran en la sección anterior, Consultas en SQL para recuentos de registros.

Ejecuta la herramienta de validación de replicación de forma periódica a fin de asegurarte de que SAP LT Replication Server y el conector de BigQuery para SAP replican los registros en BigQuery como se esperaba.

Para ejecutar la herramienta de validación de replicación, ingresa la transacción personalizada /GOOG/REPLIC_VALID precedida por /n en la GUI de SAP. Para obtener instrucciones paso a paso, consulta lo siguiente:

Informes de validación de replicación

Puedes generar los siguientes informes de validación con la herramienta de validación de replicación:

  • Recuentos de cargas iniciales: una comparación de la cantidad de registros que envió SAP LT Replication Server en modo de carga y la cantidad de registros que se cargaron en BigQuery.
  • Recuentos de réplicas: Una comparación de la cantidad de registros que envió SAP LT Replication Server en modo de replicación y la cantidad de registros que se insertaron en BigQuery en un día específico.
  • Recuentos actuales: Una comparación de un punto en el tiempo sobre la cantidad de registros que se encuentran en la tabla de origen y la cantidad de registros únicos en BigQuery.

Puedes generar cada informe de forma individual o si seleccionas Todas las verificaciones cuando ejecutas la herramienta. Puedes generar los tres informes en una sola ejecución.

Muestra informes de validación de replicación

Después de generar un informe, puedes seleccionar el botón de selección Display Report en la sección Processing Options de la interfaz de la herramienta de validación de replicación.

La información que muestra la herramienta de validación de replicación en cada informe difiere ligeramente según el tipo de informe.

Todos los informes incluyen los siguientes tipos de información:

  • Recuentos de registros de origen de SAP LT Replication Server y la tabla de origen.
  • Recuentos de registros de destino de la tabla de destino de BigQuery
  • Cualquier diferencia entre los dos recuentos La diferencia se calcula restando los recuentos de BigQuery de los recuentos de registros de origen. Un valor positivo indica un posible problema, ya que sugiere que no todos los registros de origen lo están llegando a BigQuery.
  • La diferencia en los recuentos, que se muestra como un porcentaje del recuento de registros de origen.
  • Un indicador visual que indica si los recuentos de origen y destino son iguales o diferentes

Recuento de registros desiguales

La herramienta de validación de replicación incluye un campo de estado con cada informe que muestra.

Un cuadrado verde en el campo de estado significa que el recuento de registros de origen es igual al recuento de registros de destino en BigQuery.

Un círculo rojo en el campo de estado significa que los recuentos de registros no son iguales.

Un recuento de registros desigual no siempre indica un problema. Los siguientes indicadores sugieren un posible problema:

  • En un informe de recuentos actuales, un valor desigual siempre indica un problema.

  • En el caso de un informe de recuentos de cargas iniciales o de recuentos de replicación, un valor positivo indica un problema probable.

    Un valor negativo relativamente bajo no es un problema. El recuento en una tabla de BigQuery de destino a veces puede ser un poco mayor que el recuento de registros de origen debido a eventos como interrupciones momentáneas de la conectividad que hacen que SAP LT Replication Server reenvíe datos.

Si ves un recuento desigual, vuelve a ejecutar el informe para asegurarte de que no se deban a un problema transitorio. Un recuento de registros desiguales puede producirse por el procesamiento de replicación que se realizó cuando la herramienta generó el informe.

En una tabla de origen muy grande o una tabla que tiene filtros configurados en SAP LT Replication Server para la carga o replicación inicial, es posible que la herramienta de validación de replicación no pueda contar todos los registros necesarios para un recuento equivalente.

Programa verificaciones de validación

Puedes programar la herramienta de validación de replicación para que se ejecute de forma automática a intervalos mediante la funcionalidad del trabajo en segundo plano de SAP.

Edita el mapa de campos de BigQuery en un archivo CSV

En las siguientes secciones, se describe cómo exportar la asignación de campo predeterminada para que los ingenieros de datos o administradores de BigQuery puedan editar los valores del campo de destino sin necesidad de acceder a SAP LT Replication Server.

Crea una hoja de cálculo o un archivo de texto de las asignaciones de campo predeterminadas.

Si deseas crear un archivo CSV para editar fuera de SAP LT Replication Server, haz lo siguiente:

  1. Ejecuta la transacción /GOOG/SLT_SETTINGS.

  2. En la pantalla Mantenimiento de la configuración de SLT, especifica los siguientes valores:

    • En el campo Tabla de configuración, especifica Campos.
    • En el campo Clave de transferencia masiva, especifica el ID de la transferencia masiva que actualizarás.
    • En el campo Nombre de tabla, deja el campo en blanco para trabajar con todos los campos de todas las tablas o especifica un nombre de tabla a fin de trabajar con una tabla específica.
    • Deja todos los otros campos en blanco.

  3. Haz clic en el ícono Ejecutar. Aparecerá la pantalla Mantenimiento de la configuración de BigQuery: Campos.

  4. En la pantalla Mantenimiento de la configuración de BigQuery: Campos, oculta todas las columnas excepto las de la siguiente lista. Para ello, haz clic con el botón derecho en los encabezados de columna y selecciona Ocultar en el menú desplegable:

    • Nombre de la tabla de SAP
    • Nombre del campo de SAP
    • Elemento de datos externo
    • Nombre del campo externo
    • Descripción del campo

  5. Con las cinco columnas restantes mostradas, haz clic en el ícono Exportar.

  6. En el menú Exportar, selecciona una de las siguientes opciones:

    • Spreadsheet
    • Archivo local. Para facilitar la conversión del contenido del archivo a un formato CSV, te recomendamos que lo guardes en el formato Texto con pestañas.

  7. Para guardar las asignaciones de campos predeterminadas, haz clic en el ícono Marca de verificación.

Convierte la hoja de cálculo o el archivo de texto al formato CSV

Para subir asignaciones de campo editadas mediante la transacción personalizada /GOOG/SLT_SETTINGS, las asignaciones de campo deben estar en formato CSV.

Si usas una hoja de cálculo, guárdala como un archivo CSV antes de subir el archivo.

Si usas un archivo local en un formato delimitado por tabulaciones o en cualquier otro formato, debes modificar el archivo para que se ajuste al formato CSV.

Por ejemplo:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Sube el archivo CSV

Para subir un archivo CSV editado, sigue estos pasos:

  1. Ejecuta la transacción /GOOG/SLT_SETTINGS.

  2. En la pantalla Mantenimiento de la configuración de SLT, especifica los siguientes valores:

    • En el campo Tabla de configuración, especifica Campos.
    • En el campo Clave de transferencia masiva, especifica el ID de la transferencia masiva que actualizarás.
    • Selecciona la casilla de verificación Subir desde archivo.

  3. Haz clic en el ícono Ejecutar. Se abrirá el diálogo Seleccionar archivo para subir.

  4. En el diálogo Seleccionar archivo para subir, selecciona el archivo CSV que contiene los valores de campos editados.

  5. Haz clic en Abrir.

  6. Si recibes una advertencia de seguridad, haz clic en Permitir. El archivo se carga y los valores modificados en él aparecen en las filas correspondientes en la pantalla Mantenimiento de la configuración de BigQuery: Campos.

  7. Haz clic en el ícono Guardar.

  8. Para confirmar que se aplican los valores, compara los valores del archivo CSV con los valores que muestra SAP LT Replication Server.

Maneja errores en los datos de origen

Cuando se recibe un fragmento de registros de BigQuery Connector para SAP, la API de transmisión de BigQuery verifica si hay errores de datos antes de insertar cualquier registro en la tabla de BigQuery.

Puedes controlar cómo responden la API de BigQuery y BigQuery Connector para SAP cuando se encuentran errores de datos si especificas las siguientes marcas en las opciones de configuración de transferencia masiva:

  • La marca Skip Invalid Records (SKIP)
  • La marca Break at First Error Flag (BREAK)

La marca SKIP

Si especificas la marca SKIP, cuando la API de BigQuery recibe un fragmento de registros y encuentra un registro con un error de datos, la API de BigQuery descarta u omite, el registro con el error y continúa insertando todos los demás registros del fragmento en la tabla de BigQuery.

Si no especificas la marca SKIP, cuando BigQuery encuentra un registro con un error de datos, BigQuery descarta todo el fragmento sin insertar ningún registro de él en la tabla de BigQuery. Este es el comportamiento predeterminado.

Especificar la marca SKIP es mejor para entornos de desarrollo y control de calidad, y no se recomienda para entornos de producción.

Puedes especificar la marca SKIP en la transacción /GOOG/SLT_SETTINGS cuando configuras la replicación. La especificación se almacena en la tabla de configuración /GOOG/BQ_MASTR.

Para ver cómo las especificaciones SKIP interactúan con las especificaciones BREAK, consulta la tabla de matrices para interacciones BREAK y SKIP.

La marca BREAK

Si especificas la marca BREAK, cuando la API de BigQuery notifica a BigQuery Connector para SAP que se encontró un error de datos en un registro, BigQuery Connector para SAP deja de enviar registros a BigQuery y finaliza el trabajo de replicación.

Si no especificas la marca BREAK, cuando BigQuery Connector para SAP recibe una notificación de BigQuery sobre un error de datos en un registro, BigQuery Connector para SAP continúa enviando registros a BigQuery mediante el envío del siguiente fragmento y el trabajo de replicación continúa. Este es el comportamiento predeterminado.

Se recomienda especificar la marca BREAK en entornos de producción.

Puedes especificar la marca BREAK en la transacción //GOOG/SLT_SETTINGS cuando configuras la replicación. La especificación se almacena en la tabla de configuración /GOOG/BQ_MASTR.

Para ver cómo las especificaciones BREAK interactúan con las especificaciones SKIP, consulta la tabla de matrices para interacciones SKIP y BREAK.

Tabla de matriz para las interacciones SKIP y BREAK

Puedes configurar BigQuery Connector para SAP a fin de controlar los errores de datos de las siguientes maneras:

Marca SKIP Marca BREAK Comportamiento
FALSO TRUE

BigQuery descarta el fragmento actual de registros sin insertar ningún registro del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP no envía más fragmentos de registros de la parte actual y le indica a SAP LT Replication Server que finalice el trabajo de replicación.

Esta es la configuración recomendada.

FALSO FALSO

BigQuery descarta el fragmento actual de registros sin insertar ningún registro del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP envía los fragmentos restantes de registros de la parte actual de registros y, luego, le indica a SAP LT Replication Server que finalice el trabajo de replicación.

Esta es la opción predeterminada.

TRUE TRUE

BigQuery descarta solo el registro que contiene el error e inserta el resto de los registros del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP no envía más fragmentos de registros de la parte actual y recupera la siguiente parte. BigQuery Connector para SAP no le indica a SAP LT Replication Server que finalice el trabajo de replicación.

TRUE FALSO

BigQuery descarta solo el registro que contiene el error e inserta el resto de los registros del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP envía los fragmentos restantes de registros de la parte actual y recupera la siguiente parte. BigQuery Connector para SAP no le indica a SAP LT Replication Server que finalice el trabajo de replicación.

Cambios en la estructura de la tabla

En esta sección, se explica cómo modificar la estructura de la tabla de origen de SAP para la que se encuentra en curso una replicación LTRC existente.

Agrega una columna a una tabla de origen

Para agregar una columna nueva a una tabla de origen, sigue estos pasos:

  1. Agrega una columna nueva a la tabla de origen. Como resultado de este paso, el estado de la replicación cambia a Load/Replication blocked.

  2. En tu sistema SLT, restablece el estado de la replicación mediante la transacción LTRC. Para obtener más información de SAP sobre cómo restablecer el estado de la replicación, consulta la Nota de SAP 2204955: las tablas de SLT están en estado “Carga /Replicación bloqueada”.

  3. Agrega, actualiza o borra una entrada en la tabla de origen.

  4. Valida el resultado de la replicación en BigQuery.

Borra una columna de una tabla de origen

Para borrar una columna existente de una tabla de origen, sigue estos pasos:

  1. En tu sistema SLT, suspende la replicación mediante la transacción LTRC.

  2. Borra una columna de la tabla de origen. Como resultado de este paso, los activadores de SLT existentes se borran o cambian a un estado incoherente.

  3. En BigQuery, borra la columna de la tabla de BigQuery de destino. Si deseas obtener más información sobre los pasos para borrar una columna de una tabla existente, consulta la documentación de BigQuery.

  4. En tu sistema SLT, reanuda la replicación mediante la transacción LTRC.

  5. En tu sistema de SLT, vuelve a crear los activadores de SLT. Para obtener más información de SAP sobre cómo volver a crear activadores de SLT, consulta la Nota de SAP 2254376 sobre los activadores de SLT en un estado incoherente.

  6. Si el estado de replicación es Load /Replication blocked, restablece el estado de la replicación mediante la transacción LTRC. Para obtener más información de SAP sobre cómo restablecer el estado de la replicación, consulta la Nota de SAP 2204955: las tablas de SLT están en estado “Carga /Replicación bloqueada”.

  7. Borra los registros antiguos, si corresponde.

  8. Agrega, actualiza o borra una entrada en la tabla de origen.

  9. Valida el resultado de la replicación en BigQuery.

Cambia el tipo de datos de una columna existente

Cuando cambias el tipo de datos de una columna existente en la tabla de origen de SAP, debes seguir pasos específicos según si cambias el tipo de datos a uno compatible o no compatible con tabla de BigQuery de destino.

Un tipo de datos es compatible con el tipo de datos en la tabla de BigQuery de destino cuando el tipo de datos existente y el tipo de datos nuevos de una columna existente se asignan al mismo tipo de datos en la tabla de BigQuery de destino. Por ejemplo, si el tipo de datos de una columna se cambia de INT1 a INT2 en una tabla de origen, ambos tipos de datos son compatibles con el tipo de datos INTEGER en la tabla de BigQuery de destino.

Si deseas obtener más información sobre la asignación de tipos de datos en BigQuery Connector para SAP, consulta Asignación de tipos de datos.

Cambia el tipo de datos a uno compatible

Para cambiar el tipo de datos de una columna existente a un tipo de datos compatible, sigue estos pasos:

  1. Cambia el tipo de datos a un tipo de datos compatible en el sistema de origen. Como resultado de este paso, los activadores de SLT existentes se borran o cambian a un estado incoherente.

  2. En tu sistema de SLT, vuelve a crear los activadores de SLT. Para obtener más información de SAP sobre cómo volver a crear activadores de SLT, consulta la Nota de SAP 2254376 sobre los activadores de SLT en un estado incoherente.

  3. Si el estado de replicación es Load /Replication blocked, restablece el estado de la replicación mediante la transacción LTRC. Para obtener más información de SAP sobre cómo restablecer el estado de la replicación, consulta la Nota de SAP 2204955: las tablas de SLT están en estado “Carga /Replicación bloqueada”.

  4. Borra los registros antiguos, si corresponde.

  5. Agrega, actualiza o borra una entrada en la tabla de origen.

  6. Valida el resultado de la replicación en BigQuery.

Cambia el tipo de datos a uno no compatible

Para cambiar el tipo de datos de una columna existente a un tipo de datos no compatible, sigue estos pasos:

  1. En tu sistema SLT, detén la replicación mediante la transacción LTRC.
  2. En BigQuery, borra la tabla de destino.
  3. Cambia el tipo de datos en el sistema de origen.
  4. En tu sistema SLT, inicia la replicación mediante la transacción LTRC.

Salidas de mejoras

BigQuery Connector para SAP proporciona varios puntos de mejora en su código, en los que un desarrollador de ABAP puede insertar código para agregar funcionalidad personalizada.

La siguiente tabla enumera las funciones que admiten los puntos de mejora, los métodos y la clase que contiene el punto de mejora.

Función Clase Método Spot Opción
Actualiza la asignación para un campo, como el nombre del campo externo, el tipo de datos, etcétera. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Agrega o quita campos para actualizar la asignación de la tabla del campo. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Cambia el valor de un campo de origen antes de que el campo se convierta en un campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Después de que un campo de origen se convierte en un campo de destino en la tabla de destino, cambia el valor del campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Agrega un campo a la tabla de destino que no exista en la tabla de origen durante la conversión de la tabla de origen a destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepara un campo del esquema de BigQuery antes de crear la tabla de BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD