Guía de operaciones de BigQuery Connector para SAP

En esta guía se muestra a los administradores de SAP LT Replication Server, los ingenieros de datos de SAP o cualquier otro cómo realizar tareas operativas, como ajustes de rendimiento y actualizaciones de versiones, para la versión 2.7 (más reciente) de BigQuery Connector para SAP.

Ajusta el rendimiento de la replicación

El rendimiento de la replicación puede verse afectado por varios factores. Los factores específicos que se pueden aplicar pueden variar entre instalaciones y pueden cambiar con el tiempo.

En las siguientes secciones, se brinda orientación sobre cómo ajustar algunos de los factores más comunes que pueden afectar el rendimiento.

Si deseas obtener más información sobre el rendimiento de la replicación con BigQuery Connector para SAP, consulta Planificación del rendimiento.

Configura opciones de rendimiento para las tablas

En SAP LT Replication Server, puedes especificar opciones de replicación para cada tabla que afecta el rendimiento.

En particular, el rendimiento de la replicación para las tablas grandes, que requieren más tiempo y recursos para replicarse, puede mejorar si especificas rangos y aumentas la cantidad máxima de trabajos de replicación paralelos que se pueden usar para la tabla.

Algunos ejemplos de tablas que suelen ser grandes son MSEG, ACDOCA y MATDOC, entre otras.

Cuando especificas trabajos de replicación paralelos para tablas grandes, debes equilibrar la cantidad de trabajos paralelos que permites para una tabla determinada y la cantidad total de trabajos paralelos permitidos en la configuración de transferencia masiva. Tu organización también puede limitar la cantidad de trabajos de replicación paralelos que puedes especificar para un servidor determinado.

Si deseas establecer las opciones de rendimiento de una tabla, sigue estos pasos:

  1. En la GUI de SAP, ingresa la transacción LTRS de SAP.

  2. En la pantalla Configuración avanzada de la replicación, especifica el ID de la configuración de transferencia masiva para la tabla.

  3. En la jerarquía de carpetas de Configuración avanzada de la replicación, haz clic en la carpeta Opciones de rendimiento para ver las tablas que tienen opciones de rendimiento definidas.

  4. Si la tabla que necesitas no aparece en la lista, haz clic con el botón derecho en la carpeta Opciones de rendimiento y selecciona Agregar tabla.

  5. Especifica un nombre para la tabla.

  6. Especifica las siguientes opciones según sea necesario:

    • En Opciones de rendimiento generales:
      • N.º de trabajos paralelos, para establecer la cantidad máxima de trabajos de replicación paralelos que se pueden usar en la tabla.
      • Número de secuencia, para priorizar la replicación de esta tabla en relación con otras replicaciones de tablas.
    • En Opciones de carga inicial, haz lo siguiente:
      • En Tipo de lectura, selecciona Lectura de tipo 1: cálculo de rangos si tu tabla no es demasiado grande. Para obtener más información, consulta Rendimiento y la configuración avanzada de la replicación de LTRS.
      • En Tamaño del paquete, especifica el tamaño en bytes de las partes de los registros que se envían a SAP LT Replication Server.
      • Si seleccionas un tipo de lectura que use rangos, define los rangos adecuados.
    • En Opción de replicación, haz lo siguiente:
      • En Rangos para la tabla de Logging, especifica N.º de rangos en la opción más confiable.
      • Si seleccionas Especificar rangos de forma manual, define los rangos adecuados.

  7. Haz clic en Guardar.

Comparativa de rendimiento de referencia

Para ayudarte a evaluar el rendimiento de la replicación, en esta sección, se incluyen números de rendimiento de referencia que se observaron en los sistemas de prueba de Google Cloud.

Debido a los diversos factores que afectan el rendimiento, es probable que los números de rendimiento varíen.

Por ejemplo, si tus sistemas SAP no se ejecutan en Google Cloud, tus tasas de carga y replicación pueden ser más lentas que las tasas de referencia debido a elementos como la latencia de red y la sobrecarga asociada con los tokens de acceso. Si tu tabla de origen tiene menos columnas o instalas SAP LT Replication Server en su propio servidor en una arquitectura independiente, tus tasas podrían ser más rápidas porque SAP LT Replication Server no tiene que competir con el sistema de origen por los recursos.

Números de rendimiento de referencia observados

Los siguientes números de rendimiento representan el rendimiento de referencia que observó Google Cloud para cada tipo de sistema de origen durante las pruebas. En cada sistema de prueba, SAP LT Replication Server se instaló en el sistema de origen de SAP en una arquitectura incorporada en las VM de Compute Engine. El sistema de origen de SAP se ejecutaba en la misma región de Google Cloud que el conjunto de datos de BigQuery de destino.

Para obtener información sobre la configuración de los sistemas de prueba, consulta Configuración del sistema de prueba de rendimiento de referencia.

Para ver los números de rendimiento, haz clic en tu tipo de sistema de origen:

S/4HANA

  • Tabla: ACDOCA
    • 343 millones de registros
    • 477 columnas
  • Carga inicial
    • Tasa de carga: 350 millones de registros por hora en promedio
    • Duración de la carga: 59 minutos en promedio
  • Replicación
    • Tasa de cambio de la tabla de origen: 50 millones de registros por hora en promedio
    • Tasa de replicación máxima: 50 millones de registros por hora en promedio

ECC

  • Tabla: MSEG
    • 203 millones de registros
    • 188 columnas
  • Carga inicial
    • Tasa de carga: 385 millones de registros por hora en promedio
    • Duración de la carga: 32 minutos en promedio
  • Replicación
    • Tasa de cambio de la tabla de origen: 50 millones de registros por hora en promedio
    • Tasa de replicación máxima: 69 millones de registros por hora en promedio

Las cifras de rendimiento anteriores son las referencias que observaron los verificadores de Google Cloud.

El rendimiento observado fue mejor en los sistemas de prueba que tenían los siguientes atributos:

  • SAP LT Replication Server se instaló en su propia VM en una arquitectura independiente.
    • En los sistemas S/4HANA, se observó que una arquitectura independiente tiene una tasa de carga inicial un 42% más rápida aproximadamente que una arquitectura incorporada debido al escalamiento independiente de los procesos de SAP LT Replication Server.
    • En los sistemas ECC, se observó que una arquitectura independiente tiene una tasa de carga inicial un 10% más rápida aproximadamente que una arquitectura incorporada debido al escalamiento independiente de los procesos SAP LT Replication Server.
  • La tabla fuente tenía menos columnas.
  • El tamaño total de bytes de los registros era menor.

Si deseas obtener información sobre los atributos del sistema que puedes modificar para mejorar el rendimiento, consulta los siguientes vínculos:

Configuración del sistema de prueba de rendimiento de referencia

Los sistemas de prueba descritos en esta sección produjeron los números de rendimiento de referencia que se enumeran en la sección anterior, Números de rendimiento de referencia observados.

Los sistemas de prueba, incluido el sistema de origen de SAP, SAP LT Replication Server y el conjunto de datos de BigQuery, se ejecutaban en VM de Compute Engine en la misma región de Google Cloud.

En cada sistema, los servidores y la carga de trabajo se diseñaron para simular una carga de trabajo más pesada y un volumen de replicación más alto que podrías encontrar en muchas instalaciones reales.

Para ver los atributos del sistema de prueba, haz clic en el tipo de sistema de origen:

S/4HANA

  • Arquitectura de instalación de SAP LT Replication Server:
    • Arquitectura incorporada
  • Servidores de sistemas de origen:
    • Dos servidores de aplicaciones, cada uno en un tipo personalizado de máquina de Compute Engine basado en N2 con las siguientes especificaciones:
      • CPU virtuales: 60
      • Memoria: 324 GB
      • Plataforma de CPU: Cascade Lake de Intel
    • Un servidor SAP HANA en una VM m1-ultramem-80 de Compute Engine con las siguientes especificaciones:
      • CPU virtuales: 80
      • Memoria: 1,900 GB
      • Plataforma de CPU: Intel Broadwell
  • Versiones de software:
    • S/4HANA 1909
    • SAP LT Replication Server: S/4CORE 104 SP00
  • Tamaño de la tabla:
    • Nombre de la tabla: ACDOCA, datos de elementos de una sola línea de la entradas en el diario del registro general
    • Cantidad de registros: 343 millones
    • Cantidad de columnas: 477
  • Procesos de trabajo en cada servidor de aplicaciones:
    • 60 procesos de diálogo
    • 220 procesos en segundo plano
  • Configuración de carga en SAP LT Replication Server:
    • Trabajos: 99
    • Tipo de lectura: 1 rango
    • Cálculo: Rangos automáticos
  • Configuración de replicación:
    • Trabajos: 99
    • Usa campos de clave a fin de calcular rangos para la tabla de registro
    • 128 rangos

ECC

  • Arquitectura de instalación de SAP LT Replication Server:
    • Arquitectura incorporada
  • Servidores de sistemas de origen:
    • Dos servidores de aplicaciones, cada uno en una VM n2-highmem-48 de Compute Engine con las siguientes especificaciones:
      • CPU virtuales: 60
      • Memoria: 348 GB
      • Plataforma de CPU: Cascade Lake de Intel
  • Versiones de software:
    • SAP NetWeaver: 7.0 EHP2
    • SAP LT Replication Server: DMIS 2011_1_700 SP17
  • Tamaño de la tabla:
    • Tabla: MSEG, documentos de administración de inventario de materiales
    • Cantidad de registros: 203 millones
    • Cantidad de columnas: 188
  • Procesos de trabajo en cada servidor de aplicaciones:
    • 60 procesos de diálogo
    • 100 procesos en segundo plano
  • Configuración de carga en SAP LT Replication Server:
    • Trabajos: 99
    • Tipo de lectura: 5 Sender
    • Cola: rangos manuales
  • Configuración de replicación:
    • Trabajos: 99
    • Rangos para la tabla de registro: usa campos de clave a fin de calcular los rangos
    • Cantidad de rangos: 128

Tamaño de fragmento dinámico

Si encuentras errores porque el tamaño de bytes de los fragmentos supera el máximo de bytes para las solicitudes HTTP que acepta BigQuery, debes reducir el tamaño de los bytes de forma manual mediante la reducción del tamaño de fragmento. La función de tamaño de fragmento dinámico te permite reducir de forma automática el tamaño de fragmento y reintentar la replicación a BigQuery cuando el tamaño de bytes de un fragmento supera el tamaño máximo de bytes para solicitudes HTTP que acepta BigQuery. El tamaño de fragmento dinámico te ayuda a evitar la mayoría de las fallas de replicación debido a que se superó el tamaño de bytes de una solicitud. Es posible que recibas un error solo si el tamaño de fragmento alcanza 1, pero el tamaño de bytes permanece por encima del límite de BigQuery en la cantidad de bytes en cada solicitud HTTP.

Habilita el tamaño de fragmento dinámico en la configuración de transferencia masiva para una tabla mediante la transacción /GOOG/SLT_SETTINGS. El tamaño de fragmento dinámico es una configuración opcional. Para obtener información sobre cómo habilitar el tamaño de fragmento dinámico, consulta los siguientes vínculos:

Cuando el tamaño de fragmento dinámico está habilitado, el tamaño máximo de fragmento que permite BigQuery Connector para SAP se mantiene dentro de los límites de cuota de BigQuery, que son 50,000 registros.

Para obtener más información sobre el tamaño de fragmento, consulta Tamaño de parte y tamaño de fragmento.

Cómo funciona el tamaño de fragmento dinámico

Con el tamaño de fragmento dinámico, si la solicitud HTTP con tamaño de fragmento inicial supera el límite de BigQuery en el tamaño de bytes, BigQuery Connector para SAP reduce el tamaño de fragmento y vuelve a intentar enviar los datos. BigQuery Connector para SAP continúa reduciendo el tamaño de fragmento y vuelve a intentar enviar los datos a BigQuery, hasta que estos se transfieran de forma correcta a un fragmento en particular o hasta que el tamaño de fragmento alcance 1.

El tamaño de fragmento final reducido, para el que se realizó de forma correcta la transferencia de datos, se usa como el tamaño de fragmento para todos los fragmentos restantes de esa parte. Puedes encontrar el tamaño de fragmento final reducido que se realizó de forma correcta para cada parte en los registros de la aplicación de SAP LT Replication Server como un mensaje de información:

Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE

Para las partes posteriores y cualquier replicación posterior, BigQuery Connector para SAP comienza a enviar datos a BigQuery con el tamaño de fragmento configurado en la transacción /GOOG/SLT_SETTINGS y sigue con la reducción del tamaño de fragmento si se activa la fragmentación de forma dinámica.

De forma predeterminada, el tamaño de fragmento se reduce en un 50% después de cada reintento. Si deseas reducir el tamaño de fragmento a un porcentaje menor o mayor, modifica los parámetros de configuración avanzada.

Veamos con un ejemplo cómo se determina el tamaño de fragmento en el proceso de replicación cuando el tamaño dinámico de fragmento está habilitado para una tabla. En este ejemplo, el tamaño de parte de SAP LT Replication Server es mayor que el tamaño de fragmento de BigQuery Connector para SAP y el tamaño de fragmento de 10,000 registros se define en la transacción /GOOG/SLT_SETTINGS. BigQuery Connector para SAP replica una parte en BigQuery de la siguiente manera:

  1. Cuando se inicia la replicación de una parte que contiene 20,000 registros, el tamaño de fragmento del primer fragmento es de 10,000 registros, pero si el tamaño de bytes para la solicitud HTTP es superior a 10 MB, BigQuery Connector para SAP reduce el tamaño de fragmento en un 50%, y el tamaño de fragmento nuevo se convierte en 5,000 registros.

  2. BigQuery Connector para SAP vuelve a intentar enviar el tamaño de fragmento de 5,000 registros, pero si el tamaño de bytes para la solicitud HTTP aún es superior a 10 MB, BigQuery Connector para SAP reduce aún más el tamaño de fragmento en un 50% y el tamaño de fragmento nuevo se convierte en 2,500 registros.

  3. BigQuery Connector para SAP vuelve a intentar enviar el tamaño de fragmento de 2,500 registros, ahora si el tamaño de bytes para la solicitud HTTP de este fragmento es menor que 10 MB, la replicación se realiza correctamente y los datos se insertan en BigQuery

  4. El tamaño de fragmento para todos los fragmentos posteriores se convierte en 2,500 registros, siempre que el tamaño de bytes para cada solicitud HTTP sea inferior a 10 MB. Si el tamaño de bytes de la solicitud HTTP para cualquier fragmento posterior supera los 10 MB, BigQuery Connector para SAP vuelve a reducir el tamaño de fragmento y vuelve a enviar los datos a BigQuery, hasta que estos se transfieran correctamente para un fragmento en particular. El tamaño de fragmento reducido se usa solo para la parte actual de la replicación actual.

Rendimiento con tamaño de fragmento dinámico

El tamaño de fragmento dinámico puede afectar el rendimiento de la replicación en BigQuery. Para cada fragmento, BigQuery Connector para SAP calcula la cantidad de registros en un fragmento y verifica el tamaño de bytes de las solicitudes HTTP. Si el tamaño del byte es superior a 10 MB, BigQuery Connector para SAP reduce el tamaño de fragmento y vuelve a enviar los datos a BigQuery que aumenta el tiempo de replicación general.

Usa el tamaño de fragmento dinámico solo en situaciones específicas, en las que incluso después de configurar un tamaño de fragmento ideal para algunos registros de datos, el tamaño de la solicitud puede superar el límite de solicitud HTTP de BigQuery y no deseas recibir fragmentos. Por ejemplo:

  • Tablas de origen que contienen una gran varianza en la dispersión de los datos en los campos, es decir, para algunos registros se mantienen menos campos mientras que para algunos registros se mantienen muchos campos.
  • Tablas de origen que contienen campos de texto largos, como EDID4-SDATA, VARI-CLUSTID y REPOSRC-DATA

También puedes usar el tamaño de fragmento dinámico durante la fase de prueba a fin de identificar el tamaño de fragmento ideal para una tabla que puedes definir en el sistema SAP de producción.

Para obtener más información sobre cómo configurar el tamaño de fragmento, consulta:

Transporta la configuración de transferencia masiva a producción

Para transportar la configuración de transferencia masiva a producción, primero debes exportar la configuración de un sistema de desarrollo y, luego, importarla al sistema de producción.

De manera opcional, puedes importar tres partes distintas de la configuración de una transferencia masiva a la producción:

  • La configuración de replicación avanzada, a la que se puede acceder mediante la transacción LTRS.
  • La configuración de la clave de cliente de la tabla /GOOG/CLIENT_KEY, a la que se puede acceder mediante la transacción SM30.
  • BigQuery Connector para SAP usa la configuración de transferencia masiva, a la que se puede acceder mediante la transacción /GOOG/SLT_SETTINGS.

Exporta la configuración de transferencia masiva desde un sistema de desarrollo

En el sistema de desarrollo de SAP LT Replication Server, exporta cada parte de la configuración de transferencia masiva:

  1. Exporta la configuración de replicación avanzada:

    1. Ejecuta la transacción LTRS.
    2. Selecciona los registros de transferencia masiva que transportas a producción.
    3. En el menú desplegable Archivo, selecciona Exportar toda la configuración.
    4. En el diálogo Exportar configuración, selecciona un destino y haz clic en Guardar. La configuración se guarda en un archivo comprimido en formato CSV en tu estación de trabajo local.

  2. Exporta la configuración de la transferencia masiva de BigQuery Connector para SAP:

    1. Ejecuta la transacción /GOOG/SLT_SETTINGS:

      /n/GOOG/SLT_SETTINGS

    2. En el campo Tabla de configuración, selecciona Transferencia masiva.

    3. Selecciona los registros de transferencia masiva que transportas a producción.

    4. Haz clic en Transportar transferencia masiva.

    5. En Solicitud de Workbench, ingresa el número de solicitud de transporte y haz clic en el ícono Continuar. Para cada registro de transferencia masiva seleccionado, la configuración de las siguientes tablas de configuración personalizadas se incluye en el transporte:

      • /GOOG/BQ_MASTR
      • /GOOG/BQ_TABLE
      • /GOOG/BQ_FIELD

    La configuración de transferencia masiva se guarda en una solicitud de transporte.

  3. Para exportar la configuración de la clave de cliente, incluye de forma manual el contenido de la tabla /GOOG/CLIENT_KEY en la solicitud de transporte.

  4. Guarda los archivos en tu estación de trabajo local.

Importa la configuración de la transferencia masiva a un sistema de producción

En el sistema de producción de SAP LT Replication Server, importa cada parte de la configuración de transferencia masiva:

  1. Crea una configuración de replicación de SAP LT Replication Server para la configuración de la transferencia masiva.

  2. Importa la configuración de replicación avanzada:

    1. Ejecuta la transacción LTRS.
    2. Selecciona la transferencia masiva que creaste en el primer paso.
    3. En el menú desplegable Archivo, selecciona Importar toda la configuración.
    4. En el cuadro de diálogo Elegir archivo, selecciona el archivo comprimido de tu estación de trabajo local y haz clic en Abrir. La configuración se importa como la configuración de la transferencia masiva.

  3. Importa la solicitud de transporte que contiene la configuración de transferencia masiva.

  4. Ejecuta la transacción SM30.

  5. Actualiza la configuración de la clave de cliente según sea necesario para el entorno de producción.

  6. Ejecuta la transacción /GOOG/SLT_SETTINGS:

    /n/GOOG/SLT_SETTINGS

  7. Verifica que las transferencias masivas correctas se muestren en la pantalla Transferencias masivas.

  8. En la columna ID de transferencia masiva, reemplaza el ID de transferencia masiva del sistema de desarrollo por el ID de transferencia masiva de la configuración de replicación que creaste en el primer paso.

  9. En las pantallas de configuración de Tablas y Campos posteriores, actualiza otros valores de tablas y campos según sea necesario para el entorno de producción.

  10. Para probar la configuración, inicia una carga o replicación inicial. Para obtener más información sobre cómo iniciar una carga o replicación inicial, consulta lo siguiente:

Actualiza BigQuery Connector para SAP

Google Cloud entrega versiones nuevas de BigQuery Connector para SAP a medida que transporta SAP.

Los administradores de SAP pueden actualizar BigQuery Connector para SAP mediante estos pasos:

  1. Si aplicaste los parches para la replicación de las tablas de clústeres o configuraste el público predeterminado para la autenticación basada en JWT, antes de actualizar BigQuery Connector para SAP a la versión 2.6, debes borrar el parche rápido. Para obtener más información sobre cómo borrar un parche rápido, consulta la página de SAP Crea, edita y borra implementaciones de mejoras.
  2. Desactiva la configuración en SAP LT Replication Server.
  3. Importa la nueva solicitud de transporte de SAP.
  4. Después de validar la importación y la activación de objetos exitosas, activa la configuración en SAP LT Replication Server.

Actualiza la CLI de gcloud

Debes mantener Google Cloud CLI actualizado en el host de SAP LT Replication Server.

Para obtener más información sobre cómo administrar la CLI de gcloud, consulta Administra los componentes de la CLI de gcloud.

Monitoring

Puedes supervisar varios puntos diferentes en la ruta de acceso de los datos desde la fuente de datos de SAP hasta la tabla de BigQuery de destino, incluidos los siguientes:

  • Infraestructura: red, hardware y sistema operativo
  • Capa de la base de datos de SAP
  • Capa de la aplicación de SAP
  • BigQuery Connector para SAP
  • BigQuery

Las opciones de supervisión en cada uno de estos puntos se presentan en las siguientes subsecciones.

Supervisa la infraestructura

En Google Cloud, puedes instalar el agente de operaciones en las VM de tu host para obtener supervisión y registro avanzados. El agente de operaciones envía los datos a Cloud Monitoring en la consola de Google Cloud.

Para obtener más información, consulte:

Para los sistemas que no se ejecutan en Google Cloud, también puedes obtener información del servidor si ejecutas transacciones de SAP, como la transacción ST06.

Supervisa la capa de la base de datos

Usa códigos de transacción estándar de SAP para supervisar el estado de la base de datos.

El código de transacción DBACOCKPIT es la transacción más común para supervisar la base de datos. Esta transacción también proporciona registros detallados que puedes usar para solucionar errores.

Para SAP HANA, puedes usar SAP HANA Studio para las operaciones de SAP HANA. Puedes instalar SAP HANA Studio en cualquier máquina de frontend.

Cuando soluciones problemas de rendimiento o de otro tipo, verifica lo siguiente en la base de datos de origen:

  • Instrucciones de SQL costosas
  • Bloqueos
  • Historial de cargas
  • Índices
  • Procesos

Supervisa la capa de la aplicación

Puedes usar las herramientas de supervisión y solución de problemas de aplicaciones de SAP para supervisar y solucionar problemas de BigQuery Connector para SAP, ya que se ejecuta en la capa de la aplicación.

La supervisión y la solución de problemas de la aplicación de SAP se pueden clasificar aún más en lo siguiente:

  • Supervisión y solución de problemas de SAP estándar
  • Supervisión y solución de problemas de BigQuery Connector para SAP

Para entornos más grandes, puedes usar SAP Solution Manager como una herramienta de supervisión central.

Puedes usar los códigos de transacción de SAP de la siguiente lista para supervisar y diagnosticar problemas en sistemas de aplicaciones SAP individuales:

  • Estado de configuración de SLT: LTRC
  • Errores y registros de SLT: LTRO y SLG1
  • Administrador de comunicaciones de Internet (llamadas HTTP y HTTPS): SMICM
  • Seguridad y certificados: STRUST
  • Transportes de SAP: STMS
  • Conexiones RFC: SM59
  • Comando del SO: SM69
  • Verificación del paquete: SE80
  • Verificaciones de autorización: SU53
  • Trabajos en segundo plano: SM37
  • Registros del sistema: SM21

Supervisa BigQuery

Usa Cloud Monitoring para ver las métricas de BigQuery y crear gráficos y alertas. Cada métrica tiene un tipo de recurso, ya sea bigquery_dataset, bigquery_project o global, y un conjunto de etiquetas.

Usa los tipos de recursos y etiquetas para compilar consultas en el Lenguaje de consulta de Monitoring (MQL).

Puedes agrupar o filtrar cada métrica con las etiquetas.

Para obtener más información sobre Monitoring, consulta la documentación de Cloud Monitoring.

Visualiza la configuración de BigQuery Connector para SAP

A fin de ver la configuración de transferencia masiva de BigQuery Connector para SAP, en la GUI de SAP, ejecuta la transacción /GOOG/SLT_SETT_DISP.

Herramienta Crear tabla

En el caso de las tablas de origen vacías en SAP, SAP SLT evita la creación de tablas de destino en BigQuery. Si necesitas crear las tablas de destino en el conjunto de datos de BigQuery para tablas de origen vacías, puedes usar la herramienta Crear tabla.

Para ejecutar la herramienta Crear tablas, sigue estos pasos:

  1. En la GUI de SAP, ejecuta la transacción /GOOG/CREATE_BQ_TAB precedida por /n:

    /n/GOOG/CREATE_BQ_TAB

  2. En la pantalla Crear tablas de destino desde la configuración de BQ, proporciona los valores para los siguientes campos:

    • Clave de transferencia masiva: La clave de transferencia masiva que contiene las tablas de SAP.
    • Nombre de la tabla de SAP: Son los nombres de la tabla de SAP que necesitas crear.

  3. Haz clic en el ícono Ejecutar. Las tablas de destino se crean en el conjunto de datos de BigQuery.

  4. De manera opcional, verifica en el conjunto de datos de BigQuery si la tabla se creó con el esquema correcto.

Herramienta de conversión masiva de campos

Aunque BigQuery Connector para SAP sugiere de forma automática los tipos de datos de BigQuery para la mayoría de los campos, es posible que debas asignar los campos de forma manual. En lugar de asignar manualmente el tipo de datos a cada campo, puedes usar la herramienta de conversión masiva de campos para asignar la asignación de tipo de datos a todos los campos en la pantalla de asignación de campos de la transacción /GOOG/SLT_SETTINGS. La herramienta de conversión de campos masiva convierte todas las asignaciones de campos de una tabla al tipo STRING en BigQuery.

Si una tabla ya se está replicando o se agrega para la carga inicial en la transacción LTRC, no uses la herramienta de conversión masiva de campos para esas tablas, ya que puede generar problemas de discrepancia del esquema. Solo puedes usar esta herramienta para las tablas de SAP en las que no se inició la carga o replicación inicial.

Para ejecutar la herramienta de conversión de campo masiva, sigue estos pasos:

  1. En la GUI de SAP, ejecuta la transacción /GOOG/MASS_CNVT_FMAP precedida por /n:

    /n/GOOG/MASS_CNVT_FMAP

  2. En la pantalla Conversión de campo masiva, proporciona valores para los siguientes campos:

    • Clave de transferencia masiva: La clave de transferencia masiva que contiene las tablas de SAP.
    • Nombre de la tabla de SAP: Son los nombres de la tabla de SAP para los que necesitas que todas las asignaciones de campo se conviertan al tipo STRING.

  3. Haz clic en el ícono Ejecutar. Para las tablas seleccionadas, todas las asignaciones de campo se convierten al tipo STRING.

Herramienta de simulación de cargas

En esta sección se proporciona una descripción general de la herramienta de simulación de cargas y lo que puedes hacer con ella.

La herramienta de simulación de cargas es una herramienta de asistencia para BigQuery Connector para SAP que te permite simular la replicación de datos de SAP en BigQuery. La herramienta es parte del transporte que Google Cloud proporciona para BigQuery Connector para SAP. Usa la herramienta de simulación de cargas a fin de replicar los datos de SAP de origen en BigQuery mediante la invocación directa del complemento empresarial (BAdI) de BigQuery Connector para SAP. Debido a que la herramienta de simulación de cargas no usa el framework de SLT subyacente, los activadores de SLT no se ven afectados. No uses la herramienta de simulación de cargas para la replicación de datos en entornos de producción.

La herramienta de simulación de cargas proporciona un informe que puedes analizar para evaluar el rendimiento de la replicación, identificar posibles problemas, comprender la causa raíz de los problemas y resolverlos antes de la replicación real de los datos de SAP en BigQuery mediante BigQuery Connector para SAP.

Los siguientes son algunos casos de uso comunes en los que puedes usar la herramienta de simulación de cargas:

  • Reproduce y soluciona problemas de conectividad de red, autorización o autenticación.
  • Generar registros mejorados de las llamadas a la API de BigQuery para solucionar problemas
  • Para obtener asistencia de solución de problemas de Atención al cliente de Cloud, ejecuta la herramienta de simulación de cargas y proporciona registros al equipo de atención al cliente.
  • Mide las métricas de rendimiento mediante el tiempo que se toma para cada paso en el proceso de replicación.
  • Para SAP LT Replication Server en una arquitectura incorporada, determina un tamaño de fragmento óptimo para las tablas de SAP.

Usa una configuración de transferencia masiva de muestra con la herramienta de simulación de cargas que creas mediante la transacción personalizada /GOOG/SLT_SETTINGS. No uses tu conjunto de datos de producción y las tablas de BigQuery para ejecutar la herramienta de simulación de cargas.

Cuando SAP LT Replication Server se encuentra en una arquitectura incorporada, ejecuta la herramienta de simulación de cargas con las tablas de SAP estándar, como MARA y T001.

Cuando SAP LT Replication Server se encuentra en una arquitectura independiente, debes ejecutar la herramienta de simulación de cargas con la tabla de muestra /GOOG/TEST_REPL que proporciona Google Cloud con BigQuery Connector para SAP. La herramienta de simulación de cargas no admite la lectura de tablas de origen desde un sistema remoto.

Para obtener más información sobre las arquitecturas de las fuentes de datos de SAP en Google Cloud, consulta Arquitectura de instalación.

Requisitos previos

Antes de ejecutar la herramienta de simulación de cargas, asegúrate de que se cumplan los siguientes requisitos:

Cómo ejecutar la herramienta de simulación de cargas

Para ejecutar la herramienta de simulación de cargas, sigue estos pasos:

  1. En la GUI de SAP, ingresa la transacción /GOOG/LOAD_SIMULATE precedida por /n:

    /n/GOOG/LOAD_SIMULATE

  2. Haz clic en el ícono Ejecutar. Aparecerá la pantalla Simulación de cargas de SLT.

  3. En Opciones de procesamiento, asegúrate de que la opción Ejecutar simulación esté seleccionada.

  4. En la sección Opciones de selección, ingresa las siguientes especificaciones:

    • En el menú desplegable del campo Socio de Google Cloud, selecciona BigQuery.

    • En el campo Clave de transferencia masiva, ingresa la clave de transferencia masiva para la configuración de transferencia masiva.

      Usa una configuración de transferencia masiva de muestra con la herramienta de simulación de cargas. No uses tu conjunto de datos de producción y las tablas de BigQuery.

    • En el campo Nombre de tabla, ingresa el nombre de la tabla de SAP de origen que proporcionaste en la configuración de la transferencia masiva de muestra.

    • De forma opcional, en el campo Especificar condición, ingresa una condición para la selección de datos de la tabla de origen.

      Puedes ingresar 255 caracteres como máximo. Por ejemplo, si ejecutas la herramienta de simulación de cargas para la tabla de SAP MARA y necesitas seleccionar el número de material de un rango específico, para Especificar condición, especifica un valor como MATNR GE '000000000400000001' AND MATNR LE '000000000600000001'.

    • En el campo Cycle Count, ingresa la cantidad de ciclos de procesamiento que ejecuta la herramienta de simulación de cargas.

      Esto es útil cuando necesitas comparar cómo aparece el informe de simulación en varios ciclos. El valor debe ser mayor que 1.

    • En el campo Recuento de registros por ciclo, ingresa la cantidad de registros que deseas enviar a BigQuery en cada ciclo de procesamiento. El valor debe ser mayor que 1.

    • En el campo Tamaño de parte, ingresa la cantidad de registros de Recuento de registros por ciclo que SAP LT Replication Server envía a BAdI de BigQuery Connector para SAP en cada parte.

    • Selecciona una o más marcas según corresponda:

      • Recuento de registros exactos: indica que exactamente la misma cantidad de registros proporcionados en el campo Recuento de registros por ciclo se envían a BigQuery en cada ciclo de procesamiento. Si la tabla no tiene suficientes registros, la herramienta de simulación de cargas duplica los registros existentes para lograr el recuento requerido. Los registros se duplican solo para insertar datos en BigQuery y no para insertar datos en la tabla de origen.

      • Usa la estructura de destino de SLT: Usa la estructura de la tabla de registro de SLT para obtener los campos de la tabla de origen. Si no se configura esta marca, los campos se leen directamente desde la tabla de origen para generar la estructura de destino. Para obtener más información sobre el flujo de datos de SAP LT Replication Server, consulta Vista detallada de la arquitectura del flujo de datos.

      • Registro detallado: Indica que los registros se crean para todos los métodos definidos en BigQuery Connector para SAP. Si no se configura esta marca, solo se registran los métodos importantes.

      • Clear Anterior Results (Borrar resultados anteriores): borra los registros creados antes para la misma transferencia masiva y la tabla de SAP. Si no se configura la marca, los registros se agregan a los resultados anteriores.

  5. Para ejecutar la herramienta de simulación de cargas, haz clic en el ícono Ejecutar.

  6. Una vez que se complete la simulación de cargas, en la sección Opciones de procesamiento, selecciona el botón de selección Mostrar informe.

  7. En la sección Opciones de selección, ingresa las siguientes especificaciones:

    • En el menú desplegable del campo Socio de Google Cloud, selecciona BigQuery.
    • En el campo Clave de transferencia masiva, ingresa la clave de transferencia masiva para la configuración de transferencia masiva.
    • En el campo Nombre de la tabla, ingresa el nombre de la tabla de origen de SAP.
    • Opcionalmente, para ver el informe por fecha de ejecución de la simulación de cargas, especifica un período en el campo Fecha de informes.
    • De manera opcional, para ver el último informe ejecutado junto con el informe actual, selecciona la marca Solo la última ejecución.

  8. Para mostrar el informe, haz clic en el ícono Ejecutar.

En la siguiente tabla, se describen las columnas que se muestran en el informe de simulación:

Nombre Descripción
Clave de transferencia La clave de transferencia masiva para la configuración de transferencia masiva.
Tabla de SAP El nombre de la tabla de SAP que se replica en BigQuery.
Marca de tiempo de inicio de la ejecución El momento en que se inició la ejecución de un método de BigQuery Connector para SAP.
Marca de tiempo de finalización El momento en que se completó la ejecución de un método de BigQuery Connector para SAP.
Número del trabajo Número de trabajo único para cada ejecución completada que se genera de forma automática cada vez que se ejecuta la herramienta de simulación de cargas.
Número de ciclo El número de secuencia del ciclo de procesamiento en el que se genera el informe. El Recuento de registros por ciclo proporcionado en la entrada de simulación se transfiere a BigQuery para cada ciclo.
Número de parte El número de secuencia de parte. El Recuento de registros por ciclo proporcionado en la entrada de simulación se divide en partes según el tamaño de parte especificado. Se llama a BAdI de BigQuery Connector para SAP para cada parte.
Nombre de clase El nombre de clase de BigQuery Connector para SAP.
Nombre del método El nombre del método de BigQuery Connector para SAP. Los métodos que llama BigQuery Connector para SAP se registran en una secuencia. Si se selecciona la marca Registro detallado en la entrada de simulación, se registran todos los métodos o solo los métodos importantes.
Invocado por método El último método que invocó el método actual de BigQuery Connector para SAP.
Duración El tiempo total necesario para la ejecución de un método de BigQuery Connector para SAP.
Recuento de registros La cantidad de registros que se pasan a un método de BigQuery Connector para SAP. Esto se muestra solo para los métodos a los que se pasan los registros.
Método URI El nombre del método HTTP, en caso de que el método ABAP realice una llamada a la API de BigQuery.
String de URI La URL HTTP, en caso de que el método ABAP realice una llamada a la API de BigQuery.
Fuente del token La fuente del token de autenticación que usa la herramienta de simulación de cargas. Esto solo se aplica si el almacenamiento en caché del token está activado en la tabla /GOOG/CLIENT_KEY. Los siguientes son los valores posibles:
  • A: Valor de atributo estático de un proceso específico.
  • M: Valor de la memoria compartida de la memoria que se comparte en varios procesos.
  • L: Valor nuevo con bloqueo de memoria. Si hay un bloqueo de memoria y no se puede leer el token almacenado en caché, se genera un token nuevo.
  • N: Valor nuevo sin bloqueo de memoria. Si un token vence o no se encuentra en la memoria, se genera un token nuevo.
Fecha de vencimiento La hora de vencimiento del token de autenticación.
Esto solo se aplica cuando el almacenamiento en caché del token se activa en la tabla /GOOG/CLIENT_KEY.
Valor del token Valor del token de autenticación que usa la herramienta de simulación de cargas para acceder a BigQuery.
Código de retorno El código de retorno de la ejecución del método. Los siguientes son los valores posibles:
Texto de error El título del error, si corresponde.
Descripción del error Información detallada sobre el error.
Tamaño de la carga útil El tamaño de la carga útil de HTTP a la API de BigQuery Insert. Si se produce un error en la ejecución del método y el tamaño de la carga útil es superior a 10 MB, puedes ajustar el tamaño de fragmento para disminuir el tamaño de la carga útil.
Texto de información Cualquier mensaje de información relevante que genere el BAdI de BigQuery Connector para SAP. Por ejemplo, cuando se activa la fragmentación dinámica, se muestra el siguiente mensaje de información: Dynamic chunking triggered. Chunk size reduced from INITIAL_CHUNK_SIZE_VALUE to FINAL_REDUCED_CHUNK_SIZE_VALUE.
Estado Estado de la ejecución del método. En caso de que una ejecución del método falle, consulta la guía de solución de problemas de BigQuery Connector para SAP a fin de resolver el problema.

Herramienta de simulación de programación de cargas

Puedes programar la herramienta de simulación de cargas para que se ejecute de forma automática como trabajo en segundo plano en SAP LT Replication Server con el nombre del programa /GOOG/R_LOAD_SIMULATION. Para obtener más información de SAP sobre cómo programar trabajos en segundo plano, consulta Programa trabajos en segundo plano.

Validación de replicación

Si seleccionas la marca de campos adicionales cuando creas la tabla de BigQuery de destino con la transacción /GOOG/SLT_SETTINGS, las columnas se agregan al esquema de la tabla para almacenar el tipo de cambio a cada registro que activó la replicación y para una marca de tiempo que refleja el momento en el que SAP LT Replication Server recibió la parte que contenía el registro.

Puedes usar los tipos de cambio y la marca de tiempo para consultar los siguientes tipos de recuentos de registros:

  • La cantidad de registros que se cargan en una tabla de BigQuery durante una carga inicial.
  • La cantidad de registros replicados en un día específico en una tabla de BigQuery.
  • La cantidad total de registros únicos en una tabla de BigQuery.

Para obtener estos recuentos, puedes consultar la tabla de BigQuery directamente mediante el envío de consultas de SQL en la consola de Google Cloud o puedes ejecutar la herramienta de validación de replicación, que genera informes que comparan los recuentos de registros de BigQuery con las estadísticas de SAP LT Replication Server o los recuentos de registros de la tabla de origen.

Para obtener una descripción general de la marca de campos adicionales, consulta Campos adicionales para cambios de registros y consultas de recuentos.

Para obtener información sobre cómo especificar la marca de campos adicionales, consulta lo siguiente:

Consultas en SQL para recuentos de registros

En la página Editor de SQL de BigQuery en la consola de Google Cloud, puedes ejecutar consultas de SQL para verificar los recuentos de registros en tus tablas de BigQuery.

Luego, puedes comparar los recuentos de registros de BigQuery con los recuentos en la tabla de origen o en las estadísticas de SAP LT Replication Server.

Consulta el recuento de registros insertados en el modo de carga inicial

Cuando un esquema de tabla de BigQuery incluye la columna opcional operation_flag, los registros que se insertan en la tabla en el modo de carga inicial incluyen la marca de operación L.

Para obtener el recuento de registros que recibió BigQuery durante una carga inicial, ejecuta la siguiente consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'L'

Consulta la cantidad de registros insertados en modo de replicación

Cuando un esquema de tabla de BigQuery incluye la columna opcional operation_flag, los registros que se insertan en la tabla en modo de replicación incluyen una de las siguientes marcas de operación:

  • I: el registro se insertó en la tabla de origen.
  • D: el registro se borró de la tabla de origen.
  • U: el registro se actualizó en la tabla de origen.

Para obtener el recuento de registros que recibió BigQuery en modo de replicación, ejecuta la siguiente consulta:

SELECT COUNT(*)
  FROM
      `PROJECT.DATASET.TABLE`
  WHERE operation_flag = 'I' | 'D' | 'U'

Consulta el recuento total de registros en una tabla de BigQuery

Cuando un esquema de tabla de BigQuery incluye la columna opcional recordstamp, el campo recordstamp correspondiente de cada registro que se inserta en la tabla contiene una marca de tiempo que indica cuándo SAP LT Replication Server envió el registro a BigQuery.

Para obtener un recuento total de los registros en una tabla de BigQuery que puedes comparar con el recuento total de registros en una tabla de origen, puedes usar los campos recordstamp y is_deleted para contar los registros únicos en la tabla de BigQuery que no se borraron de la tabla de origen.

Si la tabla de origen se actualiza o la replicación está activa cuando consultas los registros, es posible que el recuento de registros en las tablas de origen y destino no coincida de forma exacta.

Para obtener el recuento actual de registros únicos en la tabla de destino de BigQuery, ejecuta la siguiente consulta:

SELECT COUNT(*)
  FROM (
    SELECT
      *,
      ROW_NUMBER() OVER (PARTITION BY KEY_FIELD_1, ..., KEY_FIELD_N ORDER BY recordstamp DESC) row_num
    FROM
      `PROJECT.DATASET.TABLE` )
  WHERE row_num = 1 AND is_deleted = false

Herramienta de validación de replicación

En esta sección, se proporciona una descripción general de la herramienta de validación de replicación y lo que puedes hacer con ella.

La herramienta de validación de replicación genera informes que comparan los recuentos de registros en la tabla de BigQuery con las estadísticas de SAP LT Replication Server y los recuentos de registros en la tabla de origen. Si los recuentos no coinciden de forma exacta, la herramienta marca el informe con un círculo rojo.

Para contar los registros en BigQuery, la herramienta usa las consultas en SQL que se muestran en la sección anterior, Consultas en SQL para recuentos de registros.

Ejecuta la herramienta de validación de replicación de forma periódica a fin de asegurarte de que SAP LT Replication Server y el conector de BigQuery para SAP replican los registros en BigQuery como se esperaba.

Para ejecutar la herramienta de validación de replicación, ingresa la transacción personalizada /GOOG/REPLIC_VALID precedida por /n en la GUI de SAP. Para obtener instrucciones paso a paso, consulta lo siguiente:

Informes de validación de replicación

Puedes generar los siguientes informes de validación con la herramienta de validación de replicación:

  • Recuentos de cargas iniciales: una comparación de la cantidad de registros que envió SAP LT Replication Server en modo de carga y la cantidad de registros que se cargaron en BigQuery.
  • Recuentos de réplicas: Una comparación de la cantidad de registros que envió SAP LT Replication Server en modo de replicación y la cantidad de registros que se insertaron en BigQuery en un día específico.
  • Recuentos actuales: Una comparación de un punto en el tiempo sobre la cantidad de registros que se encuentran en la tabla de origen y la cantidad de registros únicos en BigQuery. El recuento actual en la tabla de origen no puede mostrar un número mayor que el límite de números enteros de 32 bits (de -2,147,483,648 a 2,147,483,647).

Puedes generar cada informe de forma individual o si seleccionas Todas las verificaciones cuando ejecutas la herramienta. Puedes generar los tres informes en una sola ejecución. Con el campo Nombres de tablas, puedes generar los informes de validación de replicación para tablas específicas en la configuración de transferencia masiva.

Muestra informes de validación de replicación

Después de generar un informe, puedes seleccionar el botón de selección Display Report en la sección Processing Options de la interfaz de la herramienta de validación de replicación.

La información que muestra la herramienta de validación de replicación en cada informe difiere ligeramente según el tipo de informe.

Todos los informes incluyen los siguientes tipos de información:

  • Recuentos de registros de origen de SAP LT Replication Server y la tabla de origen.
  • Recuentos de registros de destino de la tabla de destino de BigQuery
  • Cualquier diferencia entre los dos recuentos La diferencia se calcula restando los recuentos de BigQuery de los recuentos de registros de origen. Un valor positivo indica un posible problema, ya que sugiere que no todos los registros de origen lo están llegando a BigQuery.
  • La diferencia en los recuentos, que se muestra como un porcentaje del recuento de registros de origen.
  • Un indicador visual que indica si los recuentos de origen y destino son iguales o diferentes

Recuento de registros desiguales

La herramienta de validación de replicación incluye un campo de estado con cada informe que muestra.

Un cuadrado verde en el campo de estado significa que el recuento de registros de origen es igual al recuento de registros de destino en BigQuery.

Un círculo rojo en el campo de estado significa que los recuentos de registros no son iguales.

Un recuento de registros desigual no siempre indica un problema. Los siguientes indicadores sugieren un posible problema:

  • En un informe de recuentos actuales, un valor desigual siempre indica un problema.

  • En el caso de un informe de recuentos de cargas iniciales o de recuentos de replicación, un valor positivo indica un problema probable.

    Un valor negativo relativamente bajo no es un problema. El recuento en una tabla de BigQuery de destino a veces puede ser un poco mayor que el recuento de registros de origen debido a eventos como interrupciones momentáneas de la conectividad que hacen que SAP LT Replication Server reenvíe datos.

Si ves un recuento desigual, vuelve a ejecutar el informe para asegurarte de que no se deban a un problema transitorio. Un recuento de registros desiguales puede producirse por el procesamiento de replicación que se realizó cuando la herramienta generó el informe.

En una tabla de origen muy grande o una tabla que tiene filtros configurados en SAP LT Replication Server para la carga o replicación inicial, es posible que la herramienta de validación de replicación no pueda contar todos los registros necesarios para un recuento equivalente.

Programa verificaciones de validación

Puedes programar la herramienta de validación de replicación para que se ejecute de forma automática a intervalos mediante la funcionalidad del trabajo en segundo plano de SAP.

Edita el mapa de campos de BigQuery en un archivo CSV

En las siguientes secciones, se describe cómo exportar la asignación de campo predeterminada para que los ingenieros de datos o administradores de BigQuery puedan editar los valores del campo de destino sin necesidad de acceder a SAP LT Replication Server.

Crea una hoja de cálculo o un archivo de texto de las asignaciones de campo predeterminadas.

Si deseas crear un archivo CSV para editar fuera de SAP LT Replication Server, haz lo siguiente:

  1. Ejecuta la transacción /GOOG/SLT_SETTINGS.

  2. En la pantalla Mantenimiento de la configuración de SLT, especifica los siguientes valores:

    • En el campo Tabla de configuración, especifica Campos.
    • En el campo Clave de transferencia masiva, especifica el ID de la transferencia masiva que actualizarás.
    • En el campo Nombre de tabla, deja el campo en blanco para trabajar con todos los campos de todas las tablas o especifica un nombre de tabla a fin de trabajar con una tabla específica.
    • Deja todos los otros campos en blanco.

  3. Haz clic en el ícono Ejecutar. Aparecerá la pantalla Mantenimiento de la configuración de BigQuery: Campos.

  4. En la pantalla Mantenimiento de la configuración de BigQuery: Campos, oculta todas las columnas excepto las de la siguiente lista. Para ello, haz clic con el botón derecho en los encabezados de columna y selecciona Ocultar en el menú desplegable:

    • Nombre de la tabla de SAP
    • Nombre del campo de SAP
    • Elemento de datos externo
    • Nombre del campo externo
    • Descripción del campo

  5. Con las cinco columnas restantes mostradas, haz clic en el ícono Exportar.

  6. En el menú Exportar, selecciona una de las siguientes opciones:

    • Spreadsheet
    • Archivo local. Para facilitar la conversión del contenido del archivo a un formato CSV, te recomendamos que lo guardes en el formato Texto con pestañas.

  7. Para guardar las asignaciones de campos predeterminadas, haz clic en el ícono Marca de verificación.

Convierte la hoja de cálculo o el archivo de texto al formato CSV

Para subir asignaciones de campo editadas mediante la transacción personalizada /GOOG/SLT_SETTINGS, las asignaciones de campo deben estar en formato CSV.

Si usas una hoja de cálculo, guárdala como un archivo CSV antes de subir el archivo.

Si usas un archivo local en un formato delimitado por tabulaciones o en cualquier otro formato, debes modificar el archivo para que se ajuste al formato CSV.

Por ejemplo:

SAP Table,SAP Field Name,External Data Element,External Field Name,Field Description
SAP_TABLE_NAME,SAP_FIELD_NAME1,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME1,BIGQUERY_FIELD_DESCRIPTION1
SAP_TABLE_NAME,SAP_FIELD_NAME2,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME2,BIGQUERY_FIELD_DESCRIPTION2
SAP_TABLE_NAME,SAP_FIELD_NAME3,BIGQUERY_DATA_TYPE,BIGQUERY_FIELD_NAME3,BIGQUERY_FIELD_DESCRIPTION3

Sube el archivo CSV

Para subir un archivo CSV editado, sigue estos pasos:

  1. Ejecuta la transacción /GOOG/SLT_SETTINGS.

  2. En la pantalla Mantenimiento de la configuración de SLT, especifica los siguientes valores:

    • En el campo Tabla de configuración, especifica Campos.
    • En el campo Clave de transferencia masiva, especifica el ID de la transferencia masiva que actualizarás.
    • Selecciona la casilla de verificación Subir desde archivo.

  3. Haz clic en el ícono Ejecutar. Se abrirá el diálogo Seleccionar archivo para subir.

  4. En el diálogo Seleccionar archivo para subir, selecciona el archivo CSV que contiene los valores de campos editados.

  5. Haz clic en Abrir.

  6. Si recibes una advertencia de seguridad, haz clic en Permitir. El archivo se carga y los valores modificados en él aparecen en las filas correspondientes en la pantalla Mantenimiento de la configuración de BigQuery: Campos.

  7. Haz clic en el ícono Guardar.

  8. Para confirmar que se aplican los valores, compara los valores del archivo CSV con los valores que muestra SAP LT Replication Server.

Maneja errores en los datos de origen

Cuando se recibe un fragmento de registros de BigQuery Connector para SAP, la API de transmisión de BigQuery verifica si hay errores de datos antes de insertar cualquier registro en la tabla de BigQuery.

Puedes controlar cómo responden la API de BigQuery y BigQuery Connector para SAP cuando se encuentran errores de datos si especificas las siguientes marcas en las opciones de configuración de transferencia masiva:

  • La marca Skip Invalid Records (SKIP)
  • La marca Break at First Error Flag (BREAK)

La marca SKIP

Si especificas la marca SKIP, cuando la API de BigQuery recibe un fragmento de registros y encuentra un registro con un error de datos, la API de BigQuery descarta u omite, el registro con el error y continúa insertando todos los demás registros del fragmento en la tabla de BigQuery.

Si no especificas la marca SKIP, cuando BigQuery encuentra un registro con un error de datos, BigQuery descarta todo el fragmento sin insertar ningún registro de él en la tabla de BigQuery. Este es el comportamiento predeterminado.

Especificar la marca SKIP es mejor para entornos de desarrollo y control de calidad, y no se recomienda para entornos de producción.

Puedes especificar la marca SKIP en la transacción /GOOG/SLT_SETTINGS cuando configuras la replicación. La especificación se almacena en la tabla de configuración /GOOG/BQ_MASTR.

Para ver cómo las especificaciones SKIP interactúan con las especificaciones BREAK, consulta la tabla de matrices para interacciones BREAK y SKIP.

La marca BREAK

Si especificas la marca BREAK, cuando la API de BigQuery notifica a BigQuery Connector para SAP que se encontró un error de datos en un registro, BigQuery Connector para SAP deja de enviar registros a BigQuery y finaliza el trabajo de replicación.

Si no especificas la marca BREAK, cuando BigQuery Connector para SAP recibe una notificación de BigQuery sobre un error de datos en un registro, BigQuery Connector para SAP continúa enviando registros a BigQuery mediante el envío del siguiente fragmento y el trabajo de replicación continúa. Este es el comportamiento predeterminado.

Se recomienda especificar la marca BREAK en entornos de producción.

Puedes especificar la marca BREAK en la transacción //GOOG/SLT_SETTINGS cuando configuras la replicación. Cuando creas una clave de transferencia masiva nueva, la marca BREAK está habilitada de forma predeterminada.

La especificación se almacena en la tabla de configuración /GOOG/BQ_MASTR.

Para ver cómo las especificaciones BREAK interactúan con las especificaciones SKIP, consulta la tabla de matrices para interacciones SKIP y BREAK.

Tabla de matriz para las interacciones SKIP y BREAK

Puedes configurar BigQuery Connector para SAP a fin de controlar los errores de datos de las siguientes maneras:

Marca SKIP Marca BREAK Comportamiento
FALSO TRUE

BigQuery descarta el fragmento actual de registros sin insertar ningún registro del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP no envía más fragmentos de registros de la parte actual y le indica a SAP LT Replication Server que finalice el trabajo de replicación.

Esta es la configuración recomendada.

FALSO FALSO

BigQuery descarta el fragmento actual de registros sin insertar ningún registro del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP envía los fragmentos restantes de registros de la parte actual y recupera la siguiente parte. BigQuery Connector para SAP no le indica a SAP LT Replication Server que finalice el trabajo de replicación.

Esta es la opción predeterminada.

TRUE TRUE

BigQuery descarta solo el registro que contiene el error e inserta el resto de los registros del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP no envía más fragmentos de registros de la parte actual y le indica a SAP LT Replication Server que finalice el trabajo de replicación.

TRUE FALSO

BigQuery descarta solo el registro que contiene el error e inserta el resto de los registros del fragmento actual en la tabla de BigQuery.

BigQuery Connector para SAP envía los fragmentos restantes de registros de la parte actual y recupera la siguiente parte. BigQuery Connector para SAP no le indica a SAP LT Replication Server que finalice el trabajo de replicación.

Cambios en la estructura de la tabla

En esta sección, se explica cómo modificar la estructura de la tabla de origen de SAP para la que se encuentra en curso una replicación LTRC existente.

Agrega una columna a una tabla de origen

Para agregar una columna nueva a una tabla de origen, sigue estos pasos:

  1. Agrega una columna nueva a la tabla de origen. Como resultado de este paso, el estado de la replicación cambia a Load/Replication blocked.

  2. En tu sistema SLT, restablece el estado de la replicación mediante la transacción LTRC. Para obtener más información de SAP sobre cómo restablecer el estado de la replicación, consulta la Nota de SAP 2204955: las tablas de SLT están en estado “Carga /Replicación bloqueada”.

  3. Agrega, actualiza o borra una entrada en la tabla de origen.

  4. Valida el resultado de la replicación en BigQuery.

Borra una columna de una tabla de origen

Para borrar una columna existente de una tabla de origen, sigue estos pasos:

  1. En tu sistema SLT, suspende la replicación mediante la transacción LTRC.

  2. Borra una columna de la tabla de origen. Como resultado de este paso, los activadores de SLT existentes se borran o cambian a un estado incoherente.

  3. En BigQuery, borra la columna de la tabla de BigQuery de destino. Si deseas obtener más información sobre los pasos para borrar una columna de una tabla existente, consulta la documentación de BigQuery.

  4. En tu sistema SLT, reanuda la replicación mediante la transacción LTRC.

  5. En tu sistema de SLT, vuelve a crear los activadores de SLT. Para obtener más información de SAP sobre cómo volver a crear activadores de SLT, consulta la Nota de SAP 2254376 sobre los activadores de SLT en un estado incoherente.

  6. Si el estado de replicación es Load /Replication blocked, restablece el estado de la replicación mediante la transacción LTRC. Para obtener más información de SAP sobre cómo restablecer el estado de la replicación, consulta la Nota de SAP 2204955: las tablas de SLT están en estado “Carga /Replicación bloqueada”.

  7. Si corresponde, borra los registros.

  8. Agrega, actualiza o borra una entrada en la tabla de origen.

  9. Valida el resultado de la replicación en BigQuery.

Cambia el tipo de datos de una columna existente

Cuando cambias el tipo de datos de una columna existente en la tabla de origen de SAP, debes seguir pasos específicos según si cambias el tipo de datos a uno compatible o no compatible con tabla de BigQuery de destino.

Un tipo de datos es compatible con el tipo de datos en la tabla de BigQuery de destino cuando el tipo de datos existente y el tipo de datos nuevos de una columna existente se asignan al mismo tipo de datos en la tabla de BigQuery de destino. Por ejemplo, si el tipo de datos de una columna se cambia de INT1 a INT2 en una tabla de origen, ambos tipos de datos son compatibles con el tipo de datos INTEGER en la tabla de BigQuery de destino.

Si deseas obtener más información sobre la asignación de tipos de datos en BigQuery Connector para SAP, consulta Asignación de tipos de datos.

Cambia el tipo de datos a uno compatible

Para cambiar el tipo de datos de una columna existente a un tipo de datos compatible, sigue estos pasos:

  1. Cambia el tipo de datos a un tipo de datos compatible en el sistema de origen. Como resultado de este paso, los activadores de SLT existentes se borran o cambian a un estado incoherente.

  2. En tu sistema de SLT, vuelve a crear los activadores de SLT. Para obtener más información de SAP sobre cómo volver a crear activadores de SLT, consulta la Nota de SAP 2254376 sobre los activadores de SLT en un estado incoherente.

  3. Si el estado de replicación es Load /Replication blocked, restablece el estado de la replicación mediante la transacción LTRC. Para obtener más información de SAP sobre cómo restablecer el estado de la replicación, consulta la Nota de SAP 2204955: las tablas de SLT están en estado “Carga /Replicación bloqueada”.

  4. Si corresponde, borra los registros.

  5. Agrega, actualiza o borra una entrada en la tabla de origen.

  6. Valida el resultado de la replicación en BigQuery.

Cambia el tipo de datos a uno no compatible

Para cambiar el tipo de datos de una columna existente a un tipo de datos no compatible, sigue estos pasos:

  1. En tu sistema SLT, detén la replicación mediante la transacción LTRC.
  2. En BigQuery, borra la tabla de destino.
  3. Cambia el tipo de datos en el sistema de origen.
  4. En tu sistema SLT, inicia la replicación mediante la transacción LTRC.

Para obtener más información sobre los cambios en la estructura de las tablas, consulta BigQuery Connector para SAP: Controla los cambios en la estructura de las tablas como un profesional.

Salidas de mejoras

BigQuery Connector para SAP proporciona varios puntos de mejora en su código, en los que un desarrollador de ABAP puede insertar código para agregar funcionalidad personalizada.

La siguiente tabla enumera las funciones que admiten los puntos de mejora, los métodos y la clase que contiene el punto de mejora.

Función Clase Método Spot Opción
Actualiza la asignación para un campo, como el nombre del campo externo, el tipo de datos, etcétera. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPING
Agrega o quita campos para actualizar la asignación de la tabla del campo. /GOOG/CL_IUUC_REPL_RUNTIME CREATE_FLD_MAPPINGS /GOOG/ES_IUUC_REPL_RUNTIME /GOOG/UPDATE_FIELD_MAPPINGS
Cambia el valor de un campo de origen antes de que el campo se convierta en un campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/CHANGE_SOURCE_FIELD
Después de que un campo de origen se convierte en un campo de destino en la tabla de destino, cambia el valor del campo de destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_TARGET_FIELD
Agrega un campo a la tabla de destino que no exista en la tabla de origen durante la conversión de la tabla de origen a destino. /GOOG/CL_IUUC_REPL_RUNTIME_BQ FILL_TARGET_RECORDS /GOOG/ES_IUUC_REPL_RUNTIME_BQ /GOOG/FILL_EXTRA_FIELD
Prepara un campo del esquema de BigQuery antes de crear la tabla de BigQuery. /GOOG/CL_GCP_CLIENT_BQ PREP_BQ_TABLE_SCHEMA /GOOG/ES_GCP_CLIENT_BQ /GOOG/PREPARE_SCHEMA_FIELD
En caso de errores HTTP, recopila datos de registro después de las llamadas HTTP a la API de BigQuery para solucionar el problema. /GOOG/CL_GCP_CLIENT_BQ_SLT INSERT_TABLEDATA /GOOG/ES_GCP_CLIENT_BQ_SLT /GOOG/LOG_INSERT_ERROR

Configuración avanzada

De manera opcional, puedes modificar la configuración avanzada de BigQuery Connector para SAP. Google Cloud recomienda que modifiques los parámetros de configuración avanzada solo después de un análisis integral y el impacto de los nuevos valores en el rendimiento. Eres responsable de garantizar que la nueva configuración avanzada para BigQuery Connector para SAP no cause fallas ni problemas de rendimiento.

La configuración avanzada de BigQuery Connector para SAP se aplica a nivel del sistema y es común para todas las claves de transferencia masiva. Si no se modifican los parámetros de configuración avanzada, BigQuery Connector para SAP funciona con la configuración predeterminada.

Para modificar los parámetros de configuración avanzada, completa los siguientes pasos:

  1. En la GUI de SAP, ingresa la transacción /GOOG/SLT_SETTINGS precedida por /n:

    /n/GOOG/SLT_SETTINGS

  2. En el menú desplegable Tabla de configuración, en la pantalla de lanzamiento de la transacción /GOOG/SLT_SETTINGS, selecciona Parámetros.

  3. Haz clic en el ícono Ejecutar. Aparecerá la pantalla Parámetros de mantenimiento de la configuración de BigQuery: Campos.

  4. Haz clic en el ícono Insertar fila.

  5. En la fila que se muestra, especifica la siguiente configuración:

    1. En el campo Nombre del parámetro, ingresa el nombre del parámetro. La descripción del parámetro se propaga de forma automática.

    2. En el campo Valor del parámetro, ingresa un valor.

      Para obtener más información sobre los parámetros de Configuración avanzada, consulta parámetros de configuración avanzada.

  6. Haz clic en Guardar.

    Tus parámetros de configuración avanzada se almacenan como un registro en la tabla de configuración /GOOG/BQ_PARAM y automáticamente se propagan los campos Modificado por, Se cambió el y Se cambió a las.

Parámetros de configuración avanzada

En la tabla siguiente, se muestran los parámetros de configuración avanzados de BigQuery Connector para SAP.

Nombre del parámetro Descripción Valor predeterminado Valor válido
CHUNK_SIZE_DEF Este es el tamaño de fragmento predeterminado que admite BigQuery Connector para SAP.
Si el tamaño de fragmento no se mantiene en la configuración, se usa el tamaño de fragmento predeterminado.		 10,000 El valor debe estar dentro de los límites de cuota de BigQuery.
PERC_REDUC_DEF La reducción del porcentaje de tamaño de fragmento.
Si el tamaño de fragmento dinámico está habilitado, el tamaño de fragmento se reduce en este porcentaje hasta que se alcanza el tamaño de fragmento ideal y los datos de fragmento se transfieren con éxito a BigQuery.		 50 El valor debe ser de 1 a 99.
CMD_EXEC_TRIES En los sistemas SAP que no se ejecutan en Google Cloud, si el comando del sistema operativo que creaste en la transacción SM69 no puede recuperar un token de acceso de Google. En la nube, esta es la cantidad de veces que BigQuery Connector para SAP vuelve a intentar la recuperación de tokens. 5 El valor mínimo que puedes asignar a este parámetro es 1. Para facilitar al menos un reintento, configura el valor 2. El valor máximo para este parámetro debe establecerse después de analizar el impacto que pueden tener los reintentos de recuperación del token en el rendimiento de la replicación.
CMD_SECS_DEFLT Si habilitaste el almacenamiento en caché de tokens, esta es la duración en segundos a partir de la cual vence el token almacenado en caché. 3,500 El valor debe ser de 1 a 3599.