Referencia de la línea de comandos de Mainframe Connector

En este documento se describe la sintaxis, los comandos, las marcas y los argumentos de la herramienta de línea de comandos de Mainframe Connector.

Comandos

bq export

Exportar una tabla de BigQuery.

Sinopsis

bq export [options]

Marcas y argumentos

Para ejecutar este comando, debes proporcionar una consulta SQL (consulta las marcas --sql y query_dsn) y un copybook (consulta la marca cobDsn). Puedes ejecutar este comando en modo local, remoto y independiente. En el caso del modo remoto, consulta las marcas --bucket, --remoteHost, --remotePort y --remoteUrl. El comando bq export usa las siguientes marcas y argumentos:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
(Opcional) Usa tamaños de tabla de destino grandes para las consultas de SQL antiguo.
--batch
(Opcional) Ejecuta la consulta en modo por lotes.
--bucket=BUCKET
(Opcional) Especifica una ubicación de Cloud Storage para escribir la salida del comando. Si run_mode es gcsoutput, este parámetro debe definirse como un URI de Cloud Storage con el formato gs://example-bucket/example-prefix/example-filename.orc. De lo contrario, los archivos de salida se escribirán en la ruta de destino gs://BUCKET/EXPORT/. Este argumento es obligatorio en el modo remoto.
--cobDsn=DSN
(Opcional) Especifica el DSN del libro de copias que quieras usar. Si no proporciona ningún valor, Mainframe Connector leerá de DD COPYBOOK.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se va a usar con el comando. Puede asignar el valor [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table=TABLE
(Opcional) Especifica la tabla de destino en la que quieras escribir los resultados de la consulta.
--dry_run
(Opcional) Valida la consulta sin ejecutarla.
--encoding=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar los campos de caracteres. Si se proporciona, este valor anula el valor predeterminado definido por la variable de entorno ENCODING.
--exporter_thread_count=COUNT
(Opcional) Define el número de hilos del exportador. El valor predeterminado es 4.
--help o -h
Muestra este texto de ayuda.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifica el tiempo de espera de keep-alive en segundos de un canal HTTP. El valor predeterminado es 480 segundos.
--location=LOCATION
(Opcional) Especifica una región o una ubicación multirregional para ejecutar el comando. El valor predeterminado es US.
--max_read_queue=NUMBER
(Opcional) Define el tamaño máximo de la cola de registros Avro. El valor predeterminado es el doble del número de subprocesos.
--max_read_streams=NUMBER
(Opcional) Define el número máximo de subprocesos de lectura de streams. El valor predeterminado es 4.
--maximum_bytes_billed=BYTES
(Opcional) Limita los bytes que se facturarán por la consulta.
--order_response
(Opcional) Mantén el orden de la respuesta tal como la devuelve BigQuery.
--outDD=OUTPUT
(Opcional) Escribe los registros de salida en el conjunto de datos especificado en z/OS. El valor predeterminado es DD OUTFILE.
--parser_type=TYPE
(Opcional) Define el analizador de configuración como legacy, copybook o auto. El valor predeterminado es auto.
--query_dsn=DSN
(Opcional) Lee una consulta del conjunto de datos especificado en z/OS. Usa el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no proporciona ningún valor, Mainframe Connector leerá de DD QUERY.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, define la marca --bucket
.
--remotePort=PORT
(Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, define la marca --bucket
.
--remoteUrl=URL
(Opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, define la marca --bucket
.
--run_mode=MODE
(Opcional) Selecciona la implementación de exportación. Puede usar una de las siguientes opciones:
  • directstorage: el archivo binario se guarda de forma local (opción predeterminada).
  • gcsoutput: el archivo binario se guarda en Cloud Storage
--sql=SQL
(Opcional) Especifica la consulta SQL de BigQuery que se va a ejecutar.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--timeOutMinutes=MINUTES
(Opcional) Define el tiempo de espera en minutos de la llamada grpc remota. El valor predeterminado es 90 minutos.
--transcoding_buffer=BUFFER
(Opcional) Define el tamaño del búfer de transcodificación por subproceso, en MB. El valor predeterminado es 20.
--use_cache={true|false}
(Opcional) Para almacenar en caché los resultados de la consulta, asigna el valor "true".
--use_legacy_sql
(Opcional) Usa SQL antiguo en lugar de SQL estándar.

bq load

Carga datos en una tabla de BigQuery.

Sinopsis

bq load [options] tablespec path

Marcas y argumentos

El comando bq load usa las siguientes marcas y argumentos:

path
Especifica una lista de URIs de archivos de origen separados por comas. El formato admitido es gs://bucket/path. Ejemplo: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc
tablespec
Especifica la tabla de destino de los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE]
.
--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_jagged_rows
(Opcional) Permite que falten columnas opcionales finales en los datos CSV.
--allow_quoted_newlines
(Opcional) Permite saltos de línea entre comillas en los datos CSV.
--append_table
(Opcional) Añade los datos cargados a los datos que ya haya en la tabla de destino.
--autodetect
(Opcional) Habilita la detección automática de esquemas para datos CSV y JSON.
--clustering_fields=FIELDS
(Opcional) Si se especifica, se usa una lista de columnas separadas por comas para agrupar la tabla de destino en una consulta. Esta marca debe usarse con las marcas de partición de tiempo para crear una tabla con particiones por tiempo de ingestión o una tabla con particiones por una columna DATE o TIMESTAMP. Si se especifica, la tabla se particiona primero y, después, se agrupa en clústeres con las columnas proporcionadas.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se va a usar con el comando. Puede asignar el valor [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--debug_mode={true|false}
(Opcional) Define el nivel de registro como de depuración.
--destination_kms_key=KEY
(Opcional) Clave de Cloud KMS para encriptar los datos de la tabla de destino.
--encoding o -E=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar los campos de caracteres. Si se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--field_delimiter o -F=FIELD
(Opcional) Especifica el delimitador de columnas en los datos CSV. Usa \t o tab para los delimitadores de tabulación.
--help o -h
Muestra este texto de ayuda.
--ignore_unknown_values=VALUES
(Opcional) Ignora los valores adicionales no reconocidos en los datos CSV o JSON.
--location=LOCATION
(Opcional) Especifica una región o una ubicación multirregional para ejecutar el comando. El valor predeterminado es US.
--max_bad_records=RECORDS
(Opcional) Define el número máximo de registros no válidos que se permiten antes de que falle el trabajo. Se devuelve un máximo de cinco errores de cualquier tipo, independientemente del valor de --max_bad_records. Esta marca solo se aplica a la carga de datos CSV, JSON y de Hojas de cálculo de Google. El valor predeterminado es 0.
--max_polling_interval_ms=MILLISECONDS
(Opcional) Tiempo máximo de espera de un trabajo de BigQuery.
--null_marker=MARKER
(Opcional) Especifica una cadena personalizada que represente un valor NULL en los datos CSV.
--projection_fields=FIELDS
(Opcional) Si asigna el valor DATASTORE_BACKUP a --source_format, esta marca indica las propiedades de la entidad que se van a cargar desde una exportación del almacén de datos. Especifica los nombres de las propiedades en una lista separada por comas. Los nombres de las propiedades distinguen entre mayúsculas y minúsculas, y deben hacer referencia a propiedades de nivel superior. También puedes usar esta marca con las exportaciones de Firestore.
--quote=QUOTE
(Opcional) Especifica un carácter de comillas para delimitar los campos de los datos CSV. Puedes especificar cualquier carácter de un byte como argumento. El valor predeterminado son comillas dobles ("). Para especificar que no hay caracteres de comillas, utilice una cadena vacía.
--replace
(Opcional) Reemplaza los datos de la tabla de destino por los datos cargados.
--require_partition_filter={true|false}
(Opcional) Si quieres que haya un filtro de partición para las consultas sobre la tabla proporcionada, asigna el valor true. Este argumento solo se aplica a las tablas particionadas y si la marca --time_partitioning_field tiene el valor true. El valor predeterminado es false.
--schema=SCHEMA
(Opcional) Define el esquema de la tabla de destino. Especifique el valor como una lista de definiciones de columnas separadas por comas con el formato [FIELD]:[DATA_TYPE]. Ejemplo: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Opcional) Cuando añadas datos a una tabla (en una tarea de carga o de consulta) o cuando sobrescribas una partición de una tabla, especifica cómo actualizar el esquema de la tabla de destino. Usa uno de los siguientes valores:
  • ALLOW_FIELD_ADDITION: permitir que se añadan campos nuevos
  • ALLOW_FIELD_RELAXATION: permitir que los campos de relajación REQUIRED se NULLABLE
Repite esta marca para especificar varias opciones de actualización de esquemas.
--skip_leading_rows=NUMBER
(Opcional) Especifica el número de filas que se omitirán al principio del archivo de origen. El valor predeterminado es 0.
--source_format=FORMAT
(Opcional) Especifica el formato de los datos de origen. Puede usar uno de los siguientes valores: CSV NEWLINE_DELIMITED_JSON AVRO DATASTORE_BACKUP (use este valor para Filestore) PARQUET ORC El valor predeterminado es ORC.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe eliminar una partición basada en el tiempo, en segundos. El tiempo de caducidad se evalúa como la fecha UTC de la partición más el valor especificado. Si proporciona un número negativo, la partición basada en el tiempo nunca caducará.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la creación de particiones basada en el tiempo está habilitada sin este valor, la tabla se particionará en función del tiempo de carga.
--time_partitioning_type=TYPE
(Opcional) Habilita la partición basada en tiempo en una tabla y define el tipo de partición con el siguiente valor: DAY.
--use_avro_logical_types={true|false}
(Opcional) Si --source_format tiene el valor AVRO, asigna el valor true a esta marca para convertir los tipos lógicos en sus tipos correspondientes (como TIMESTAMP) en lugar de usar solo sus tipos sin formato (como INTEGER). El valor predeterminado es false.

bq mk

Crea recursos de BigQuery, como tablas integradas o tablas externas, que necesiten que se configuren las particiones y los clústeres. También puedes usar el comando bq mk para generar una tabla de BigQuery directamente a partir del análisis de los copybooks de COBOL mediante la marca --schema_from_copybook.

Sinopsis

bq mk [options]

Marcas y argumentos

El comando bq mk usa las siguientes marcas y argumentos:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--tablespec=TABLE
Especifica la tabla de destino de los datos. El formato admitido es [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que indiquen los campos que se usarán para agrupar la tabla.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se va a usar con el comando. Puede asignar el valor [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--description=DESCRIPTION
(Opcional) Proporciona una descripción del conjunto de datos o de la tabla.
--dry_run
(Opcional) Imprime la instrucción del lenguaje de definición de datos (DDL) de la tabla.
--encoding=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar los campos de caracteres. Si se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--expiration=EXPIRATION
(Opcional) Especifica el tiempo de vida de la tabla. Si no especificas ningún valor, BigQuery crea la tabla con el tiempo de vida predeterminado de la tabla del conjunto de datos o la tabla no caduca.
--external_table_definition o -e=TABLE
(Opcional) Especifica un nombre y una definición de esquema para crear una tabla externa. Ejemplo: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help o -h
Muestra este texto de ayuda.
--location=LOCATION
(Opcional) Especifica una región o una ubicación multirregional para ejecutar el comando. El valor predeterminado es US.
--parser_type=TYPE
(Opcional) Define el analizador de configuración como legacy, copybook o auto. El valor predeterminado es auto.
--require_partition_filter={true|false}
(Opcional) Si quieres que haya un filtro de partición para las consultas sobre la tabla proporcionada, asigna el valor true. Este argumento solo se aplica a las tablas particionadas y si la marca --time_partitioning_field tiene el valor true. El valor predeterminado es "true".
--schema=SCHEMA
(Opcional) Especifica la ruta a un archivo de esquema JSON local o una lista separada por comas de definiciones de columnas con el formato FIELD:DATA_TYPE, FIELD:DATA_TYPE, etc.
--schema_from_copybook=SCHEMA
(Opcional) Genera el esquema a partir de un copybook.
--table o -t=TABLE
(Opcional) Crea una tabla.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe eliminar una partición basada en el tiempo, en segundos. El tiempo de caducidad se evalúa como la fecha UTC de la partición más el valor especificado. Si proporciona un número negativo, la partición basada en el tiempo nunca caducará.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la creación de particiones basada en el tiempo está habilitada sin este valor, la tabla se particionará en función del tiempo de carga.
--view
(Opcional) Crea una vista.

bq query

Ejecuta una consulta de BigQuery.

Sinopsis

bq query [options]

Marcas y argumentos

Puedes ejecutar este comando en los modos local y remoto. Para el modo remoto, consulta las marcas --remoteHost, --remotePort y --remoteUrl, así como la variable de entorno BQ_QUERY_REMOTE_EXECUTION. El comando bq query usa las siguientes marcas y argumentos:

--project_id=ID
Especifica el proyecto que se usará para ejecutar este comando.
--allow_large_results
(Opcional) Usa tamaños de tabla de destino grandes para las consultas de SQL antiguo.
--append_table
(Opcional) Añade los datos cargados a los datos que ya haya en la tabla de destino.
--batch
(Opcional) Ejecuta la consulta en modo por lotes.
--clustering_fields=FIELDS
(Opcional) Especifica una lista separada por comas de hasta cuatro nombres de columna que indiquen los campos que se van a usar para agrupar la tabla. Si especifica este valor con la creación de particiones, primero se creará una partición de la tabla y, a continuación, se agrupará cada partición mediante las columnas proporcionadas.
--create_if_needed
(Opcional) Crea la tabla de destino si no existe.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se va a usar con el comando. Puede asignar el valor [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destination_table=TABLE
(Opcional) Especifica la tabla de destino en la que quieras escribir los resultados de la consulta.
--dry_run
(Opcional) Valida la consulta sin ejecutarla.
--follow={true|false}
(Opcional) Para monitorizar pasos de consultas concretos o la secuencia de comandos en su conjunto, asigna el valor "true". El valor predeterminado es false.
--help o -h
Muestra este texto de ayuda.
--location=LOCATION
(Opcional) Especifica una región o una ubicación multirregional para ejecutar el comando. El valor predeterminado es US.
--maximum_bytes_billed=BYTES
(Opcional) Especifica el límite de los bytes que se facturarán por la consulta.
--parameters=PARAMETERS
(Opcional) Especifica parámetros de consulta separados por comas con el formato [NAME]:[TYPE]:[VALUE]. Si no se indica ningún nombre, se crea un parámetro posicional. Puede omitir [TYPE] para asumir un valor de STRING en el formato name::value o ::value. NULL produce un valor nulo.
--query_dsn=DSN
(Opcional) Especifica el DSN desde el que se va a leer la consulta con el formato HLQ.MEMBER o HLQ.PDS(MEMBER). Si no se proporciona query_dsn, se usa QUERY DD.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar la consulta en modo remoto, define la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Opcional) Especifica el puerto remoto. El valor predeterminado es 51770. Para ejecutar la consulta en modo remoto, define la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Opcional) Especifica la URL remota. Para ejecutar la consulta en modo remoto, define la variable de entorno BQ_QUERY_REMOTE_EXECUTION.
--replace
(Opcional) Sobreescribe la tabla de destino con los resultados de la consulta.
--report_row_limit=LIMIT
(Opcional) Especifica el número máximo de filas que se imprimirán en el informe de auditoría. El valor predeterminado es 30.
--require_partition_filter={true|false}
(Opcional) Si quieres que haya un filtro de partición para las consultas sobre la tabla proporcionada, asigna el valor true. El valor predeterminado es "true".
--schema_update_option=OPTION
(Opcional) Actualiza el esquema de la tabla de destino al añadir datos. Usa los siguientes valores:
  • ALLOW_FIELD_ADDITION: permite añadir campos nuevos.
  • ALLOW_FIELD_RELAXATION: permite que los campos REQUIRED se relajen NULLABLE.
--split_sql={true|false}
(Opcional) Si quieres dividir la secuencia de comandos SQL de entrada en consultas individuales, asigna el valor true. El valor predeterminado es "true".
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--sync={true|false}
(Opcional) Ejecuta el comando en modo síncrono.
--synchronous_mode={true|false}
(Opcional) Una alternativa a --sync.
--timeOutMinutes=MINUTES
(Opcional) Especifica el tiempo de espera en minutos para una respuesta de una tarea de BigQuery. El valor predeterminado es 240 minutos.
--time_partitioning_expiration=SECONDS
(Opcional) Especifica cuándo se debe eliminar una partición basada en el tiempo, en segundos. El tiempo de caducidad se evalúa como la fecha UTC de la partición más el valor especificado. Si proporciona un número negativo, la partición basada en el tiempo nunca caducará.
--time_partitioning_field=FIELD
(Opcional) Especifica el campo que se usa para determinar cómo crear una partición basada en el tiempo. Si la creación de particiones basada en el tiempo está habilitada sin este valor, la tabla se particionará en función del tiempo de carga.
--time_partitioning_type=TYPE
(Opcional) Habilita la partición basada en tiempo en una tabla y define el tipo de partición con uno de los siguientes valores: DAY, HOUR, MONTH o YEAR.
--use_cache={true|false}
(Opcional) Para almacenar en caché los resultados de la consulta, asigna el valor "true". El valor predeterminado es "true".
--use_legacy_sql
(Opcional) Usa SQL antiguo en lugar de SQL estándar.

cloud run job cancel

Cancela una ejecución de trabajo específica.

Sinopsis

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Marcas y argumentos

El comando cloud run job cancel usa las siguientes marcas y argumentos:

EXECUTION
Especifica el nombre del ID de ejecución del trabajo de Cloud Run.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.

cloud run job execute

Ejecuta un trabajo específico.

Sinopsis

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Marcas y argumentos

El comando cloud run job execute usa las siguientes marcas y argumentos:

JOB
Especifica el nombre del trabajo de Cloud Run que se va a ejecutar.
--args=ARGS
(Opcional) Argumentos separados por comas que se transfieren al comando ejecutado por la imagen del contenedor. Si se proporciona, se creará una ejecución con los valores de entrada.
--async
(Opcional) Especifica esta marca si quieres volver inmediatamente sin esperar a que se complete la operación en curso.
--dump-execution-id=EXECUTION-ID : DataPath
(Opcional) Especifica el archivo en el que se escribirá el ID de ejecución.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--polling-interval=POLLINGINTERVAL
(Opcional) Define el intervalo de sondeo para mostrar los registros cuando --tail_logs está habilitado. El valor predeterminado es 60 s.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.
--tail-logs
(Opcional) Si ejecutas el comando en modo síncrono especificando la marca --tail_logs, Mainframe Connector mostrará los registros de progreso en la pantalla. Si especifica las marcas --tail_logs y --async, se mostrará un mensaje de error. Como Cloud Logging no admite el registro en tiempo real, el comando solo muestra los registros que ya se han registrado. Por lo tanto, es posible que falten algunos registros cuando uses la marca --tail_logs. Para ver los registros de tareas completos, usa el comando cloud run job log una vez que haya finalizado la tarea.
--task-timeout=TIMEOUT
(Opcional) Muestra el tiempo máximo (fecha límite) que puede ejecutarse un intento de tarea de un trabajo. Si no se especifica, se usará el valor predeterminado del trabajo.
--update-env-vars=ENVVARS
(Opcional) Lista de pares clave-valor que se definen como anulaciones de variables de entorno para la ejecución de una tarea.
--wait
(Opcional) Especifica esta marca si quieres que el comando espere hasta que se haya completado la ejecución antes de salir.

cloud run job log

Mostrar registros de Cloud Run

Sinopsis

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Marcas y argumentos

El comando cloud run job log usa las siguientes marcas y argumentos:

EXECUTION_ID
Nombre del ID de ejecución de la tarea de Cloud Run.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--log-filter=FILTER
(Opcional) Expresión de filtro que especifica las entradas de registro que se van a devolver.
--polling-interval=POLLINGINTERVAL
(Opcional) Define el intervalo de sondeo para mostrar los registros cuando --tail_logs está habilitado. El valor predeterminado es 60 s.
--project=PROJECT
Especifica el ID del proyecto.
--region=REGION
Especifica la región en la que se puede encontrar el recurso.
--tail
(Opcional) Muestra solo los registros nuevos a partir de ahora cuando se define. Si no se define, se mostrarán todos los registros de trabajos.
--timeout=TIMEOUT
(Opcional) Tiempo de espera tras el cual se cerrará el comando. Si no se define, el comando se agotará cuando finalice la ejecución.

copy text

Copia el conjunto de datos de texto.

Sinopsis

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

Marcas y argumentos

El comando copy text usa las siguientes marcas y argumentos:

INPUT : DataPath
Especifica la ruta de datos del archivo de entrada que quieras copiar.
OUTPUT : DataPath
Especifica la ruta de datos del archivo de salida que quieras copiar y codificar.
--buffer-size=BUFFERSIZE : DataSize
(Opcional) Indica el tamaño de lectura de memoria de cada bloque. El valor predeterminado es 64 MiB.
--help o -h
(Opcional) Muestra este mensaje de ayuda.

gsutil cp

Transcodifica los datos de tu mainframe en un segmento de Cloud Storage.

Sinopsis

gsutil cp [options] gcsUri [dest]

Marcas y argumentos

Puedes usar este comando para los siguientes fines:

  • Copia y transcodifica un archivo de un entorno de mainframe o Linux en Cloud Storage.
    • Origen: --inDSN. Si no se proporciona, se especifica mediante DD INFILE.
    • Destino: gcsUri
  • Copiar y transcodificar un archivo en Cloud Storage
    • Origen: gcsUri
    • Destino: --destPath
  • Copia un archivo de Cloud Storage a un mainframe.
    • Origen: gcsUri
    • Destino: --destDSN
    • Marcas relevantes: --lrecl, --blksize, --recfm y --noseek.
  • Copia un archivo de Cloud Storage en un entorno Linux.
    • Origen: gcsUri
    • Destino: --destPath
Este comando se puede ejecutar en los modos local, remoto e independiente. En el caso del modo remoto, consulta las marcas --remote, --remoteHost, --remotePort y --remoteUrl. El comando gsutil cp usa las siguientes marcas y argumentos:

dest
(Opcional) La ruta local o el nombre de la fuente de datos (DSN). Formatos de ejemplo: /path/to/file, DATASET.MEMBER
gcsUri
El URI de Cloud Storage en el formato gs://bucket/path. Puede representar tanto la ubicación de origen como la de destino, según el uso.
--batchSize=SIZE
(Opcional) Especifica los bloques que se van a usar por lote. El valor predeterminado es 1000.
--blksize=SIZE
(Opcional) Especifica el tamaño del bloque del archivo que se va a copiar en el mainframe. Si blksize=0 y recfm no son U, el sistema central determina el tamaño de bloque óptimo para el archivo.
--cobDsn=DSN
(Opcional) Especifica el DSN del libro de copias que quieras usar. Si no proporciona ningún valor, Mainframe Connector leerá de DD COPYBOOK.
--connections=NUMBER
(Opcional) Especifica el número de conexiones que se pueden establecer con el receptor remoto. El valor predeterminado es 10.
--dataset_id=ID
(Opcional) Especifica el conjunto de datos predeterminado que se va a usar con el comando. Puede asignar el valor [PROJECT_ID]:[DATASET] o [DATASET]. Si falta [PROJECT_ID], se usa el proyecto predeterminado.
--destDSN=OUTPUT
(Opcional) Especifica el DSN de destino.
--destPath=OUTPUT
(Opcional) Especifica la ruta de destino.
--dry_run
(Opcional) Prueba el análisis del copybook y la decodificación del archivo QSAM.
--encoding=ENCODING
(Opcional) Especifica el conjunto de caracteres que se usará para codificar y decodificar los campos de caracteres. Si se especifica, este valor anula el valor predeterminado establecido por la variable de entorno ENCODING.
--help o -h
Muestra este texto de ayuda.
--inDsn=DSN
(Opcional) Especifica el DSN del archivo de entrada que quieras usar. Si no proporciona ningún valor, Mainframe Connector leerá de DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifica el tiempo de espera de keep-alive en segundos de un canal HTTP. El valor predeterminado es 480 segundos.
--location=LOCATION
(Opcional) Especifica una región o una ubicación multirregional para ejecutar el comando. El valor predeterminado es US.
--lowerCaseColumnNames
(Opcional) Crea nombres de columna en minúsculas para los campos de copybook.
--lrecl=LRECL
(Opcional) Especifica la longitud del registro lógico (lrecl) del archivo que quieras copiar en el mainframe.
--maxChunkSize=SIZE
(Opcional) Especifica el tamaño máximo de los fragmentos por lote. Debe usar K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB o TB para describir el tamaño. El valor predeterminado es 128 MiB.
--max_error_pct=PCT
(Opcional) Especifica el umbral de errores de trabajo para los errores de decodificación de filas. Los valores válidos están comprendidos entre 0,0 y 1,0. El valor predeterminado es 0.
--noseek
(Opcional) Mejora el rendimiento de las descargas de Cloud Storage al mainframe.
--parallel o -m
(Opcional) Define el número de escritores simultáneos en 4.
--parallelism o -p=NUMBER
(Opcional) Especifica el número de escritores simultáneos. El valor predeterminado es 4.
--parser_type=TYPE
(Opcional) Define el analizador de configuración como legacy, copybook o auto. El valor predeterminado es auto.
--preload_chunk_count=NUMBER
(Opcional) Especifica el número de fragmentos que se van a precargar desde los discos mientras todos los trabajadores están ocupados. El valor predeterminado es 2.
--project_id=ID
(Opcional) Especifica el proyecto que se usará para ejecutar este comando.
--recfm=REFCM
(Opcional) Especifica el recfm del archivo que quieras copiar en el mainframe. Puedes usar uno de los siguientes valores: F, FB, V, VB o U. El valor predeterminado es FB.
--remote
(Opcional) Usa un decodificador remoto.
--remoteHost=HOST
(Opcional) Especifica la dirección IP del host remoto. Para ejecutar Mainframe Connector en modo remoto, define la marca --remote
.
--remotePort=PORT
(Opcional) Especifica el puerto remoto que se va a usar. El valor predeterminado es 51770. Para ejecutar Mainframe Connector en modo remoto, define la marca --remote
.
--remoteUrl=URL
(Opcional) Especifica la URL remota. Para ejecutar Mainframe Connector en modo remoto, define la marca --remote
.
--replace
(Opcional) Elimina el destino de forma recursiva antes de subir el archivo.
--stats_table=TABLE
(Opcional) Especifica la tabla en la que se insertarán las estadísticas.
--tfDSN=DSN
(Opcional) Especifica las transformaciones de un DSN, DATASET.MEMBER o PDS(MBR).
--tfGCS=GCS
(Opcional) Especifica el archivo de transformaciones de Cloud Storage.
--timeOutMinutes=MINUTES
(Opcional) Especifica el tiempo de espera en minutos de una llamada grpc remota. El valor predeterminado es de 90 minutos para Cloud Storage y de 50 minutos para un mainframe.

gsutil rm

Eliminar objetos de Cloud Storage.

Sinopsis

gsutil rm [-hR] URL...

Marcas y argumentos

El comando gsutil rm usa las siguientes marcas y argumentos:

URL
Especifica la ubicación de Cloud Storage en el formato gs://bucket/prefix.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
-R o -r
(Opcional) Elimina de forma recursiva el contenido de los directorios u objetos que coincidan con la expresión de ruta. No devuelve un error si el directorio o el objeto no existen.

pubsub topics publish

Publica un mensaje en un tema de Pub/Sub.

Este comando te permite enviar datos de mensajes directamente mediante la marca --data o a través de un archivo mediante la marca --data-path. También puede incluir atributos, una clave de ordenación y aplicar propiedades de mensaje. Además, puedes aplicar sustituciones de cadenas dinámicas al contenido del mensaje.

Sinopsis

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Marcas y argumentos

El comando pubsub topics publish usa las siguientes marcas y argumentos:

TOPIC
Especifica el nombre del tema con el formato projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
(Opcional) Especifica una lista de atributos separada por comas. Cada ATTRIBUTE tiene el formato name=value. Puede especificar hasta 100 atributos. Para ver una lista completa de las directrices de los atributos, consulte el artículo Usar atributos para publicar un mensaje.
--data-path=DATAPATH : DataPath
(Opcional) Especifica la ruta al archivo que contiene los datos del mensaje. Debe definir una de las marcas --data o --data-path, pero no ambas. Para obtener más información sobre el formato de los mensajes y los límites de tamaño, consulta el artículo Publicar mensajes en temas.
--data=DATA
(Opcional) Especifica el cuerpo del mensaje que quieres publicar en el nombre del tema. Debe definir una de las marcas --data o --data-path, pero no ambas. Para obtener más información sobre el formato de los mensajes y los límites de tamaño, consulta el artículo Publicar mensajes en temas.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--message-property=KEY=VALUE
(Opcional) Especifica las propiedades que se aplicarán al mensaje. Una clave de propiedad válida es encoding. Esta clave de propiedad especifica la codificación de caracteres que se debe usar para la cadena del mensaje. La cadena de mensaje se convierte en bytes mediante esta codificación antes de enviarse al tema de Pub/Sub. Para ver una lista de los valores de codificación admitidos, consulta Codificaciones admitidas. El valor predeterminado es UTF-8.
--ordering-key=ORDERING-KEY
(Opcional) Especifica la clave para la entrega ordenada de mensajes a los suscriptores. Todos los mensajes con la misma clave de ordenación se envían a los suscriptores en el orden en el que los recibe Pub/Sub.
--substitution=KEY=VALUE

(Opcional) Con --data o --data-path, especifique los pares clave-valor que se usarán para la sustitución dinámica que se aplicará a los datos del mensaje de Pub/Sub. Mainframe Connector analiza los datos del mensaje en busca de marcadores de posición y los sustituye por sus valores correspondientes. Defina los marcadores de posición en los datos con la sintaxis ${KEY}. Por ejemplo, ${NAME}. Especifique cada sustitución como un par clave-valor con el formato KEY=VALUE. Puedes especificar varias sustituciones repitiendo la opción: --substitution key1=value1 --substitution key2=value2.

Por ejemplo, si los datos de entrada son Hello, ${username}! y usas --substitution username=World, el mensaje enviado a Pub/Sub será Hello, World!.

qsam decode

Decodifica los datos de QSAM.

Este comando decodifica registros de un archivo QSAM al formato que especifiques con el argumento --output-format. El archivo QSAM original se divide en fragmentos según el valor que especifiques con el argumento --max-chunk-size. El resultado transcodificado se guarda en la ruta de destino como archivos ordenados lexicográficamente.

Sinopsis

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Marcas y argumentos

El comando qsam decode usa las siguientes marcas y argumentos:

INPUT : DataPath
Especifica la ruta de datos del archivo QSAM que quieras decodificar.
OUTPUT : DataPath
Especifica la ruta de datos del prefijo de salida. Todo el resultado se almacena con este prefijo.
--chunk-size=CHUNK-SIZE : DataSize
(Opcional) Especifica la cantidad de datos de entrada que se incluirá en cada archivo de salida. El archivo de salida puede ser más grande o más pequeño. El tamaño del fragmento se redondea al múltiplo más próximo de la longitud del registro lógico. El valor predeterminado es 128 MiB.
--copybook=COPYBOOK : DataPath
Especifica la ruta de datos del archivo que contiene el copybook.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--input-parameter=KEY=VALUE

(Opcional) Especifica los parámetros para configurar la entrada. Cada parámetro se define como KEY=VALUE. Las claves de parámetros de entrada admitidas son las siguientes:

--max-error-percent=MAX_ERROR_PERCENT

Opcional: Especifica el porcentaje de registros procesados que pueden tener errores antes de que falle el proceso de transcodificación. El valor puede oscilar entre 0,0 (se produce un error si hay errores de transcodificación) y 1,0 (no se produce un error si hay errores de transcodificación). El valor predeterminado es 0.

--output-format=FORMAT : TranscodeFormat

(Opcional) Especifica el formato del archivo de salida. Si proporcionas el DataPath de un tema de Pub/Sub como valor de OUTPUT, el formato de salida predeterminado será JSONL. En el resto de los DataPaths, el formato de salida predeterminado es ORC.

--parallelism=COUNT

(Opcional) Especifica el número de hilos de procesamiento. El valor debe ser igual o inferior al número de núcleos disponibles. El valor predeterminado es 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Opcional) Especifica el número de fragmentos de datos que se van a precargar cuando se estén procesando todos los hilos. El valor predeterminado es 1.

--replace

(Opcional) Si se especifica, elimina la ruta de salida de forma recursiva antes de escribir los resultados de la decodificación.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.

qsam encode

Codifica los datos de QSAM.

Este comando toma datos de una fuente externa y los convierte en un archivo QSAM. La entrada se define mediante el valor que especifiques con el argumento --input-format.

Sinopsis

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Marcas y argumentos

El comando qsam encode usa las siguientes marcas y argumentos:

INPUT : DataPath
Especifica la ruta de datos del archivo de entrada que quieras codificar en un archivo QSAM.
OUTPUT : DataPath
Especifica la ruta de datos del archivo QSAM que quieras codificar.
--copybook=COPYBOOK : DataPath
Especifica la ruta de datos del archivo que contiene el copybook.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--input-format=FORMAT : TranscodeInputFormat
Especifica el formato de la entrada.
--input-parameter=KEY=VALUE

(Opcional) Especifica los parámetros para configurar la entrada. Cada parámetro se define como KEY=VALUE. Las claves de parámetros de entrada admitidas son las siguientes:

--input-stream-count=COUNT

(Opcional) Especifica el número de flujos de entrada. Este es el valor máximo, pero en realidad se pueden usar menos. El valor predeterminado es 1.

--parallelism=COUNT

(Opcional) Especifica el número de hilos de procesamiento. El valor debe ser igual o inferior al número de núcleos disponibles. El valor predeterminado es 1.

--spillover=SPILLOVER : DataPath

(Opcional) Especifica una ruta de datos para el conjunto de datos de respaldo. Si no especifica esta información, se descartarán los detalles del error.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifica el archivo que contiene la configuración de transcodificación. Para obtener más información sobre el formato de configuración del transcodificador, consulta Configuración del transcodificador.

scp

Copia los archivos en Cloud Storage.

Sinopsis

scp [options] [input] [output]

Marcas y argumentos

Para usar este comando, debes asegurarte de lo siguiente:

  • Define un valor de entrada único mediante input, --inDD o --inDsn.
  • Define un valor de salida único mediante la salida o --gcsOutUri.

El comando scp usa las siguientes marcas y argumentos:

input
(Opcional) Especifica el DD o el DSN que se va a copiar. Puedes usar --inDD o --inDsn en su lugar.
output
(Opcional) Especifica el URI de la salida con el formato gs://[BUCKET]/[PREFIX]. Puedes usar --gcsOutUri en su lugar.
--compress
(Opcional) Comprimir la salida con gzip.
--count o -n=RECORDS
(Opcional) Especifica el número de registros que quieres copiar. El valor predeterminado es ilimitado.
--encoding=ENCODING
(Opcional) Especifica la codificación de caracteres de entrada. El valor predeterminado es CP037.
--gcsOutUri=URI
(Opcional) Especifica el URI de Cloud Storage de destino de la copia del archivo.
--help o -h
Muestra este texto de ayuda.
--inDD=INPUT
(Opcional) Especifica el archivo DD que se va a copiar. El valor predeterminado es DD INFILE.
--inDsn=INPUT
(Opcional) Especifica el DSN que quieras copiar.
--noConvert
(Opcional) Inhabilita la conversión de la entrada de caracteres a ASCII. La conversión de caracteres está habilitada de forma predeterminada.

systemreport

Proporciona un informe del sistema.

Sinopsis

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Marcas y argumentos

El comando systemreport usa las siguientes marcas y argumentos:

--available_security_providers
(Opcional) Imprime los proveedores de seguridad admitidos.
--help o -h
(Opcional) Muestra este mensaje de ayuda.
--supported_ciphers
(Opcional) Imprime las cifrados admitidos.

Tipos de parámetros

Estos tipos comunes se usan en los comandos de Mainframe Connector.

DataPath

DataPath es una cadena que representa una entrada o una salida. Cada tipo de DataPath tiene su propio prefijo y argumentos, como se indica a continuación:

  • DD:: las rutas de datos con este prefijo apuntan a una instrucción de definición de datos (DD) cuando se ejecutan en un trabajo del lenguaje de control de trabajos (JCL). Puedes cambiar la codificación de DD añadiendo encoding= a la DD. Por ejemplo, DD:DDNAME o DD:DDNAME?encoding=UTF-8. La codificación DD predeterminada es la codificación predeterminada del SO.

  • DSN:: las rutas de datos con este prefijo apuntan a un nombre de fuente de datos (DSN) cuando se ejecutan en un mainframe. Puede cambiar la codificación DSN añadiendo encoding= al DSN. Por ejemplo, DSN:HQ.FOO.BAR o DSN:HQ.FOO.BAR?encoding=cp037.

  • file:: las rutas de datos con este prefijo apuntan a un archivo Unix. Puedes especificar lo siguiente en el archivo Unix:

    • La longitud lógica del registro (LRECL) añadiendo #lrecl antes de :.
    • El formato de registro (RECFM) añadiendo &recfm antes de :. El valor predeterminado de RECFM es F.
    • La codificación añadiendo &encoding antes de :. La codificación predeterminada es UTF-8.

    Por ejemplo, file:/path/to/file, file?80:/path/to/file, file?80&recfm=FB:/path/to/file o file?80&recfm=FB&encoding=cp037:/path/to/file.

  • gs://: las rutas de datos con este prefijo apuntan a un archivo de Cloud Storage. Puede especificar lo siguiente en el archivo:

    • El LRECL añadiendo ?lrecl=lrecl después del prefijo del segmento.
    • RECFM añadiendo ?recfm=recfm después del prefijo del segmento. El valor predeterminado de RECFM es F.
    • La codificación añadiendo ?encoding= después del prefijo del bucket. La codificación predeterminada es UTF-8.

    Por ejemplo, gs://my_bucket/my/file.txt, gs://my_bucket/my/file.txt?encoding=cp037, gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 o gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm.

  • pubsub:: las rutas de datos con este prefijo apuntan a un recurso de Pub/Sub. Por ejemplo, pubsub:projects/projectId/topics/topicId.

En el caso de los archivos de Cloud Storage o Unix, si RECFM se define como V, Mainframe Connector lee y escribe los archivos en formato zzLL de la siguiente manera:

  • Los dos primeros bytes siempre son 0x0000.
  • Los dos bytes siguientes representan el tamaño de los datos.
  • Los bytes restantes constituyen los datos del registro.

DataSize

DataSize representa un tamaño en forma de cantidad y unidad de medida, por ejemplo, 5 MiB. Puede usar espacios en blanco entre la cantidad y la magnitud. El análisis del tamaño de los datos no distingue entre mayúsculas y minúsculas, por lo que puede especificar unidades de medida en ambos casos.

Puede especificar el valor en los siguientes formatos:

  • Formato de Java: b/k/m/g/t, para byte, kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
  • Formato internacional: KiB/MiB/GiB/TiB, para kibibyte, mebibyte, gibibyte y tebibyte, respectivamente.
  • Formato de la métrica: b/kb/mb/gb/tb, para kilobyte, megabyte, gigabyte y terabyte respectivamente.

TranscodeFormat

TranscodeFormat representa el formato que se usará durante el proceso de transcodificación.

Los valores válidos son estos:

  • ORC: ORC es un formato de archivo columnar autoexplicativo que tiene en cuenta el tipo.
  • CSV: CSV es un formato de texto sin formato que almacena datos tabulares, donde cada línea representa una fila. Puedes especificar los parámetros CSV mediante el parámetro de entrada csv-dialect. Puedes definirlo como --input-parameter csv-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.
  • JSONL: JSONL es un formato de texto sin formato que almacena datos tabulares, donde cada línea representa una fila. Puede especificar los parámetros JSON mediante el parámetro de entrada json-dialect. Puedes definirlo como --input-parameter json-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.

TranscodeInputFormat

El formato que se usará durante la transcodificación.

Los valores válidos son estos:

  • BIGQUERY: extrae datos directamente de BigQuery. INPUT debe ser la ruta a un archivo de consulta.

    Los parámetros de entrada disponibles son los siguientes:

    • keep_order: úsalo si el orden exacto de los registros es importante. Ten en cuenta que esto limitará el flujo de entrada.
    • project_id: ID del proyecto que se usará al ejecutar el trabajo.
    • location: ubicación que se usará al ejecutar el trabajo.

  • CSV: CSV es un formato de texto sin formato que almacena datos tabulares, donde cada línea representa una fila. Puedes especificar los parámetros CSV mediante el parámetro de entrada csv-dialect. Puedes definirlo como --input-parameter csv-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.

  • JSONL: JSONL es un formato de texto sin formato que almacena datos tabulares, donde cada línea representa una fila. Puede especificar los parámetros JSON mediante el parámetro de entrada json-dialect. Puedes definirlo como --input-parameter json-dialect=DataPath, donde DataPath apunta a la ubicación de estos parámetros.