Referência da linha de comando do Mainframe Connector

Este documento descreve a sintaxe, os comandos, as flags e os argumentos da ferramenta de linha de comandos do Mainframe Connector.

Comandos

bq export

Exporte uma tabela do BigQuery.

Sinopse

bq export [options]

Sinalizações e argumentos

Para executar este comando, tem de fornecer uma consulta SQL (consulte as flags --sql e query_dsn) e um copybook (consulte a flag cobDsn). Pode executar este comando no modo local, remoto e autónomo. Para o modo remoto, consulte as flags --bucket, --remoteHost, --remotePort e --remoteUrl. O comando bq export usa as seguintes flags e argumentos:

--project_id=ID
Especifique o projeto a usar para executar este comando.
--allow_large_results
(Opcional) Use tamanhos de tabelas de destino grandes para consultas SQL antigas.
--batch
(Opcional) Execute a consulta no modo de lote.
--bucket=BUCKET
(Opcional) Especifique uma localização no Cloud Storage para escrever o resultado do comando. Se run_mode for gcsoutput, este parâmetro deve ser definido como um URI do Cloud Storage no formato gs://example-bucket/example-prefix/example-filename.orc. Caso contrário, os ficheiros de saída são escritos no caminho de destino gs://BUCKET/EXPORT/. Este argumento é obrigatório para o modo remoto.
--cobDsn=DSN
(Opcional) Especifique o DSN do livro de cópias que quer usar. Se não fornecer um valor, o Mainframe Connector lê a partir de DD COPYBOOK.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados predefinido a usar com o comando. Pode definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver em falta, é usado o projeto predefinido.
--destination_table=TABLE
(Opcional) Especifique a tabela de destino na qual quer escrever os resultados da consulta.
--dry_run
(Opcional) Valide a consulta sem a executar.
--encoding=ENCODING
(Opcional) Especifique o conjunto de carateres a usar para codificar e descodificar campos de carateres. Quando fornecido, este valor substitui o valor predefinido definido pela variável de ambiente ENCODING.
--exporter_thread_count=COUNT
(Opcional) Defina o número de threads do exportador. O valor predefinido é 4.
--help ou -h
Apresentar este texto de ajuda.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifique o tempo limite de manutenção ativo em segundos para um canal HTTP. O valor predefinido é 480 segundos.
--location=LOCATION
(Opcional) Especifique uma região ou uma localização multirregional para executar o comando. O valor predefinido é US.
--max_read_queue=NUMBER
(Opcional) Defina o tamanho máximo da fila de registos Avro. O valor predefinido é o dobro do número de threads.
--max_read_streams=NUMBER
(Opcional) Defina o número máximo de threads de streams de leitura. O valor predefinido é 4.
--maximum_bytes_billed=BYTES
(Opcional) Limite os bytes faturados para a consulta.
--order_response
(Opcional) Mantenha a resposta ordenada conforme devolvida pelo BigQuery.
--outDD=OUTPUT
(Opcional) Escreva os registos de saída no conjunto de dados especificado no z/OS. O valor predefinido é DD OUTFILE.
--parser_type=TYPE
(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor predefinido é auto.
--query_dsn=DSN
(Opcional) Leia uma consulta do conjunto de dados especificado no z/OS. Use o formato HLQ.MEMBER ou HLQ.PDS(MEMBER). Se não fornecer um valor, o Mainframe Connector lê a partir de DD QUERY.
--remoteHost=HOST
(Opcional) Especifique o endereço IP do anfitrião remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.
--remotePort=PORT
(Opcional) Especifique a porta remota. O valor predefinido é 51770. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.
--remoteUrl=URL
(Opcional) Especifique o URL remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --bucket.
--run_mode=MODE
(Opcional) Selecione a implementação da exportação. Pode usar uma das seguintes opções:
  • directstorage: o ficheiro binário é guardado localmente (predefinição)
  • gcsoutput: o ficheiro binário é guardado no Cloud Storage
--sql=SQL
(Opcional) Especifique a consulta SQL do BigQuery a executar.
--stats_table=TABLE
(Opcional) Especifique a tabela na qual inserir estatísticas.
--timeOutMinutes=MINUTES
(Opcional) Defina o limite de tempo em minutos para a chamada grpc remota. O valor predefinido é 90 minutos.
--transcoding_buffer=BUFFER
(Opcional) Define o tamanho da memória intermédia de transcodificação por segmento, em MB. O valor predefinido é 20.
--use_cache={true|false}
(Opcional) Para colocar os resultados da consulta em cache, defina como verdadeiro.
--use_legacy_sql
(Opcional) Use o SQL antigo em vez do SQL padrão.

bq load

Carregue dados para uma tabela do BigQuery.

Sinopse

bq load [options] tablespec path

Sinalizações e argumentos

O comando bq load usa as seguintes flags e argumentos:

path
Especifique uma lista de URIs de ficheiros de origem separados por vírgulas. O formato suportado é gs://bucket/path. Exemplo: gs://my-bucket/data.orc,gs://my-bucket/more-data.orc.
tablespec
Especifique a tabela de destino dos dados. O formato suportado é [PROJECT]:[DATASET].[TABLE]
--project_id=ID
Especifique o projeto a usar para executar este comando.
--allow_jagged_rows
(Opcional) Permitir colunas opcionais finais em falta nos dados CSV.
--allow_quoted_newlines
(Opcional) Permitir novas linhas entre aspas nos dados CSV.
--append_table
(Opcional) Anexe os dados carregados aos dados existentes na tabela de destino.
--autodetect
(Opcional) Ative a deteção automática de esquemas para dados CSV e JSON.
--clustering_fields=FIELDS
(Opcional) Se especificado, é usada uma lista de colunas separadas por vírgulas para agrupar a tabela de destino numa consulta. Este sinalizador tem de ser usado com os sinalizadores de partição por tempo para criar uma tabela particionada por tempo de ingestão ou uma tabela particionada numa coluna DATE ou TIMESTAMP. Quando especificado, a tabela é primeiro particionada e, em seguida, agrupada em clústeres através das colunas fornecidas.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados predefinido a usar com o comando. Pode definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver em falta, é usado o projeto predefinido.
--debug_mode={true|false}
(Opcional) Defina o nível de registo como depuração.
--destination_kms_key=KEY
(Opcional) A chave do Cloud KMS para a encriptação dos dados da tabela de destino.
--encoding ou -E=ENCODING
(Opcional) Especifique o conjunto de carateres a usar para codificar e descodificar campos de carateres. Quando especificado, este valor substitui o valor predefinido definido pela variável de ambiente ENCODING.
--field_delimiter ou -F=FIELD
(Opcional) Especifique o delimitador de colunas nos dados CSV. Use \t ou tab para delimitadores de tabulações.
--help ou -h
Apresentar este texto de ajuda.
--ignore_unknown_values=VALUES
(Opcional) Ignorar valores adicionais não reconhecidos em dados CSV ou JSON.
--location=LOCATION
(Opcional) Especifique uma região ou uma localização multirregional para executar o comando. O valor predefinido é US.
--max_bad_records=RECORDS
(Opcional) Defina o número máximo de registos inválidos permitidos antes de a tarefa falhar. São devolvidos um máximo de cinco erros de qualquer tipo, independentemente do valor de --max_bad_records. Esta flag aplica-se apenas ao carregamento de dados CSV, JSON e do Google Sheets. O valor predefinido é 0.
--max_polling_interval_ms=MILLISECONDS
(Opcional) O tempo de espera máximo para uma tarefa do BigQuery.
--null_marker=MARKER
(Opcional) Especifique uma string personalizada que represente um valor NULL nos dados CSV.
--projection_fields=FIELDS
(Opcional) Se definir --source_format como DATASTORE_BACKUP, esta flag indica as propriedades da entidade a carregar a partir de uma exportação do Datastore. Especifique os nomes das propriedades numa lista separada por vírgulas. Os nomes das propriedades são sensíveis a maiúsculas e minúsculas e têm de se referir a propriedades de nível superior. Também pode usar esta flag com exportações do Firestore.
--quote=QUOTE
(Opcional) Especifique um caráter de aspas para envolver os campos nos dados CSV. Pode especificar qualquer caráter de um byte como argumento. O valor predefinido é uma aspa dupla ("). Para especificar que não existem carateres de aspas, use uma string vazia.
--replace
(Opcional) Substitua os dados existentes na tabela de destino pelos dados carregados.
--require_partition_filter={true|false}
(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como verdadeiro. Este argumento aplica-se apenas a tabelas particionadas e se a flag --time_partitioning_field estiver definida como verdadeira. O valor predefinido é false.
--schema=SCHEMA
(Opcional) Defina o esquema da tabela de destino. Especifique o valor como uma lista separada por vírgulas de definições de colunas no formato [FIELD]:[DATA_TYPE]. Exemplo: name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(Opcional) Quando acrescenta dados a uma tabela (num trabalho de carregamento ou num trabalho de consulta) ou quando substitui uma partição de tabela, especifique como atualizar o esquema da tabela de destino. Use um dos seguintes valores:
  • ALLOW_FIELD_ADDITION: permitir a adição de novos campos
  • ALLOW_FIELD_RELAXATION: permitir a flexibilização dos campos REQUIRED para NULLABLE
Repita esta flag para especificar várias opções de atualização do esquema.
--skip_leading_rows=NUMBER
(Opcional) Especifique o número de linhas a ignorar no início do ficheiro de origem. O valor predefinido é 0.
--source_format=FORMAT
(Opcional) Especifique o formato dos dados de origem. Pode usar um dos seguintes valores: CSV, NEWLINE_DELIMITED_JSON, AVRO, DATASTORE_BACKUP (use este valor para o Filestore), PARQUET, ORC. O valor predefinido é ORC.
--stats_table=TABLE
(Opcional) Especifique a tabela na qual inserir estatísticas.
--time_partitioning_expiration=SECONDS
(Opcional) Especifique quando uma partição baseada no tempo deve ser eliminada, em segundos. O tempo de expiração é avaliado como a data UTC da partição mais o valor especificado. Se fornecer um número negativo, a partição baseada no tempo nunca expira.
--time_partitioning_field=FIELD
(Opcional) Especifique o campo usado para determinar como criar uma partição baseada no tempo. Se a partição baseada no tempo estiver ativada sem este valor, a tabela é particionada com base na hora de carregamento.
--time_partitioning_type=TYPE
(Opcional) Ative a partição baseada no tempo numa tabela e defina o tipo de partição com o seguinte valor: DAY.
--use_avro_logical_types={true|false}
(Opcional) Se --source_format estiver definido como AVRO, defina este indicador como verdadeiro para converter tipos lógicos nos respetivos tipos correspondentes (como TIMESTAMP) em vez de usar apenas os respetivos tipos não processados (como INTEGER). O valor predefinido é falso.

bq mk

Crie recursos do BigQuery, como tabelas incorporadas ou tabelas externas, que precisam de partição e agrupamento configurados. Também pode usar o comando bq mk para gerar uma tabela do BigQuery diretamente a partir da análise de copybooks COBOL com a flag --schema_from_copybook.

Sinopse

bq mk [options]

Sinalizações e argumentos

O comando bq mk usa as seguintes flags e argumentos:

--project_id=ID
Especifique o projeto a usar para executar este comando.
--tablespec=TABLE
Especifique a tabela de destino dos dados. O formato suportado é [PROJECT]:[DATASET].[TABLE].
--clustering_fields=FIELDS
(Opcional) Especifique uma lista separada por vírgulas de até quatro nomes de colunas que especifiquem os campos a usar para o agrupamento de tabelas.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados predefinido a usar com o comando. Pode definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver em falta, é usado o projeto predefinido.
--description=DESCRIPTION
(Opcional) Introduza uma descrição para o conjunto de dados ou a tabela.
--dry_run
(Opcional) Imprima a declaração da linguagem de definição de dados (LDD) da tabela.
--encoding=ENCODING
(Opcional) Especifique o conjunto de carateres a usar para codificar e descodificar campos de carateres. Quando especificado, este valor substitui o valor predefinido definido pela variável de ambiente ENCODING.
--expiration=EXPIRATION
(Opcional) Especifique a duração da tabela. Se não especificar um valor, o BigQuery cria a tabela com o tempo de vida predefinido da tabela do conjunto de dados ou a tabela não expira.
--external_table_definition ou -e=TABLE
(Opcional) Especifique um nome e uma definição de esquema para criar uma tabela externa. Exemplo: ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help ou -h
Apresentar este texto de ajuda.
--location=LOCATION
(Opcional) Especifique uma região ou uma localização multirregional para executar o comando. O valor predefinido é US.
--parser_type=TYPE
(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor predefinido é auto.
--require_partition_filter={true|false}
(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como verdadeiro. Este argumento aplica-se apenas a tabelas particionadas e se a flag --time_partitioning_field estiver definida como verdadeira. O valor predefinido é True.
--schema=SCHEMA
(Opcional) Especifique o caminho para um ficheiro de esquema JSON local ou uma lista separada por vírgulas de definições de colunas no formato FIELD:DATA_TYPE, FIELD:DATA_TYPE e assim sucessivamente.
--schema_from_copybook=SCHEMA
(Opcional) Gere o esquema a partir de um copybook.
--table ou -t=TABLE
(Opcional) Crie uma tabela.
--time_partitioning_expiration=SECONDS
(Opcional) Especifique quando uma partição baseada no tempo deve ser eliminada, em segundos. O tempo de expiração é avaliado como a data UTC da partição mais o valor especificado. Se fornecer um número negativo, a partição baseada no tempo nunca expira.
--time_partitioning_field=FIELD
(Opcional) Especifique o campo usado para determinar como criar uma partição baseada no tempo. Se a partição baseada no tempo estiver ativada sem este valor, a tabela é particionada com base na hora de carregamento.
--view
(Opcional) Crie uma visualização de propriedade.

bq query

Executar uma consulta do BigQuery.

Sinopse

bq query [options]

Sinalizações e argumentos

Pode executar este comando nos modos local e remoto. Para o modo remoto, consulte as flags --remoteHost, --remotePort e --remoteUrl, e a variável de ambiente BQ_QUERY_REMOTE_EXECUTION. O comando bq query usa as seguintes flags e argumentos:

--project_id=ID
Especifique o projeto a usar para executar este comando.
--allow_large_results
(Opcional) Use tamanhos de tabelas de destino grandes para consultas SQL antigas.
--append_table
(Opcional) Anexe os dados carregados aos dados existentes na tabela de destino.
--batch
(Opcional) Execute a consulta no modo de lote.
--clustering_fields=FIELDS
(Opcional) Especifique uma lista separada por vírgulas de até quatro nomes de colunas que especifiquem os campos a usar para o agrupamento em tabelas. Se especificar este valor com a partição, a tabela é primeiro particionada e, em seguida, cada partição é agrupada usando as colunas fornecidas.
--create_if_needed
(Opcional) Crie a tabela de destino se não existir.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados predefinido a usar com o comando. Pode definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver em falta, é usado o projeto predefinido.
--destination_table=TABLE
(Opcional) Especifique a tabela de destino na qual quer escrever os resultados da consulta.
--dry_run
(Opcional) Valide a consulta sem a executar.
--follow={true|false}
(Opcional) Para acompanhar os passos de consulta individuais ou o script como um todo, defina como verdadeiro. O valor predefinido é false.
--help ou -h
Apresentar este texto de ajuda.
--location=LOCATION
(Opcional) Especifique uma região ou uma localização multirregional para executar o comando. O valor predefinido é US.
--maximum_bytes_billed=BYTES
(Opcional) Especifique o limite de bytes faturados para a consulta.
--parameters=PARAMETERS
(Opcional) Especifique parâmetros de consulta separados por vírgulas no formato [NAME]:[TYPE]:[VALUE]. Um nome vazio cria um parâmetro posicional. Pode omitir [TYPE] para assumir um valor STRING no formato name::value ou ::value. NULL produz um valor nulo.
--query_dsn=DSN
(Opcional) Especifique o DSN a partir do qual a consulta deve ser lida, no formato HLQ.MEMBER ou HLQ.PDS(MEMBER). Se query_dsn não for fornecido, é usado QUERY DD.
--remoteHost=HOST
(Opcional) Especifique o endereço IP do anfitrião remoto. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.
--remotePort=PORT
(Opcional) Especifique a porta remota. O valor predefinido é 51770. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.
--remoteUrl=URL
(Opcional) Especifique o URL remoto. Para executar a consulta no modo remoto, defina a variável de ambiente BQ_QUERY_REMOTE_EXECUTION.
--replace
(Opcional) Substitua a tabela de destino pelos resultados da consulta.
--report_row_limit=LIMIT
(Opcional) Especifique o número máximo de linhas a imprimir no relatório de auditoria. O valor predefinido é 30.
--require_partition_filter={true|false}
(Opcional) Para ter um filtro de partição para consultas na tabela fornecida, defina como verdadeiro. O valor predefinido é True.
--schema_update_option=OPTION
(Opcional) Atualize o esquema da tabela de destino quando acrescentar dados. Use os seguintes valores:
  • ALLOW_FIELD_ADDITION: permite adicionar novos campos.
  • ALLOW_FIELD_RELAXATION: permite relaxar os campos REQUIRED para NULLABLE.
--split_sql={true|false}
(Opcional) Para dividir o script SQL de entrada em consultas individuais, defina como verdadeiro. O valor predefinido é True.
--stats_table=TABLE
(Opcional) Especifique a tabela na qual inserir estatísticas.
--sync={true|false}
(Opcional) Execute o comando no modo síncrono.
--synchronous_mode={true|false}
(Opcional) Uma alternativa a --sync.
--timeOutMinutes=MINUTES
(Opcional) Especifique o limite de tempo em minutos para uma resposta de tarefa do BigQuery. O valor predefinido é de 240 minutos.
--time_partitioning_expiration=SECONDS
(Opcional) Especifique quando uma partição baseada no tempo deve ser eliminada, em segundos. O tempo de expiração é avaliado como a data UTC da partição mais o valor especificado. Se fornecer um número negativo, a partição baseada no tempo nunca expira.
--time_partitioning_field=FIELD
(Opcional) Especifique o campo usado para determinar como criar uma partição baseada no tempo. Se a partição baseada no tempo estiver ativada sem este valor, a tabela é particionada com base na hora de carregamento.
--time_partitioning_type=TYPE
(Opcional) Ative a partição baseada no tempo numa tabela e defina o tipo de partição com um dos seguintes valores: DAY, HOUR, MONTH, YEAR.
--use_cache={true|false}
(Opcional) Para colocar os resultados da consulta em cache, defina como verdadeiro. O valor predefinido é True.
--use_legacy_sql
(Opcional) Use o SQL antigo em vez do SQL padrão.

cloud run job cancel

Cancele a execução de uma tarefa específica.

Sinopse

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

Sinalizações e argumentos

O comando cloud run job cancel usa as seguintes flags e argumentos:

EXECUTION
Especifique o nome do ID de execução da tarefa do Cloud Run.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
--project=PROJECT
Especifique o ID do projeto.
--region=REGION
Especifique a região onde o recurso pode ser encontrado.

cloud run job execute

Executar uma tarefa específica.

Sinopse

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

Sinalizações e argumentos

O comando cloud run job execute usa as seguintes flags e argumentos:

JOB
Especifique o nome da tarefa do Cloud Run a executar.
--args=ARGS
(Opcional) Argumentos separados por vírgulas transmitidos ao comando executado pela imagem do contentor. Se forem fornecidos, é criada uma execução com os valores de entrada.
--async
(Opcional) Especifique esta flag se quiser regressar imediatamente, sem esperar que a operação em curso seja concluída.
--dump-execution-id=EXECUTION-ID : DataPath
(Opcional) Especifique o ficheiro no qual escrever o ID de execução.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
--polling-interval=POLLINGINTERVAL
(Opcional) Define o intervalo de sondagem para apresentar registos quando --tail_logs está ativado. O valor predefinido é 60 s.
--project=PROJECT
Especifique o ID do projeto.
--region=REGION
Especifique a região onde o recurso pode ser encontrado.
--tail-logs
(Opcional) Se executar o comando no modo síncrono especificando a flag --tail_logs, o Mainframe Connector apresenta os registos de progresso no ecrã. Se especificar os indicadores --tail_logs e --async, é apresentada uma mensagem de erro. Como o Cloud Logging não suporta o registo em tempo real, o comando apenas apresenta registos que já foram gravados nos registos. Como resultado, alguns registos podem estar em falta quando usa a flag --tail_logs. Para ver os registos de tarefas completos, use o comando cloud run job log após a conclusão da tarefa.
--task-timeout=TIMEOUT
(Opcional) Apresenta o tempo máximo existente (prazo) durante o qual uma tentativa de tarefa de trabalho pode ser executada. Se não for especificado, é usado o valor predefinido da tarefa.
--update-env-vars=ENVVARS
(Opcional) Lista de pares de chave-valor a definir como substituições de variáveis de ambiente para uma execução de uma tarefa.
--wait
(Opcional) Especifique esta flag se quiser que o comando aguarde até que a execução termine antes de sair.

cloud run job log

Apresente registos do Cloud Run

Sinopse

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

Sinalizações e argumentos

O comando cloud run job log usa as seguintes flags e argumentos:

EXECUTION_ID
O nome do ID de execução da tarefa do Cloud Run.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
--log-filter=FILTER
(Opcional) Expressão de filtro que especifica as entradas de registo a devolver.
--polling-interval=POLLINGINTERVAL
(Opcional) Define o intervalo de sondagem para apresentar registos quando --tail_logs está ativado. O valor predefinido é 60 s.
--project=PROJECT
Especifique o ID do projeto.
--region=REGION
Especifique a região onde o recurso pode ser encontrado.
--tail
(Opcional) Apresenta apenas novos registos a partir de agora quando definido. Se não for definido, são apresentados todos os registos de tarefas.
--timeout=TIMEOUT
(Opcional) Tempo limite após o qual o comando é terminado. Se não for definido, o comando vai expirar quando a execução terminar.

copy text

Copiar conjunto de dados de texto.

Sinopse

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

Sinalizações e argumentos

O comando copy text usa as seguintes flags e argumentos:

INPUT : DataPath
Especifique o caminho dos dados do ficheiro de entrada que quer copiar.
OUTPUT : DataPath
Especifique o caminho dos dados do ficheiro de saída que quer copiar e codificar.
--buffer-size=BUFFERSIZE : DataSize
(Opcional) Indique o tamanho de leitura da memória para cada carregamento em massa. O valor predefinido é 64 MiB.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.

gsutil cp

Transcodificar dados do seu mainframe para um contentor do Cloud Storage.

Sinopse

gsutil cp [options] gcsUri [dest]

Sinalizações e argumentos

Pode usar este comando para os seguintes fins diferentes:

  • Copie e transcodifique um ficheiro de um mainframe ou de um ambiente Linux para o Cloud Storage.
    • Origem: --inDSN. Se não for fornecido, é especificado por DD INFILE.
    • Destino: gcsUri
  • Copie e transcodifique um ficheiro no Cloud Storage
    • Fonte: gcsUri
    • Destino: --destPath
  • Copie um ficheiro do Cloud Storage para um mainframe.
    • Fonte: gcsUri
    • Destino: --destDSN
    • Sinalizadores relevantes: --lrecl, --blksize, --recfm e --noseek.
  • Copie um ficheiro do Cloud Storage para um ambiente Linux.
    • Fonte: gcsUri
    • Destino: --destPath
Este comando pode ser executado nos modos local, remoto e autónomo. Para o modo remoto, consulte as flags --remote, --remoteHost, --remotePort e --remoteUrl. O comando gsutil cp usa as seguintes flags e argumentos:

dest
(Opcional) O caminho local ou o nome da origem de dados (DSN). Formatos de exemplo: /path/to/file, DATASET.MEMBER
gcsUri
O URI do Cloud Storage no formato gs://bucket/path. Pode representar a localização de origem e de destino, consoante a utilização.
--batchSize=SIZE
(Opcional) Especifique os blocos a usar por lote. O valor predefinido é 1000.
--blksize=SIZE
(Opcional) Especifique o tamanho do bloco do ficheiro a copiar para o mainframe. Se blksize=0 e recfm não for U, o sistema de mainframe determina o tamanho do bloco ideal para o ficheiro.
--cobDsn=DSN
(Opcional) Especifique o DSN do livro de cópias que quer usar. Se não fornecer um valor, o Mainframe Connector lê a partir de DD COPYBOOK.
--connections=NUMBER
(Opcional) Especifique o número de ligações que podem ser feitas ao recetor remoto. O valor predefinido é 10.
--dataset_id=ID
(Opcional) Especifique o conjunto de dados predefinido a usar com o comando. Pode definir o valor como [PROJECT_ID]:[DATASET] ou [DATASET]. Se [PROJECT_ID] estiver em falta, é usado o projeto predefinido.
--destDSN=OUTPUT
(Opcional) Especifique o DSN de destino.
--destPath=OUTPUT
(Opcional) Especifique o caminho de destino.
--dry_run
(Opcional) Teste a análise e a descodificação do livro de cópias do ficheiro QSAM.
--encoding=ENCODING
(Opcional) Especifique o conjunto de carateres a usar para codificar e descodificar campos de carateres. Quando especificado, este valor substitui o valor predefinido definido pela variável de ambiente ENCODING.
--help ou -h
Apresentar este texto de ajuda.
--inDsn=DSN
(Opcional) Especifique o DSN no ficheiro que quer usar. Se não fornecer um valor, o Mainframe Connector lê a partir de DD INFILE.
--keepAliveTimeInSeconds=SECONDS
(Opcional) Especifique o tempo limite de manutenção ativo em segundos para um canal HTTP. O valor predefinido é 480 segundos.
--location=LOCATION
(Opcional) Especifique uma região ou uma localização multirregional para executar o comando. O valor predefinido é US.
--lowerCaseColumnNames
(Opcional) Crie nomes de colunas em minúsculas para campos de registo.
--lrecl=LRECL
(Opcional) Especifique o comprimento do registo lógico (lrecl) do ficheiro que quer copiar para o mainframe.
--maxChunkSize=SIZE
(Opcional) Especifique o tamanho máximo do fragmento por lote. Deve usar K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB ou TB para descrever o tamanho. O valor predefinido é 128 MiB.
--max_error_pct=PCT
(Opcional) Especifique o limite de falhas de tarefas para erros de descodificação de linhas. Os valores válidos estão no intervalo [0,0, 1,0]. O valor predefinido é 0.
--noseek
(Opcional) Melhore o desempenho da transferência do Cloud Storage para o mainframe.
--parallel ou -m
(Opcional) Defina o número de escritores simultâneos como 4.
--parallelism ou -p=NUMBER
(Opcional) Especifique o número de escritores simultâneos. O valor predefinido é 4.
--parser_type=TYPE
(Opcional) Defina o analisador de configuração como legacy, copybook ou auto. O valor predefinido é auto.
--preload_chunk_count=NUMBER
(Opcional) Especifique o número de blocos a pré-carregar dos discos enquanto todos os trabalhadores estão ocupados. O valor predefinido é 2.
--project_id=ID
(Opcional) Especifique o projeto a usar para executar este comando.
--recfm=REFCM
(Opcional) Especifique o recfm do ficheiro que quer copiar para o mainframe. Pode usar um dos seguintes valores: F, FB, V, VB, U. O valor predefinido é FB.
--remote
(Opcional) Use um descodificador remoto.
--remoteHost=HOST
(Opcional) Especifique o endereço IP do anfitrião remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.
--remotePort=PORT
(Opcional) Especifique a porta remota a usar. O valor predefinido é 51770. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.
--remoteUrl=URL
(Opcional) Especifique o URL remoto. Para executar o Mainframe Connector no modo remoto, defina a flag --remote.
--replace
(Opcional) Elimine o destino recursivamente antes de carregar.
--stats_table=TABLE
(Opcional) Especifique a tabela na qual inserir estatísticas.
--tfDSN=DSN
(Opcional) Especifique as transformações a partir de um DSN, DATASET.MEMBER ou PDS(MBR).
--tfGCS=GCS
(Opcional) Especifique o ficheiro de transformações do Cloud Storage.
--timeOutMinutes=MINUTES
(Opcional) Especifique o limite de tempo em minutos para uma chamada grpc remota. O valor predefinido é de 90 minutos para o Cloud Storage e de 50 minutos para um mainframe.

gsutil rm

Remover objetos do Cloud Storage.

Sinopse

gsutil rm [-hR] URL...

Sinalizações e argumentos

O comando gsutil rm usa as seguintes flags e argumentos:

URL
Especifique a localização do Cloud Storage no formato gs://bucket/prefix.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
-R ou -r
(Opcional) Elimine recursivamente o conteúdo de diretórios ou objetos que correspondam à expressão de caminho. Não gera um erro se o diretório ou o objeto não existir.

pubsub topics publish

Publicar uma mensagem num tópico Pub/Sub.

Este comando permite-lhe enviar dados de mensagens diretamente através da flag --data ou através de um ficheiro com a flag --data-path. Também pode incluir atributos, uma chave de ordenação e aplicar propriedades de mensagens. Além disso, pode aplicar substituições de strings dinâmicas ao conteúdo da mensagem.

Sinopse

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

Sinalizações e argumentos

O comando pubsub topics publish usa as seguintes flags e argumentos:

TOPIC
Especifique o nome do tópico no formato projects/{project}/topics/{topic}.
--attributes=NAME=VALUE
(Opcional) Especifique uma lista de atributos separados por vírgulas. Cada ATTRIBUTE tem o formato name=value. Pode especificar até 100 atributos. Para ver uma lista completa das diretrizes de atributos, consulte o artigo Use atributos para publicar uma mensagem.
--data-path=DATAPATH : DataPath
(Opcional) Especifique o caminho para o ficheiro que contém os dados da mensagem. Tem de definir um dos indicadores --data ou --data-path, mas não ambos. Para mais informações sobre a formatação de mensagens e os limites de tamanho, consulte o artigo Publicar mensagens em tópicos.
--data=DATA
(Opcional) Especifique o corpo da mensagem que quer publicar no nome do tópico indicado. Tem de definir um dos indicadores --data ou --data-path, mas não ambos. Para mais informações sobre a formatação de mensagens e os limites de tamanho, consulte o artigo Publicar mensagens em tópicos.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
--message-property=KEY=VALUE
(Opcional) Especifique as propriedades a aplicar à mensagem. Uma chave de propriedade válida é encoding. Esta chave de propriedade especifica a codificação de carateres a usar para a string de mensagem. A string de mensagem é convertida em bytes através desta codificação antes de ser enviada para o tópico do Pub/Sub. Para ver uma lista dos valores de codificação suportados, consulte o artigo Codificações suportadas. A predefinição é UTF-8.
--ordering-key=ORDERING-KEY
(Opcional) Especifique a chave para a entrega ordenada de mensagens aos subscritores. Todas as mensagens com a mesma chave de ordenação são enviadas aos subscritores pela ordem em que o Pub/Sub as recebe.
--substitution=KEY=VALUE

(Opcional) Usando --data ou --data-path, especifique os pares de chave-valor a usar para a substituição dinâmica a aplicar nos dados da mensagem do Pub/Sub. O conetor de mainframe analisa os dados das mensagens em busca de marcadores de posição e substitui-os pelos respetivos valores. Defina os marcadores de posição nos dados através da sintaxe ${KEY}, por exemplo, ${NAME}. Especifique cada substituição como um par de chave-valor usando o formato KEY=VALUE. Pode especificar várias substituições repetindo a opção: --substitution key1=value1 --substitution key2=value2.

Por exemplo, se os dados de entrada forem: Hello, ${username}! e usar --substitution username=World, a mensagem enviada para o Pub/Sub será: Hello, World!.

qsam decode

Descodifique dados QSAM.

Este comando descodifica registos de um ficheiro QSAM para o formato especificado através do argumento --output-format. O ficheiro QSAM original é dividido em partes com base no valor especificado com o argumento --max-chunk-size. O resultado transcodificado é guardado no caminho de destino como ficheiros ordenados lexicograficamente.

Sinopse

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Sinalizações e argumentos

O comando qsam decode usa as seguintes flags e argumentos:

INPUT : DataPath
Especifique o caminho dos dados do ficheiro QSAM que quer descodificar.
OUTPUT : DataPath
Especifique o caminho de dados do prefixo de saída. Todas as saídas são armazenadas sob este prefixo.
--chunk-size=CHUNK-SIZE : DataSize
(Opcional) Especifique a quantidade de dados de entrada a incluir em cada ficheiro de saída. O ficheiro de saída pode ser maior ou menor. O tamanho do fragmento é arredondado para baixo para o múltiplo mais próximo do comprimento do registo lógico. O valor predefinido é 128 MiB.
--copybook=COPYBOOK : DataPath
Especifique o caminho dos dados do ficheiro que contém o copybook.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
--input-parameter=KEY=VALUE

(Opcional) Especifique parâmetros para configurar a entrada. Cada parâmetro é definido como KEY=VALUE. As chaves de parâmetros de entrada suportadas são as seguintes:

--max-error-percent=MAX_ERROR_PERCENT

(Opcional) Especifique a percentagem de registos processados que podem ter erros antes de o processo de transcodificação falhar. O valor pode variar entre 0,0 (falhar se existirem erros de transcodificação) e 1,0 (não falhar se existirem erros de transcodificação). O valor predefinido é 0.

--output-format=FORMAT : TranscodeFormat

(Opcional) Especifique o formato do ficheiro de saída. Se fornecer o DataPath de um tópico do Pub/Sub como o valor de OUTPUT, o formato de saída predefinido é JSONL. Para todos os outros DataPaths, o formato de saída predefinido é ORC.

--parallelism=COUNT

(Opcional) Especifique o número de threads de processamento. O valor deve ser igual ou inferior ao número de núcleos disponíveis. O valor predefinido é 1.

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(Opcional) Especifique o número de blocos de dados a pré-carregar quando todos os threads estiverem a ser processados. O valor predefinido é 1.

--replace

(Opcional) Se especificado, elimina o caminho de saída recursivamente antes de escrever os resultados da descodificação.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifique o ficheiro que contém a configuração de transcodificação. Para mais informações sobre o formato de configuração do transcodificador, consulte o artigo Configuração do transcodificador.

qsam encode

Codifique dados QSAM.

Este comando obtém dados de uma origem externa e converte-os num ficheiro QSAM. A entrada é definida pelo valor especificado através do argumento --input-format.

Sinopse

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

Sinalizações e argumentos

O comando qsam encode usa as seguintes flags e argumentos:

INPUT : DataPath
Especifique o caminho dos dados do ficheiro de entrada que quer codificar num ficheiro QSAM.
OUTPUT : DataPath
Especifique o caminho dos dados do ficheiro QSAM para o qual quer codificar.
--copybook=COPYBOOK : DataPath
Especifique o caminho dos dados do ficheiro que contém o copybook.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
--input-format=FORMAT : TranscodeInputFormat
Especifique o formato da entrada.
--input-parameter=KEY=VALUE

(Opcional) Especifique parâmetros para configurar a entrada. Cada parâmetro é definido como KEY=VALUE. As chaves de parâmetros de entrada suportadas são as seguintes:

--input-stream-count=COUNT

(Opcional) Especifique o número de streams de entrada. Este é um valor máximo. Na realidade, podem ser usados menos streams. O valor predefinido é 1.

--parallelism=COUNT

(Opcional) Especifique o número de threads de processamento. O valor deve ser igual ou inferior ao número de núcleos disponíveis. O valor predefinido é 1.

--spillover=SPILLOVER : DataPath

(Opcional) Especifique um caminho de dados para o conjunto de dados de transbordo. Se não especificar estas informações, os detalhes do erro são rejeitados.

--transcode-configuration=CONFIG : DataPath

(Opcional) Especifique o ficheiro que contém a configuração de transcodificação. Para mais informações sobre o formato de configuração do transcodificador, consulte o artigo Configuração do transcodificador.

scp

Copie ficheiros para o Cloud Storage.

Sinopse

scp [options] [input] [output]

Sinalizações e argumentos

Para usar este comando, tem de garantir o seguinte:

  • Defina um valor de entrada único através de input, --inDD ou --inDsn.
  • Defina um valor de saída único através da saída ou de --gcsOutUri.

O comando scp usa as seguintes flags e argumentos:

input
(Opcional) Especifique o DD ou o DSN a copiar. Em alternativa, pode usar --inDD ou --inDsn.
output
(Opcional) Especifique o URI da saída através do formato gs://[BUCKET]/[PREFIX]. Em alternativa, pode usar --gcsOutUri.
--compress
(Opcional) Comprima a saída com gzip.
--count ou -n=RECORDS
(Opcional) Especifique o número de registos a copiar. A predefinição é ilimitada.
--encoding=ENCODING
(Opcional) Especifique a codificação de carateres de entrada. O valor predefinido é CP037.
--gcsOutUri=URI
(Opcional) Especifique o URI do Cloud Storage de destino da cópia do ficheiro.
--help ou -h
Apresentar este texto de ajuda.
--inDD=INPUT
(Opcional) Especifique o ficheiro DD a copiar. O valor predefinido é DD INFILE.
--inDsn=INPUT
(Opcional) Especifique o DSN a copiar.
--noConvert
(Opcional) Desative a conversão da entrada de carateres para ASCII. A conversão de carateres está ativada por predefinição.

systemreport

Forneça o relatório do sistema.

Sinopse

systemreport [-h] [--available_security_providers] [--supported_ciphers]

Sinalizações e argumentos

O comando systemreport usa as seguintes flags e argumentos:

--available_security_providers
(Opcional) Imprima fornecedores de segurança suportados.
--help ou -h
(Opcional) Apresente esta mensagem de ajuda.
--supported_ciphers
(Opcional) Imprima as cifras suportadas.

Tipos de parâmetros

Estes são os tipos comuns usados nos comandos do conetor de mainframe.

DataPath

DataPath é uma string que representa uma entrada ou uma saída. Cada tipo DataPath tem o seu próprio prefixo e argumentos, da seguinte forma:

  • DD: - Os caminhos de dados com este prefixo apontam para uma declaração de definição de dados (DD) quando executados num trabalho de linguagem de controlo de trabalhos (JCL). Pode alterar a codificação DD adicionando encoding= ao DD. Por exemplo, DD:DDNAME ou DD:DDNAME?encoding=UTF-8. A codificação DD predefinida é a codificação do SO predefinida.

  • DSN:: os caminhos de dados com este prefixo apontam para um nome da origem de dados (DSN) quando executados num mainframe. Pode alterar a codificação do DSN adicionando encoding= ao DSN. Por exemplo, DSN:HQ.FOO.BAR ou DSN:HQ.FOO.BAR?encoding=cp037.

  • file: – Os caminhos de dados com este prefixo apontam para um ficheiro Unix. Pode especificar o seguinte no ficheiro Unix:

    • O comprimento do registo lógico (LRECL) adicionando #lrecl antes de :.
    • O formato de registo (RECFM) adicionando &recfm antes de :. O RECFM predefinido é F.
    • A codificação adicionando &encoding antes de :. A codificação predefinida é UTF-8.

    Por exemplo, file:/path/to/file, file?80:/path/to/file, file?80&recfm=FB:/path/to/file ou file?80&recfm=FB&encoding=cp037:/path/to/file.

  • gs://: os caminhos de dados com este prefixo apontam para um ficheiro no Cloud Storage. Pode especificar o seguinte no ficheiro:

    • O LRECL adicionando ?lrecl=lrecl após o prefixo do contentor.
    • O RECFM adicionando ?recfm=recfm após o prefixo do contentor. O RECFM predefinido é F.
    • A codificação adicionando ?encoding= após o prefixo do contentor. A codificação predefinida é UTF-8.

    Por exemplo, gs://my_bucket/my/file.txt,gs://my_bucket/my/file.txt?encoding=cp037,gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 ou gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm.

  • pubsub: – Os caminhos de dados com este prefixo apontam para um recurso do Pub/Sub. Por exemplo, pubsub:projects/projectId/topics/topicId.

Para ficheiros do Cloud Storage ou Unix, se o RECFM estiver definido como V, o Mainframe Connector lê e escreve os ficheiros no formato zzLL da seguinte forma:

  • Os dois primeiros bytes são sempre 0x0000.
  • Os dois bytes subsequentes representam o tamanho dos dados.
  • Os bytes restantes constituem os dados do registo reais.

DataSize

DataSize representa um tamanho sob a forma de um valor e uma unidade de medida, por exemplo, 5 MiB. Pode usar um espaço entre o valor e a magnitude. A análise da dimensão dos dados não é sensível a maiúsculas e minúsculas, pelo que pode especificar unidades de medida em maiúsculas e minúsculas.

Pode especificar o valor nos seguintes formatos:

  • Formato Java: b/k/m/g/t, respetivamente, para byte, kibibyte, mebibyte, gibibyte e tebibyte.
  • Formato internacional: KiB/MiB/GiB/TiB, respetivamente, para kibibyte, mebibyte, gibibyte e tebibyte.
  • Formato da métrica: b/kb/mb/gb/tb, para kilobyte, megabyte, gigabyte e terabyte, respetivamente.

TranscodeFormat

TranscodeFormat representa o formato a usar durante o processo de transcodificação.

Os valores válidos são:

  • ORC: ORC é um formato de ficheiro colunar com reconhecimento de tipo autodescritivo.
  • CSV: CSV é um formato de texto simples que armazena dados tabulares com cada linha a representar uma linha. Pode especificar os parâmetros CSV através do parâmetro de entrada csv-dialect. Pode defini-lo como --input-parameter csv-dialect=DataPath, em que DataPath aponta para a localização destes parâmetros.
  • JSONL: JSONL é um formato de texto simples que armazena dados tabulares com cada linha a representar uma linha. Pode especificar os parâmetros JSON através do parâmetro de entrada json-dialect. Pode defini-lo como --input-parameter json-dialect=DataPath, em que DataPath aponta para a localização destes parâmetros.

TranscodeInputFormat

O formato a usar durante a transcodificação.

Os valores válidos são:

  • BIGQUERY: extrai dados diretamente do BigQuery. INPUT tem de ser um caminho para um ficheiro de consulta.

    Os parâmetros de entrada disponíveis são:

    • keep_order - Use se a ordem exata dos registos for importante. Tenha em atenção que isto limita o fluxo de entrada.
    • project_id - ID do projeto a usar quando executar a tarefa.
    • location – Localização a usar quando executar a tarefa.

  • CSV: CSV é um formato de texto simples que armazena dados tabulares com cada linha a representar uma linha. Pode especificar os parâmetros CSV através do parâmetro de entrada csv-dialect. Pode defini-lo como --input-parameter csv-dialect=DataPath, em que DataPath aponta para a localização destes parâmetros.

  • JSONL: JSONL é um formato de texto simples que armazena dados tabulares com cada linha a representar uma linha. Pode especificar os parâmetros JSON através do parâmetro de entrada json-dialect. Pode defini-lo como --input-parameter json-dialect=DataPath, em que DataPath aponta para a localização destes parâmetros.