Mainframe Connector 指令列參考資料

本文說明主機介面指令列工具的語法、指令、標記和引數。

指令

bq export

從 BigQuery 匯出資料表。

劇情概要

bq export [options]

旗標和引數

如要執行這項指令，您必須提供 SQL 查詢 (請參閱旗標 --sql 和 query_dsn) 和副本簿 (請參閱旗標 cobDsn)。您可以在本機、遠端和獨立模式下執行這項指令。如需瞭解遠端模式，請參閱 --bucket、--remoteHost、--remotePort 和 --remoteUrl 標記。bq export 指令可使用下列標記和引數：

--project_id=ID
指定要用來執行此指令的專案。
--allow_large_results
(選用) 針對舊版 SQL 查詢使用大型目的地資料表。
--batch
(選用) 以批次模式執行查詢。
--bucket=BUCKET
(選用) 將指令的輸出內容寫入 Cloud Storage 值區中的某個位置。輸出檔案會寫入目的地路徑 gs://BUCKET/EXPORT/。這個引數是遠端模式的必要條件。
--cobDsn=DSN
(選用) 指定要使用的匯入簿 DSN。如果您未提供值，主機連接器會從 DD COPYBOOK 讀取。
--dataset_id=ID
(選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID]，系統會使用預設專案。
--destination_table=TABLE
(選用) 指定要將查詢結果寫入的目標資料表。
--dry_run
(選用) 驗證查詢，但不執行查詢。
--encoding=ENCODING
(選用) 指定用於編碼及解碼字元欄位的字元集。提供這個值時，系統會覆寫 ENCODING 環境變數的預設設定。
--exporter_thread_count=COUNT
(選用) 設定匯出程序的執行緒數量。預設值為 4。
--help 或 -h
顯示這段說明文字。
--keepAliveTimeInSeconds=SECONDS
(選用) 指定 HTTP 管道的保持連線逾時時間 (以秒為單位)。預設值為 480 秒。
--location=LOCATION
(選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--max_read_queue=NUMBER
(選用) 設定 Avro 記錄佇列的最大大小。預設值是執行緒數的兩倍。
--max_read_streams=NUMBER
(選用) 設定讀取串流執行緒的數量上限。預設值為 4。
--maximum_bytes_billed=BYTES
(選用) 限制查詢會產生費用的位元組數。
--order_response
(選用) 保留 BigQuery 傳回的回應順序。
--outDD=OUTPUT
(選用) 將輸出記錄寫入 z/OS 中的指定資料集。預設值為 DD OUTFILE。
--parser_type=TYPE
(選用) 將設定剖析器設為 legacy、copybook 或 auto。預設值為 auto。
--query_dsn=DSN
(選用) 從 z/OS 的指定資料集讀取查詢。請使用 HLQ.MEMBER 或 HLQ.PDS(MEMBER) 格式。如果您未提供值，主機連接器會從 DD 查詢讀取。
--remoteHost=HOST
(選用) 指定遠端主機的 IP 位址。如要在遠端模式下執行 Mainframe Connector，請設定 --bucket 標記。
--remotePort=PORT
(選用) 指定遠端通訊埠。預設值為 51770。如要在遠端模式下執行 Mainframe Connector，請設定 --bucket 標記。
--remoteUrl=URL
(選用) 指定遠端網址。如要在遠端模式下執行 Mainframe Connector，請設定 --bucket 標記。
--run_mode=MODE
(選用) 選取匯出實作方式。您可以使用下列任一選項：
  • directstorage：二進位檔案會儲存在本機 (預設)
  • gcsoutput：二進位檔案會儲存在 Cloud Storage 中
--sql=SQL
(選用) 指定要執行的 BigQuery SQL 查詢。
--stats_table=TABLE
(選用) 指定要插入統計資料的資料表。
--timeOutMinutes=MINUTES
(選用) 以分鐘為單位，設定遠端 grpc 呼叫的逾時時間。預設值為 90 分鐘。
--transcoding_buffer=BUFFER
(選用) 設定每個執行緒的轉碼緩衝區大小 (以 MB 為單位)。預設值為 20。
--use_cache={true|false}
(選用) 如要快取查詢結果，請將此值設為 true。
--use_legacy_sql
(選用) 使用舊版 SQL 而非標準 SQL。

bq load

將資料載入 BigQuery 資料表。

劇情概要

bq load [options] tablespec path

旗標和引數

bq load 指令可使用下列標記和引數：

path
指定以半形逗號分隔的來源檔案 URI 清單。支援的格式為 gs://bucket/path。範例：gs://my-bucket/data.orc,gs://my-bucket/more-data.orc。
tablespec
指定資料的目的地資料表。支援的格式為 [PROJECT]:[DATASET].[TABLE]
--project_id=ID
指定要用來執行此指令的專案。
--allow_jagged_rows
(選用) 允許 CSV 資料中缺少結尾自選欄。
--allow_quoted_newlines
(選用) 允許在 CSV 資料中使用加上引號的換行符號。
--append_table
(選用) 將載入的資料附加至目的地資料表中的現有資料。
--autodetect
(選用) 為 CSV 和 JSON 資料啟用自動結構定義偵測功能。
--clustering_fields=FIELDS
(選用) 如果有指定此旗標，系統會在查詢中使用逗號分隔的資料欄清單對目的地資料表進行分群。這個標記必須與時間分區標記搭配使用，才能建立擷取時間分區資料表，或是以 DATE 或 TIMESTAMP 資料欄進行分區的資料表。如果有指定此旗標，系統會先對資料表進行分區，然後使用提供的資料欄進行分群。
--dataset_id=ID
(選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID]，系統會使用預設專案。
--debug_mode={true|false}
(選用) 將記錄層級設為偵錯。
--destination_kms_key=KEY
(選用) 用來加密目標資料表資料的 Cloud KMS 金鑰。
--encoding 或 -E=ENCODING
(選用) 指定用於編碼及解碼字元欄位的字元集。指定這個值後，系統會覆寫 ENCODING 環境變數設定的預設值。
--field_delimiter 或 -F=FIELD
(選用) 指定 CSV 資料中的欄分隔符。使用 \t 或 tab 做為 Tab 分隔符號。
--help 或 -h
顯示這段說明文字。
--ignore_unknown_values=VALUES
(選用) 忽略 CSV 或 JSON 資料中的其他無法辨識的值。
--location=LOCATION
(選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--max_bad_records=RECORDS
(選用) 設定工作失敗前可允許的無效記錄數量上限。無論 --max_bad_records 值為何，系統最多只會傳回五個任何類型的錯誤。這個標記僅適用於載入 CSV、JSON 和 Google 試算表資料。預設值為 0。
--max_polling_interval_ms=MILLISECONDS
(選用) BigQuery 作業的最大等候時間。
--null_marker=MARKER
(選用) 指定代表 CSV 資料中 NULL 值的自訂字串。
--projection_fields=FIELDS
(選用) 如果您將 --source_format 設為 DATASTORE_BACKUP，則此標記會指出要從資料儲存庫匯出內容中載入的實體屬性。使用逗號分隔的清單指定資源名稱。屬性名稱有大小寫之分，且必須參照頂層屬性。您也可以將此標記與 Firestore 匯出內容搭配使用。
--quote=QUOTE
(選用) 指定用於在 CSV 資料中圍繞欄位的引號字元。您可以將任何半形字元做為引數。預設值為雙引號 (")。如要指定沒有引號字元，請使用空白字串。
--replace
(選用) 將載入的資料取代目的地資料表中的現有資料。
--require_partition_filter={true|false}
(選用) 如要針對查詢提供的資料表使用分區篩選器，請將此屬性設為 true。這個引數僅適用於分區資料表，且 --time_partitioning_field 標記必須設為 true。預設值為 false。
--schema=SCHEMA
(選用) 定義目的地資料表的結構定義。請以 [FIELD]:[DATA_TYPE] 的格式，將值指定為以逗號分隔的資料欄定義清單。示例：name:STRING,age:INTEGER,city:STRING
--schema_update_option=OPTION
(選用) 附加資料至資料表 (在載入工作或查詢工作中) 或覆寫資料表分區時，指定目標資料表結構定義的更新方式。請使用下列其中一個值：
  • ALLOW_FIELD_ADDITION：允許新增欄位
  • ALLOW_FIELD_RELAXATION：允許將 REQUIRED 欄位放寬為 NULLABLE
重複使用這個旗標即可指定多個結構定義更新選項。
--skip_leading_rows=NUMBER
(選用) 指定要在來源檔案開頭略過的資料列數量。預設值為 0。
--source_format=FORMAT
(選用) 指定來源資料的格式。您可以使用下列任一值：CSV、NEWLINE_DELIMITED_JSON、AVRO、DATASTORE_BACKUP (用於 Filestore)、PARQUET 和 ORC。預設值為 ORC。
--stats_table=TABLE
(選用) 指定要插入統計資料的資料表。
--time_partitioning_expiration=SECONDS
(選用) 指定系統應在經過多少時間後刪除時間分區 (以秒為單位)。到期時間為分區的世界標準時間日期加上指定的值。如果您提供負數，則時間分區永遠不會過期。
--time_partitioning_field=FIELD
(選用) 指定用來決定時間分區建立方式的欄位。如果啟用時間分區時沒有這個值，系統就會根據載入時間對資料表進行分區。
--time_partitioning_type=TYPE
(選用) 針對資料表啟用時間分區功能，並使用下列值設定分區類型：DAY。
--use_avro_logical_types={true|false}
(選用) 如果 --source_format 設為 AVRO，請將這個標記設為 true，將邏輯類型轉換為對應類型 (例如 TIMESTAMP)，而非只使用原始類型 (例如 INTEGER)。預設值為 false。

bq mk

建立 BigQuery 資源，例如需要設定分割和叢集的內建資料表或外部資料表。您也可以使用 bq mk 指令，透過 --schema_from_copybook 標記直接從剖析的 COBOL 副本書中產生 BigQuery 資料表。

劇情概要

bq mk [options]

旗標和引數

bq mk 指令可使用下列標記和引數：

--project_id=ID
指定要用來執行此指令的專案。
--tablespec=TABLE
指定資料的目的地資料表。支援的格式為 [PROJECT]:[DATASET].[TABLE]。
--clustering_fields=FIELDS
(選用) 指定以半形逗號分隔的清單，最多包含四個資料欄名稱，用於指定用於資料表分群的欄位。
--dataset_id=ID
(選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID]，系統會使用預設專案。
--description=DESCRIPTION
(選用) 提供資料集或資料表的說明。
--dry_run
(選用) 列印資料表的資料定義語言 (DDL) 陳述式。
--encoding=ENCODING
(選用) 指定用於編碼及解碼字元欄位的字元集。指定這個值後，系統會覆寫 ENCODING 環境變數設定的預設值。
--expiration=EXPIRATION
(選用) 指定資料表的生命週期。如果您未指定值，BigQuery 會使用資料集的預設資料表生命週期建立資料表，或者資料表不會到期。
--external_table_definition 或 -e=TABLE
(選用) 指定名稱和結構定義，以建立外部資料表。示例：ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help 或 -h
顯示這段說明文字。
--location=LOCATION
(選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--parser_type=TYPE
(選用) 將設定剖析器設為 legacy、copybook 或 auto。預設值為 auto。
--require_partition_filter={true|false}
(選用) 如要針對查詢提供的資料表使用分區篩選器，請將此屬性設為 true。這個引數僅適用於分區資料表，且 --time_partitioning_field 標記必須設為 true。預設值為 true。
--schema=SCHEMA
(選用) 指定本機 JSON 結構定義檔路徑，或以逗號分隔的資料欄定義清單，格式為 FIELD:DATA_TYPE、FIELD:DATA_TYPE 等。
--schema_from_copybook=SCHEMA
(選用) 從副本簿產生結構定義。
--table 或 -t=TABLE
(選用) 建立表格。
--time_partitioning_expiration=SECONDS
(選用) 指定系統應在經過多少時間後刪除時間分區 (以秒為單位)。到期時間為分區的世界標準時間日期加上指定的值。如果您提供負數，則時間分區永遠不會過期。
--time_partitioning_field=FIELD
(選用) 指定用來決定時間分區建立方式的欄位。如果啟用時間分區時沒有這個值，系統就會根據載入時間對資料表進行分區。
--view
(選用) 建立檢視畫面。

bq query

執行 BigQuery 查詢。

劇情概要

bq query [options]

旗標和引數

您可以在本機和遠端模式下執行這項指令。如需遠端模式的相關資訊，請參閱標記 --remoteHost、--remotePort 和 --remoteUrl，以及環境變數 BQ_QUERY_REMOTE_EXECUTION。bq query 指令可使用下列標記和引數：

--project_id=ID
指定要用來執行此指令的專案。
--allow_large_results
(選用) 針對舊版 SQL 查詢使用大型目的地資料表。
--append_table
(選用) 將載入的資料附加至目的地資料表中的現有資料。
--batch
(選用) 以批次模式執行查詢。
--clustering_fields=FIELDS
(選用) 指定以半形逗號分隔的清單，最多包含四個資料欄名稱，用於指定用於資料表分群的欄位。如果您在分區時指定這個值，系統會先對資料表進行分區，然後使用提供的資料欄為每個分區進行分群。
--create_if_needed
(選用) 建立目的地資料表 (如果不存在的話)。
--dataset_id=ID
(選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID]，系統會使用預設專案。
--destination_table=TABLE
(選用) 指定要將查詢結果寫入的目標資料表。
--dry_run
(選用) 驗證查詢，但不執行查詢。
--follow={true|false}
(選用) 如要追蹤個別查詢步驟或整個指令碼，請將此值設為 true。預設值為 false。
--help 或 -h
顯示這段說明文字。
--location=LOCATION
(選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--maximum_bytes_billed=BYTES
(選用) 指定會產生費用的查詢位元組上限。
--parameters=PARAMETERS
(選用) 使用 [NAME]:[TYPE]:[VALUE] 格式指定以半形逗號分隔的查詢參數。如果將名稱留空，系統會建立位置參數。您可以省略 [TYPE]，以 name::value 或 ::value 格式假設 STRING 值。NULL 會產生空值。
--query_dsn=DSN
(選用) 指定要讀取查詢的 DSN，格式為 HLQ.MEMBER 或 HLQ.PDS(MEMBER)。如果未提供 query_dsn，系統會使用 QUERY DD。
--remoteHost=HOST
(選用) 指定遠端主機的 IP 位址。如要在遠端模式下執行查詢，請設定 BQ_QUERY_REMOTE_EXECUTION 環境變數。
--remotePort=PORT
(選用) 指定遠端通訊埠。預設值為 51770。如要在遠端模式下執行查詢，請設定 BQ_QUERY_REMOTE_EXECUTION 環境變數。
--remoteUrl=URL
(選用) 指定遠端網址。如要在遠端模式下執行查詢，請設定 BQ_QUERY_REMOTE_EXECUTION 環境變數。
--replace
(選用) 使用查詢結果覆寫目的地資料表。
--report_row_limit=LIMIT
(選用) 指定稽核報表中要列印的資料列數量上限。預設值為 30。
--require_partition_filter={true|false}
(選用) 如要針對查詢提供的資料表使用分區篩選器，請將此屬性設為 true。預設值為 true。
--schema_update_option=OPTION
(選用) 在附加資料時更新目的地資料表的結構定義。請使用下列值：
  • ALLOW_FIELD_ADDITION：允許新增欄位。
  • ALLOW_FIELD_RELAXATION：允許將 REQUIRED 欄位放寬為 NULLABLE。
--split_sql={true|false}
(選用) 如要將輸入的 SQL 指令碼拆分為個別查詢，請將此值設為 true。預設值為 true。
--stats_table=TABLE
(選用) 指定要插入統計資料的資料表。
--sync={true|false}
(選用) 以同步模式執行指令。
--synchronous_mode={true|false}
(選用) --sync 的替代值。
--timeOutMinutes=MINUTES
(選用) 指定 BigQuery 工作回應的逾時時間 (以分鐘為單位)。預設值為 240 分鐘。
--time_partitioning_expiration=SECONDS
(選用) 指定系統應在經過多少時間後刪除時間分區 (以秒為單位)。到期時間為分區的世界標準時間日期加上指定的值。如果您提供負數，則時間分區永遠不會過期。
--time_partitioning_field=FIELD
(選用) 指定用來決定時間分區建立方式的欄位。如果啟用時間分區時沒有這個值，系統就會根據載入時間對資料表進行分區。
--time_partitioning_type=TYPE
(選用)：針對資料表啟用時間分區，並使用下列其中一個值設定分區類型：DAY、HOUR、MONTH、YEAR。
--use_cache={true|false}
(選用) 如要快取查詢結果，請將其設為 true。預設值為 true。
--use_legacy_sql
(選用) 使用舊版 SQL 而非標準 SQL。

cloud run job cancel

取消特定工作執行作業。

劇情概要

cloud run job cancel [-h] --project=PROJECT
                            --region=REGION EXECUTION

旗標和引數

cloud run job cancel 指令可使用下列標記和引數：

EXECUTION
指定 Cloud Run 工作執行 ID 的名稱。
--help 或 -h
(選用) 顯示這則說明訊息。
--project=PROJECT
指定專案 ID。
--region=REGION
指定可找到資源的區域。

cloud run job execute

執行特定工作。

劇情概要

cloud run job execute [-h] [--async] [--tail-logs] [--wait]
                             [--dump-execution-id=EXECUTION-ID]
                             [--polling-interval=POLLINGINTERVAL]
                             --project=PROJECT
                             --region=REGION
                             [--task-timeout=TIMEOUT]
                             [--args=ARGS]...
                             [--update-env-vars=ENVVARS]...
                             JOB

旗標和引數

cloud run job execute 指令可使用下列標記和引數：

JOB
指定要執行的 Cloud Run 工作名稱。
--args=ARGS
(選用) 以半形逗號分隔的引數，會傳遞至容器映像檔執行的指令。如果提供，系統會使用輸入值建立執行作業。
--async
(選用) 如果您想立即傳回，而不必等待進行中的作業完成，請指定這個標記。
--dump-execution-id=EXECUTION-ID : DataPath
(選用) 指定要寫入執行 ID 的檔案。
--help 或 -h
(選用) 顯示這則說明訊息。
--polling-interval=POLLINGINTERVAL
(選用) 設定輪詢間隔，用於在啟用 --tail_logs 時顯示記錄檔。預設值為 60 秒。
--project=PROJECT
指定專案 ID。
--region=REGION
指定可找到資源的區域。
--tail-logs
(選用) 如果您指定 --tail_logs 旗標，以同步模式執行指令，主機介面連接器就會在畫面上顯示進度記錄。如果您同時指定 --tail_logs 和 --async 標記，系統會顯示錯誤訊息。由於 Cloud Logging 不支援即時記錄，因此這項指令只會顯示記錄檔中已記錄的記錄。因此，使用 --tail_logs 旗標時，系統可能會遺漏部分記錄。如要查看完整的工作記錄，請在工作完成後使用 cloud run job log 指令。
--task-timeout=TIMEOUT
(選用) 顯示工作任務嘗試執行的現有時間上限 (期限)。如未指定，系統會使用工作預設值。
--update-env-vars=ENVVARS
(選用) 要設為執行工作時的環境變數覆寫值的鍵/值組合清單。
--wait
(選用) 如果您希望指令在執行完畢後才離開，請指定這個旗標。

cloud run job log

顯示 Cloud Run 記錄

劇情概要

cloud run job log [-h] [--tail] [--log-filter=FILTER]
                         [--polling-interval=POLLINGINTERVAL]
                         --project=PROJECT
                         --region=REGION
                         [--timeout=TIMEOUT] EXECUTION_ID

旗標和引數

cloud run job log 指令可使用下列標記和引數：

EXECUTION_ID
Cloud Run 工作執行 ID 的名稱。
--help 或 -h
(選用) 顯示這則說明訊息。
--log-filter=FILTER
(選用) 篩選運算式，可指定要傳回的記錄項目。
--polling-interval=POLLINGINTERVAL
(選用) 設定輪詢間隔，用於在啟用 --tail_logs 時顯示記錄檔。預設值為 60 秒。
--project=PROJECT
指定專案 ID。
--region=REGION
指定可找到資源的區域。
--tail
(選用) 設定後，系統只會顯示從現在開始的新記錄。如未設定，系統會顯示所有工作記錄。
--timeout=TIMEOUT
(選用) 指令結束後的逾時時間。如果未設定，指令會在執行結束時逾時。

copy text

複製文字資料集。

劇情概要

copy text [-h] [--buffer-size=BUFFERSIZE] INPUT
                 OUTPUT

旗標和引數

copy text 指令可使用下列標記和引數：

INPUT ：DataPath
指定要複製的輸入檔案資料路徑。
OUTPUT ：DataPath
指定要複製及編碼的輸出檔案資料路徑。
--buffer-size=BUFFERSIZE : DataSize
(選用) 指出每個大量項目的記憶體讀取大小。預設值為 64 MiB。
--help 或 -h
(選用) 顯示這則說明訊息。

gsutil cp

將資料從 Mainframe 轉碼至 Cloud Storage 值區。

劇情概要

gsutil cp [options] gcsUri [dest]

旗標和引數

您可以使用這個指令執行下列不同用途：

  • 將檔案從主機或 Linux 環境複製及轉碼至 Cloud Storage。
    • 來源：--inDSN。如未提供，則由 DD INFILE 指定。
    • 目的地：gcsUri
  • 在 Cloud Storage 中複製及轉碼檔案
    • 來源：gcsUri
    • 目的地：--destPath
  • 將檔案從 Cloud Storage 複製到主機。
    • 來源：gcsUri
    • 目的地：--destDSN
    • 相關標記：--lrecl、--blksize、--recfm、--noseek。
  • 將檔案從 Cloud Storage 複製到 Linux 環境。
    • 來源：gcsUri
    • 目的地：--destPath
這項指令可在本機、遠端和獨立模式下執行。如需瞭解遠端模式，請參閱 --remote、--remoteHost、--remotePort 和 --remoteUrl 標記。gsutil cp 指令可使用下列標記和引數：

dest
(選用) 本機路徑或資料來源名稱 (DSN)。格式範例：/path/to/file、DATASET.MEMBER
gcsUri
Cloud Storage URI 格式為 gs://bucket/path。視用途而定，可同時代表來源和目的地位置。
--batchSize=SIZE
(選用) 指定每個批次要使用的區塊。預設值為 1000。
--blksize=SIZE
(選用) 指定要複製至 Mainframe 的檔案區塊大小。如果 blksize=0 和 recfm 不是 U，主機系統會判斷檔案的最佳區塊大小。
--cobDsn=DSN
(選用) 指定要使用的匯入簿 DSN。如果您未提供值，主機連接器會從 DD COPYBOOK 讀取。
--connections=NUMBER
(選用) 指定可連線至遠端接收器的連線數量。預設值為 10。
--dataset_id=ID
(選用) 指定要搭配指令使用的預設資料集。您可以將值設為 [PROJECT_ID]:[DATASET] 或 [DATASET]。如果缺少 [PROJECT_ID]，系統會使用預設專案。
--destDSN=OUTPUT
(選用) 指定目的地 DSN。
--destPath=OUTPUT
(選用) 指定目的地路徑。
--dry_run
(選用) 測試 QSAM 檔案的副本簿剖析和解碼功能。
--encoding=ENCODING
(選用) 指定用於編碼及解碼字元欄位的字元集。指定這個值後，系統會覆寫 ENCODING 環境變數設定的預設值。
--help 或 -h
顯示這段說明文字。
--inDsn=DSN
(選用) 指定要使用的 infile DSN。如果未提供值，Mainframe Connector 會從 DD INFILE 讀取。
--keepAliveTimeInSeconds=SECONDS
(選用) 指定 HTTP 管道的保持連線逾時時間 (以秒為單位)。預設值為 480 秒。
--location=LOCATION
(選用) 指定要執行指令的地區或多地區位置。預設值為 US。
--lowerCaseColumnNames
(選用) 為匯入表格欄位建立小寫的欄位名稱。
--lrecl=LRECL
(選用) 指定要複製至主機的檔案邏輯記錄長度 (lrecl)。
--maxChunkSize=SIZE
(選用) 指定每批的最大區塊大小。您應使用 K、KiB、KB、M、MiB、MB、G、GiB、GB、T、TiB 或 TB 來描述大小。預設值為 128 MiB。
--max_error_pct=PCT
(選用) 指定列解碼錯誤的工作失敗門檻。有效值介於 [0.0, 1.0] 之間。預設值為 0。
--noseek
(選用) 改善從 Cloud Storage 下載至主機的下載效能。
--parallel 或 -m
(選用) 將並行寫入者的數量設為 4。
--parallelism 或 -p=NUMBER
(選用) 指定並行寫入者的數量。預設值為 4。
--parser_type=TYPE
(選用) 將設定剖析器設為 legacy、copybook 或 auto。預設值為 auto。
--preload_chunk_count=NUMBER
(選用) 指定在所有工作站都已占用時，從磁碟預先載入的區塊數量。預設值為 2。
--project_id=ID
(選用) 指定要用來執行此指令的專案。
--recfm=REFCM
(選用) 指定要複製到主機的檔案 recfm。您可以使用下列其中一個值：F、FB、V、VB、U。預設值為 FB。
--remote
(選用) 使用遠端解碼器。
--remoteHost=HOST
(選用) 指定遠端主機的 IP 位址。如要在遠端模式下執行 Mainframe Connector，請設定 --remote 標記。
--remotePort=PORT
(選用) 指定要使用的遠端通訊埠。預設值為 51770。如要在遠端模式下執行 Mainframe Connector，請設定 --remote 標記。
--remoteUrl=URL
(選用) 指定遠端網址。如要在遠端模式下執行 Mainframe Connector，請設定 --remote 標記。
--replace
(選用) 在上傳前，以遞迴方式刪除目的地。
--stats_table=TABLE
(選用) 指定要插入統計資料的資料表。
--tfDSN=DSN
(選用) 指定 DSN、DATASET.MEMBER 或 PDS(MBR) 的轉換。
--tfGCS=GCS
(選用) 指定 Cloud Storage 中的轉換檔案。
--timeOutMinutes=MINUTES
(選用) 指定遠端 grpc 呼叫的逾時時間 (以分鐘為單位)。預設值為 Cloud Storage 的 90 分鐘和 Mainframe 的 50 分鐘。

gsutil rm

移除 Cloud Storage 物件。

劇情概要

gsutil rm [-hR] URL...

旗標和引數

gsutil rm 指令可使用下列標記和引數：

URL
請使用 gs://bucket/prefix 格式指定 Cloud Storage 位置。
--help 或 -h
(選用) 顯示這則說明訊息。
-R 或 -r
(選用) 遞迴刪除符合路徑運算式的目錄或物件內容。如果目錄或物件不存在，則不會擲回錯誤。

pubsub topics publish

將訊息發布至 Pub/Sub 主題。

您可以使用 --data 旗標直接傳送訊息資料，也可以使用 --data-path 旗標透過檔案傳送。您也可以加入屬性、排序鍵和套用訊息屬性。此外，您也可以在訊息內容中套用動態字串替換。

劇情概要

pubsub topics publish [-h] [--data=DATA]
                             [--data-path=DATAPATH]
                             [--ordering-key=ORDERING-KEY]
                             [--attributes=NAME=VALUE[,
                             NAME=VALUE...]]...
                             [--message-property=KEY=VALUE]...
                             [--substitution=KEY=VALUE]...
                             TOPIC

旗標和引數

pubsub topics publish 指令可使用下列標記和引數：

TOPIC
請使用 projects/{project}/topics/{topic} 格式指定主題名稱。
--attributes=NAME=VALUE
(選用) 指定以逗號分隔的屬性清單。每個 ATTRIBUTE 的格式為 name=value。您最多可以指定 100 個屬性。如需屬性規範的完整清單，請參閱「運用屬性發布訊息」一文。
--data-path=DATAPATH : DataPath
(選用) 指定含有訊息資料的檔案路徑。您必須設定其中一個標記 --data 或 --data-path，但不能同時設定兩個標記。如要進一步瞭解訊息格式和大小限制，請參閱「將訊息發布至主題」。
--data=DATA
(選用) 指定要發布至指定主題名稱的訊息主旨。您必須設定其中一個標記 --data 或 --data-path，但不能同時設定兩個標記。如要進一步瞭解訊息格式和大小限制，請參閱「將訊息發布至主題」。
--help 或 -h
(選用) 顯示這則說明訊息。
--message-property=KEY=VALUE
(選用) 指定要套用至訊息的屬性。有效的屬性鍵為 encoding。這個屬性鍵會指定訊息字串要使用的字元編碼。訊息字串會先使用這個編碼方式轉換成位元組，再傳送至 Pub/Sub 主題。如需支援的編碼值清單，請參閱「支援的編碼」。預設值為 UTF-8。
--ordering-key=ORDERING-KEY
(選用) 指定鍵，以便依序傳送訊息給訂閱者。系統會按照 Pub/Sub 收到的順序，將所有含有相同排序鍵的訊息傳送給訂閱者。
--substitution=KEY=VALUE

(選用) 使用 --data 或 --data-path，指定要用於在 Pub/Sub 訊息資料上套用動態替換的鍵/值組合。Mainframe Connector 會掃描訊息資料，找出預留位置，並將這些預留位置替換為相應的值。使用 ${KEY} 語法定義資料中的預留位置，例如 ${NAME}。使用 KEY=VALUE 格式，將每個替換項目指定為鍵/值組合。您可以重複使用 --substitution key1=value1 --substitution key2=value2 選項，指定多個替換項目。

舉例來說，如果輸入資料為 Hello, ${username}!，而您使用 --substitution username=World，則傳送至 Pub/Sub 的訊息會是 Hello, World!。

qsam decode

解碼 QSAM 資料。

這個指令會將 QSAM 檔案中的記錄解碼為您使用 --output-format 引數指定的格式。系統會根據您使用 --max-chunk-size 引數指定的值，將原始 QSAM 檔案分割成多個區塊。經過轉碼的輸出內容會以字典順序排序的檔案儲存在目標路徑中。

劇情概要

qsam decode [-h] [--replace] [--chunk-size=CHUNK-SIZE]
                   --copybook=COPYBOOK
                   [--max-error-percent=MAX_ERROR_PERCENT]
                   [--output-format=FORMAT]
                   [--parallelism=COUNT]
                   [--preload-chunk-count=PRELOAD_CHUNK_COUNT]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

旗標和引數

qsam decode 指令可使用下列標記和引數：

INPUT ：DataPath
指定要解碼的 QSAM 檔案資料路徑。
OUTPUT ：DataPath
指定輸出前置字串的資料路徑。所有輸出內容都會儲存在這個前置字串下。
--chunk-size=CHUNK-SIZE : DataSize
(選用) 指定每個輸出檔案要納入的輸入資料量。輸出檔案的大小可能會更大或更小。區塊大小會無條件捨去至最接近的邏輯記錄長度倍數。預設值為 128 MiB。
--copybook=COPYBOOK : DataPath
指定含有副本簿的檔案資料路徑。
--help 或 -h
(選用) 顯示這則說明訊息。
--input-parameter=KEY=VALUE

(選用) 指定參數來設定輸入內容。每個參數都定義為 KEY=VALUE。支援的輸入參數鍵包括：

  • csv-dialect：設定 CSV 剖析作業。這個值是 DataPath，指向 CSV 設定檔。
  • json-dialect：設定 JSON 剖析。這個值是 DataPath，指向 JSON 設定檔。
  • pubsub-publish-configuration：設定傳送至 Pub/Sub 的訊息。這個值是 DataPath，指向 Pub/Sub 設定檔。
--max-error-percent=MAX_ERROR_PERCENT

(選用) 指定允許的錯誤記錄百分比，超過這個百分比就會導致轉碼程序失敗。這個值的範圍介於 0.0 (發生任何轉碼錯誤時會失敗) 和 1.0 (發生轉碼錯誤時不會失敗) 之間。預設值為 0。

--output-format=FORMAT : TranscodeFormat

(選用) 指定輸出檔案的格式。如果您將 Pub/Sub 主題的 DataPath 提供為 OUTPUT 的值，則預設輸出格式為 JSONL。對於所有其他 DataPaths，預設輸出格式為 ORC。

--parallelism=COUNT

(選用) 指定處理執行緒的數量。這個值應等於或小於可用的核心數。預設值為 1。

--preload-chunk-count=PRELOAD_CHUNK_COUNT

(選用) 指定在所有執行緒處理時要預先載入的資料區塊數量。預設值為 1。

--replace

(選用) 如果指定此值，系統會在寫入解碼結果之前，以遞迴方式刪除輸出路徑。

--transcode-configuration=CONFIG : DataPath

(選用) 指定包含轉碼設定的檔案。如要進一步瞭解轉碼器設定格式，請參閱「轉碼器設定」。

qsam encode

將 QSAM 資料編碼。

這個指令會從外部來源擷取資料，並將資料轉換為 QSAM 檔案。輸入內容是由您使用 --input-format 引數指定的值定義。

劇情概要

qsam encode [-h] --copybook=COPYBOOK
                   --input-format=FORMAT
                   [--input-stream-count=COUNT]
                   [--parallelism=COUNT]
                   [--spillover=SPILLOVER]
                   [--transcode-configuration=CONFIG]
                   [--input-parameter=KEY=VALUE]... INPUT
                   OUTPUT

旗標和引數

qsam encode 指令可使用下列標記和引數：

INPUT ：DataPath
指定要編碼為 QSAM 檔案的輸入檔案資料路徑。
OUTPUT ：DataPath
指定要編碼的 QSAM 檔案資料路徑。
--copybook=COPYBOOK : DataPath
指定含有副本簿的檔案資料路徑。
--help 或 -h
(選用) 顯示這則說明訊息。
--input-format=FORMAT : TranscodeInputFormat
指定輸入格式。
--input-parameter=KEY=VALUE
(選用) 指定用於設定輸入內容的參數。如要進一步瞭解如何指定輸入參數，請參閱「CSV 輸入設定」。
--input-stream-count=COUNT
(選用) 指定輸入串流的數量。這是上限值，實際上可能會使用較少的串流。預設值為 1。
--parallelism=COUNT
(選用) 指定處理執行緒的數量。這個值應等於或小於可用的核心數量。預設值為 1。
--spillover=SPILLOVER : DataPath
(選用) 指定溢出資料集的資料路徑。如果您未指定這項資訊，系統會捨棄錯誤詳細資料。
--transcode-configuration=CONFIG : DataPath
(選用) 指定包含轉碼設定的檔案。如要進一步瞭解轉碼器設定格式，請參閱「轉碼器設定」。

scp

將檔案複製到 Cloud Storage。

劇情概要

scp [options] [input] [output]

旗標和引數

如要使用這項指令，您必須確保以下事項：

  • 透過 input、--inDD 或 --inDsn 設定一個不重複的輸入值。
  • 透過 output 或 --gcsOutUri 設定一個不重複的輸出值。

scp 指令可使用下列標記和引數：

input
(選用) 指定要複製的 DD 或 DSN。您可以改用 --inDD 或 --inDsn。
output
(選用) 使用 gs://[BUCKET]/[PREFIX] 格式指定輸出的 URI。您可以改用 --gcsOutUri。
--compress
(選用) 使用 gzip 壓縮輸出內容。
--count 或 -n=RECORDS
(選用) 指定要複製的記錄數量。預設為無限制。
--encoding=ENCODING
(選用) 指定輸入字元編碼。預設值為 CP037。
--gcsOutUri=URI
(選用) 指定檔案副本的 Cloud Storage URI 目的地。
--help 或 -h
顯示這段說明文字。
--inDD=INPUT
(選用) 指定要複製的 DD 檔案。預設值為 DD INFILE。
--inDsn=INPUT
(選用) 指定要複製的 DSN。
--noConvert
(選用) 停用字元輸入至 ASCII 的轉換功能。字元轉換功能預設為啟用。

systemreport

提供系統報告。

劇情概要

systemreport [-h] [--available_security_providers] [--supported_ciphers]

旗標和引數

systemreport 指令可使用下列標記和引數：

--available_security_providers
(選用) 列印支援的安全性提供者。
--help 或 -h
(選用) 顯示這則說明訊息。
--supported_ciphers
(選用) 列印支援的密碼。

參數類型

這些常見類型用於主機連接器指令。

DataPath

DataPath 是代表輸入或輸出的字串。每個 DataPath 類型都有專屬前置字串和引數，如下所示：

  • DD:：在工作控制語言 (JCL) 工作中執行時，含有此前置字元的資料路徑會指向資料定義陳述式 (DD)。您可以將 encoding= 新增至 DD，藉此變更 DD 編碼。例如 DD:DDNAME 或 DD:DDNAME?encoding=UTF-8。預設的 DD 編碼為預設的 OS 編碼。

  • DSN:：在大型主機上執行時，含有此前置字串的資料路徑會指向資料來源名稱 (DSN)。您可以將 encoding= 新增至 DSN，藉此變更 DSN 編碼。例如 DSN:HQ.FOO.BAR 或 DSN:HQ.FOO.BAR?encoding=cp037。

  • file:：含有此前置字串的資料路徑會指向 Unix 檔案。您可以在 Unix 檔案中指定下列內容：

    • 邏輯記錄長度 (LRECL)，方法是在 : 前方加上 #lrecl。
    • 記錄格式 (RECFM)，方法是在 : 前方加上 &recfm。預設的 RECFM 為 F。
    • 在 : 前方加上 &encoding 的編碼。預設為 UTF-8。

    例如 file:/path/to/file、file?80:/path/to/file、file?80&recfm=FB/path/to/file 或 file?80&recfm=FB&encoding=cp037/path/to/file。

  • gs://：含有此前置字串的資料路徑會指向 Cloud Storage 中的檔案。您可以在檔案中指定下列項目：

    • 在值區前置字元後方加上 ?lrecl=lrecl，即可使用 LRECL。
    • RECFM 在值區前置字串後方加上 ?recfm=recfm。預設的 RECFM 為 F。
    • 在值區前置字元後方加上 ?encoding= 進行編碼。預設為 UTF-8。

    例如：gs://my_bucket/my/file.txt、gs://my_bucket/my/file.txt?encoding=cp037、gs://my_bucket/my/file.txt?recfm=fb&encoding=cp037 或 gs://my_bucket/my/file.txt?lrecl=80&recfm=fb&encoding=recfm。

  • pubsub:：含有這個前置字元的資料路徑會指向 Pub/Sub 資源。例如：pubsub:projects/projectId/topics/topicId。

針對 Cloud Storage 或 Unix 檔案，如果 RECFM 設為 V，Mainframe Connector 會以 zzLL 格式讀取及寫入檔案，如下所示：

  • 前兩個位元組一律為 0x0000。
  • 後續的兩個位元組代表資料大小。
  • 其餘位元組則構成實際的記錄資料。

DataSize

DataSize 會以數量和測量單位的形式表示大小，例如 5 MiB。您可以在金額和幅度之間使用空格。資料大小剖析功能不區分大小寫，因此您可以使用大寫或小寫指定測量單位。

您可以使用下列格式指定值：

  • Java 格式：b/k/m/g/t，分別代表位元組、kibibyte、mebibyte、gibibyte 和 tebibyte。
  • 國際格式：KiB/MiB/GiB/TiB，分別對應於 kibibyte、mebibyte、gibibyte 和 tebibyte。
  • 指標格式：b/kb/mb/gb/tb，分別代表千位元組、兆位元組、千兆位元組和兆位元組。

TranscodeFormat

TranscodeFormat 代表轉碼程序中要使用的格式。

有效的值包括：

  • ORC - ORC 是一種自我描述型類型感知資料欄檔案格式。
  • CSV - CSV 是一種純文字格式，可用於儲存表格資料，每行代表一列。您可以使用 csv-dialect 輸入參數指定 CSV 參數。您可以將其定義為 --input-parameter csv-dialect=DataPath，其中 DataPath 會指向這些參數的位置。
  • JSONL - JSONL 是一種純文字格式，可用於儲存表格資料，每行代表一列。您可以使用 json-dialect 輸入參數指定 JSON 參數。您可以將其定義為 --input-parameter json-dialect=DataPath，其中 DataPath 會指向這些參數的位置。

TranscodeInputFormat

轉碼期間使用的格式。

有效的值包括：

  • BIGQUERY - 直接從 BigQuery 提取資料。INPUT 必須是查詢檔案的路徑。

    可用的輸入參數如下：

    • keep_order：如果記錄的確切順序很重要，請使用此選項。請注意，這會限制輸入串流。
    • project_id：執行工作時要使用的專案 ID。
    • location：執行工作時要使用的地點。

  • CSV - CSV 是一種純文字格式，可用於儲存表格資料，每行代表一列。您可以使用 csv-dialect 輸入參數指定 CSV 參數。您可以將其定義為 --input-parameter csv-dialect=DataPath，其中 DataPath 會指向這些參數的位置。

  • JSONL - JSONL 是一種純文字格式，可用於儲存表格資料，每行代表一列。您可以使用 json-dialect 輸入參數指定 JSON 參數。您可以將其定義為 --input-parameter json-dialect=DataPath，其中 DataPath 會指向這些參數的位置。