Befehle
bq export
Tabelle aus BigQuery exportieren
Zusammenfassung
bq export [options]
Flags und Argumente
Um diesen Befehl auszuführen, müssen Sie eine SQL-Abfrage (siehe Flags --sql
und query_dsn
) und ein Copybook (siehe Flag cobDsn
) angeben. Sie können diesen Befehl im lokalen, Remote- und eigenständigen Modus ausführen. Informationen zum Remote-Modus finden Sie unter den Flags --bucket
, --remoteHost
, --remotePort
und --remoteUrl
.
Der Befehl bq export
verwendet die folgenden Flags und Argumente:
--project_id
=ID- Geben Sie das Projekt an, das für die Ausführung dieses Befehls verwendet werden soll.
--allow_large_results
- Optional: Verwenden Sie große Zieltabellengrößen für Legacy-SQL-Abfragen.
--batch
- Optional: Führen Sie die Abfrage im Batchmodus aus.
--bucket
=BUCKET- (Optional) Die Ausgabe des Befehls an einen Speicherort in einem Cloud Storage-Bucket schreiben. Die Ausgabedateien werden in den Zielpfad
gs://BUCKET/EXPORT/
geschrieben. Dieses Argument ist für den Remote-Modus erforderlich. --cobDsn
=DSN- (Optional): Geben Sie die zu verwendende Copybook-DSN an. Wenn Sie keinen Wert angeben, liest der Mainframe-Connector aus DD COPYBOOK.
--dataset_id
=ID- (Optional) Gibt das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--destination_table
=TABLE- Optional: Geben Sie die Zieltabelle an, in die die Abfrageergebnisse geschrieben werden sollen.
--dry_run
- (Optional) Validieren Sie die Abfrage, ohne sie auszuführen.
--encoding
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Dekodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben ist, wird der Standardwert überschrieben, der von der Umgebungsvariablen
ENCODING
festgelegt wurde. --exporter_thread_count
=COUNT- Optional: Legen Sie die Anzahl der Exporter-Threads fest. Der Standardwert ist 4.
--help
oder-h
- Diesen Hilfetext anzeigen
--keepAliveTimeInSeconds
=SECONDS- (Optional) Geben Sie das Keep-Alive-Zeitlimit in Sekunden für einen HTTP-Kanal an. Der Standardwert beträgt 480 Sekunden.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „USA“.
--max_read_queue
=NUMBER- Optional: Legen Sie die maximale Größe der Avro-Eintragswarteschlange fest. Der Standardwert ist das Doppelte der Anzahl der Threads.
--max_read_streams
=NUMBER- (Optional) Legen Sie die maximale Anzahl von Threads für Lesestreams fest. Der Standardwert ist 4.
--maximum_bytes_billed
=BYTES- Optional: Begrenzen Sie die für die Abfrage berechneten Byte.
--order_response
- (Optional) Die Antwort so anordnen, wie sie von BigQuery zurückgegeben wurde.
--outDD
=OUTPUT- (Optional) Die Ausgabedatensätze in das angegebene Dataset in z/OS schreiben. Der Standardwert ist DD OUTFILE.
--parser_type
=TYPE- (Optional) Legen Sie den Konfigurationsparser auf
legacy
,copybook
oderauto
fest. Der Standardwert istauto
. --query_dsn
=DSN- Optional: Eine Abfrage aus dem angegebenen Dataset in z/OS lesen. Verwenden Sie das Format HLQ.MEMBER oder HLQ.PDS(MEMBER). Wenn Sie keinen Wert angeben, liest der Mainframe-Connector aus DD QUERY.
--remoteHost
=HOST- Optional: Geben Sie die IP-Adresse des Remote-Hosts an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, setzen Sie das Flag
--bucket
. --remotePort
=PORT- Optional: Geben Sie den Remote-Port an. Der Standardwert ist 51.770. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, setzen Sie das Flag
--bucket
. --remoteUrl
=URL- Optional: Geben Sie die Remote-URL an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, setzen Sie das Flag
--bucket
. --run_mode
=MODE- Optional: Wählen Sie die Exportimplementierung aus. Sie haben folgende Möglichkeiten:
directstorage
: Die Binärdatei wird lokal gespeichert (Standard).gcsoutput
: Die Binärdatei wird in Cloud Storage gespeichert.
--sql
=SQL- Optional: Geben Sie die BigQuery-SQL-Abfrage an, die ausgeführt werden soll.
--stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--timeOutMinutes
=MINUTES- (Optional) Legen Sie die Zeitüberschreitung in Minuten für den Remote-gRPC-Aufruf fest. Der Standardwert ist 90 Minuten.
--transcoding_buffer
=BUFFER- (Optional) Legt die Größe des Transcodierungspuffers pro Thread in MB fest. Der Standardwert ist 20.
--use_cache
={true|false}- Optional: Wenn Sie die Abfrageergebnisse im Cache speichern möchten, legen Sie „wahr“ fest.
--use_legacy_sql
- Optional: Verwenden Sie Legacy-SQL anstelle von Standard-SQL.
bq load
Laden Sie Daten in eine BigQuery-Tabelle.
Zusammenfassung
bq load [options] tablespec path
Flags und Argumente
Der Befehl bq load
verwendet die folgenden Flags und Argumente:
- path
- Geben Sie eine durch Kommas getrennte Liste von URIs für Quelldateien an. Das unterstützte Format ist
gs://bucket/path
. Beispiel:gs://my-bucket/data.orc,gs://my-bucket/more-data.orc
. - tablespec
- Geben Sie die Zieltabelle für die Daten an. Das unterstützte Format ist [PROJECT]:[DATASET].[TABLE] .
--project_id
=ID- Geben Sie das Projekt an, das für die Ausführung dieses Befehls verwendet werden soll.
--allow_jagged_rows
- Optional: Fehlende nachgestellte optionale Spalten in CSV-Daten zulassen.
--allow_quoted_newlines
- (Optional) Zeilenumbrüche in Abschnitten in Anführungszeichen in CSV-Daten zulassen
--append_table
- Optional: Die geladenen Daten an die vorhandenen Daten in der Zieltabelle anhängen
--autodetect
- Optional: Aktivieren Sie die automatische Schemaerkennung für CSV- und JSON-Daten.
--clustering_fields
=FIELDS- Optional. Verwendet eine durch Kommas getrennte Liste von Spalten, um die Zieltabelle in einer Abfrage zu clustern. Dieses Flag muss mit den Flags für die zeitbasierte Partitionierung verwendet werden, um entweder eine nach Aufnahmezeit partitionierte Tabelle oder eine nach der Spalte
DATE
oderTIMESTAMP
partitionierte Tabelle zu erstellen. Wenn Sie dieses Flag angeben, wird die Tabelle zuerst partitioniert und dann anhand der entsprechenden Spalten geclustert. --dataset_id
=ID- (Optional) Gibt das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--debug_mode
={true|false}- Optional: Logging-Ebene auf „debug“ setzen.
--destination_kms_key
=KEY- Optional: Der Cloud KMS-Schlüssel für die Verschlüsselung der Zieltabellendaten.
--encoding
oder-E
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Dekodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben ist, wird der Standardwert überschrieben, der von der Umgebungsvariablen
ENCODING
festgelegt wurde. --field_delimiter
oder-F
=FIELD- Optional: Geben Sie das Spaltentrennzeichen in den CSV-Daten an. Verwenden Sie
\t
odertab
für Tabulatortrennzeichen. --help
oder-h
- Diesen Hilfetext anzeigen
--ignore_unknown_values
=VALUES- (Optional) Ignorieren Sie zusätzliche nicht erkannte Werte in CSV- oder JSON-Daten.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „USA“.
--max_bad_records
=RECORDS- Optional: Legen Sie die maximale Anzahl ungültiger Datensätze fest, die zulässig sind, bevor der Job fehlschlägt. Unabhängig vom Wert
--max_bad_records
werden höchstens fünf Fehler pro Typ zurückgegeben. Dieses Flag gilt nur für das Laden von CSV-, JSON- und Google Sheets-Daten. Der Standardwert ist 0. --max_polling_interval_ms
=MILLISECONDS- (Optional) Die maximale Wartezeit für einen BigQuery-Job.
--null_marker
=MARKER- Optional: Geben Sie einen benutzerdefinierten String an, der einen
NULL
-Wert in CSV-Daten darstellt. --projection_fields
=FIELDS- Optional: Wenn Sie
--source_format
aufDATASTORE_BACKUP
setzen, gibt dieses Flag an, welche Entitätsattribute aus einem Datastore-Export geladen werden sollen. Geben Sie die Attributnamen in einer durch Kommas getrennten Liste an. Bei Propertynamen wird zwischen Groß- und Kleinschreibung unterschieden und sie müssen sich auf Properties auf oberster Ebene beziehen. Sie können dieses Flag auch für Firestore-Exporte verwenden. --quote
=QUOTE- Optional: Geben Sie ein Anführungszeichen an, das Felder in den CSV-Daten umgeben soll. Als Argument kann ein beliebiges Ein-Byte-Zeichen angegeben werden. Der Standardwert ist ein doppeltes Anführungszeichen ("). Wenn Sie angeben möchten, dass es keine Anführungszeichen gibt, verwenden Sie einen leeren String.
--replace
- Optional: Ersetzen Sie vorhandene Daten in der Zieltabelle durch die geladenen Daten.
--require_partition_filter
={true|false}- Optional: Wenn Sie einen Partitionsfilter für Abfragen in der bereitgestellten Tabelle anfordern möchten, legen Sie „wahr“ fest. Dieses Argument gilt nur für partitionierte Tabellen und wenn das Flag
--time_partitioning_field
auf „true“ gesetzt ist. Der Standardwert ist „false“. --schema
=SCHEMA- (Optional) Definieren Sie das Schema der Zieltabelle. Geben Sie den Wert als durch Kommas getrennte Liste von Spaltendefinitionen im Format [FIELD]:[DATA_TYPE] an. Beispiel:
name:STRING,age:INTEGER,city:STRING
--schema_update_option
=OPTION- Optional: Gibt beim Anfügen von Daten an eine Tabelle (in einem Ladejob oder einem Abfragejob) oder beim Überschreiben einer Tabellenpartition an, wie das Schema der Zieltabelle aktualisiert wird. Verwenden Sie einen der folgenden Werte:
ALLOW_FIELD_ADDITION
: Ermöglicht das Einfügen neuer Felder zur SchemadefinitionALLOW_FIELD_RELAXATION
: Ermöglicht das Ändern vonREQUIRED
-Feldern inNULLABLE
--skip_leading_rows
=NUMBER- (Optional) Geben Sie die Anzahl der Zeilen an, die am Anfang der Quelldatei übersprungen werden sollen. Der Standardwert ist 0.
--source_format
=FORMAT- Optional: Geben Sie das Format der Quelldaten an. Sie können einen der folgenden Werte verwenden:
CSV
,NEWLINE_DELIMITED_JSON
,AVRO
,DATASTORE_BACKUP
(verwenden Sie diesen Wert für den Dateispeicher),PARQUET
,ORC
. Der Standardwert istORC
. --stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--time_partitioning_expiration
=SECONDS- Optional: Geben Sie an, wann eine zeitbasierte Partition gelöscht werden soll(in Sekunden). Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem angegebenen Wert. Wenn Sie eine negative Zahl angeben, läuft die zeitbasierte Partition nie ab.
--time_partitioning_field
=FIELD- (Optional): Geben Sie das Feld an, mit dem festgelegt wird, wie eine zeitbasierte Partition erstellt wird. Wenn die zeitbasierte Partitionierung ohne Angabe dieses Werts aktiviert wird, wird die Tabelle basierend auf der Ladezeit partitioniert.
--time_partitioning_type
=TYPE- (Optional) Aktivieren Sie die zeitbasierte Partitionierung für eine Tabelle und legen Sie den Partitionstyp mit dem folgenden Wert fest:
DAY
. --use_avro_logical_types
={true|false}- Optional: Wenn
--source_format
aufAVRO
gesetzt ist, legen Sie dieses Flag auf „Wahr“ fest, um logische Typen in die entsprechenden Typen wieTIMESTAMP
zu konvertieren, anstatt nur deren Rohtypen (z. B.INTEGER
) zu verwenden. Der Standardwert ist „Falsch“.
bq mk
Erstellen Sie BigQuery-Ressourcen wie integrierte Tabellen oder externe Tabellen, für die Partitionierung und Clustering eingerichtet werden müssen. Sie können auch den Befehl bq mk
verwenden, um mit dem Flag --schema_from_copybook
eine BigQuery-Tabelle direkt aus dem Parsen von COBOL-Copybooks zu generieren.
Zusammenfassung
bq mk [options]
Flags und Argumente
Der Befehl bq mk
verwendet die folgenden Flags und Argumente:
--project_id
=ID- Geben Sie das Projekt an, das für die Ausführung dieses Befehls verwendet werden soll.
--tablespec
=TABLE- Geben Sie die Zieltabelle für die Daten an. Das unterstützte Format ist [PROJECT]:[DATASET].[TABLE].
--clustering_fields
=FIELDS- Optional: Geben Sie eine durch Kommas getrennte Liste mit bis zu vier Spaltennamen an, die die Felder für das Tabellen-Clustering angeben.
--dataset_id
=ID- (Optional) Gibt das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--description
=DESCRIPTION- Optional: Geben Sie eine Beschreibung für den Datensatz oder die Tabelle ein.
--dry_run
- Optional: Drucken Sie die DDL-Anweisung (Data Definition Language) der Tabelle aus.
--encoding
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Dekodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben ist, wird der Standardwert überschrieben, der von der Umgebungsvariablen
ENCODING
festgelegt wurde. --expiration
=EXPIRATION- (Optional): Geben Sie die Lebensdauer der Tabelle an. Wenn Sie keinen Wert angeben, erstellt BigQuery die Tabelle mit der Standardlebensdauer des Datasets oder die Tabelle läuft nicht ab.
--external_table_definition
oder-e
=TABLE- Optional: Geben Sie einen Namen und eine Schemadefinition an, um eine externe Tabelle zu erstellen. Beispiel:
ORC=gs://bucket/table_part1.orc/,gs://bucket/table_part2.orc/.
--help
oder-h
- Diesen Hilfetext anzeigen
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „USA“.
--parser_type
=TYPE- (Optional) Legen Sie den Konfigurationsparser auf
legacy
,copybook
oderauto
fest. Der Standardwert istauto
. --require_partition_filter
={true|false}- Optional: Wenn Sie einen Partitionsfilter für Abfragen in der bereitgestellten Tabelle anfordern möchten, legen Sie „wahr“ fest. Dieses Argument gilt nur für partitionierte Tabellen und wenn das Flag
--time_partitioning_field
auf „true“ gesetzt ist. Der Standardwert ist „true“. --schema
=SCHEMA- Optional: Geben Sie entweder den Pfad zu einer lokalen JSON-Schemadatei oder eine durch Kommas getrennte Liste von Spaltendefinitionen im Format FIELD:DATA_TYPE, FIELD:DATA_TYPE usw. an.
--schema_from_copybook
=SCHEMA- Optional: Schema aus einem Copybook generieren
--table
oder-t
=TABLE- Optional: Tabelle erstellen
--time_partitioning_expiration
=SECONDS- Optional: Geben Sie an, wann eine zeitbasierte Partition gelöscht werden soll(in Sekunden). Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem angegebenen Wert. Wenn Sie eine negative Zahl angeben, läuft die zeitbasierte Partition nie ab.
--time_partitioning_field
=FIELD- (Optional): Geben Sie das Feld an, mit dem festgelegt wird, wie eine zeitbasierte Partition erstellt wird. Wenn die zeitbasierte Partitionierung ohne Angabe dieses Werts aktiviert wird, wird die Tabelle basierend auf der Ladezeit partitioniert.
--view
- Optional: Erstellen Sie eine Ansicht.
bq query
Führen Sie eine BigQuery-Abfrage aus.
Zusammenfassung
bq query [options]
Flags und Argumente
Sie können diesen Befehl im lokalen und im Remote-Modus ausführen. Informationen zum Remote-Modus finden Sie unter den Flags --remoteHost
, --remotePort
und --remoteUrl
sowie in der Umgebungsvariablen BQ_QUERY_REMOTE_EXECUTION
.
Der Befehl bq query
verwendet die folgenden Flags und Argumente:
--project_id
=ID- Geben Sie das Projekt an, das für die Ausführung dieses Befehls verwendet werden soll.
--allow_large_results
- Optional: Verwenden Sie große Zieltabellengrößen für Legacy-SQL-Abfragen.
--append_table
- Optional: Die geladenen Daten an die vorhandenen Daten in der Zieltabelle anhängen
--batch
- Optional: Führen Sie die Abfrage im Batchmodus aus.
--clustering_fields
=FIELDS- Optional: Geben Sie eine durch Kommas getrennte Liste mit bis zu vier Spaltennamen an, die die Felder für das Tabellen-Clustering angeben. Wenn Sie diesen Wert mit der Partitionierung angeben, wird die Tabelle zuerst partitioniert und dann werden die Partitionen anhand der bereitgestellten Spalten geclustert.
--create_if_needed
- Optional: Erstellen Sie die Zieltabelle, falls sie noch nicht vorhanden ist.
--dataset_id
=ID- (Optional) Gibt das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--destination_table
=TABLE- Optional: Geben Sie die Zieltabelle an, in die die Abfrageergebnisse geschrieben werden sollen.
--dry_run
- (Optional) Validieren Sie die Abfrage, ohne sie auszuführen.
--follow
={true|false}- Optional: Wenn Sie einzelne Abfrageschritte oder das Script als Ganzes erfassen möchten, setzen Sie diesen Parameter auf „wahr“. Der Standardwert ist "false".
--help
oder-h
- Diesen Hilfetext anzeigen
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „USA“.
--maximum_bytes_billed
=BYTES- (Optional): Geben Sie die Obergrenze für die für die Abfrage in Rechnung gestellten Byte an.
--parameters
=PARAMETERS- (Optional) Geben Sie durch Kommas getrennte Abfrageparameter im Format [NAME]:[TYPE]:[VALUE] an. Bei fehlender Namensangabe wird ein Positionsparameter erstellt. Sie können [TYPE] weglassen, um einen
STRING
-Wert im Format name::value oder ::value anzunehmen.NULL
erzeugt einen Nullwert. --query_dsn
=DSN- Optional: Geben Sie das DSN an, aus dem die Abfrage gelesen werden soll, im Format HLQ.MEMBER oder HLQ.PDS(MEMBER). Wenn
query_dsn
nicht angegeben ist, wird QUERY DD verwendet. --remoteHost
=HOST- Optional: Geben Sie die IP-Adresse des Remote-Hosts an. Wenn Sie die Abfrage im Remote-Modus ausführen möchten, legen Sie die Umgebungsvariable
BQ_QUERY_REMOTE_EXECUTION
fest. --remotePort
=PORT- Optional: Geben Sie den Remote-Port an. Der Standardwert ist 51.770. Wenn Sie die Abfrage im Remote-Modus ausführen möchten, legen Sie die Umgebungsvariable
BQ_QUERY_REMOTE_EXECUTION
fest. --remoteUrl
=URL- Optional: Geben Sie die Remote-URL an. Wenn Sie die Abfrage im Remote-Modus ausführen möchten, legen Sie die Umgebungsvariable
BQ_QUERY_REMOTE_EXECUTION
fest. --replace
- Optional: Überschreiben Sie die Zieltabelle mit den Abfrageergebnissen.
--report_row_limit
=LIMIT- (Optional) Geben Sie die maximale Anzahl von Zeilen an, die im Analysebericht gedruckt werden sollen. Der Standardwert ist 30.
--require_partition_filter
={true|false}- Optional: Wenn Sie einen Partitionsfilter für Abfragen in der bereitgestellten Tabelle anfordern möchten, legen Sie „wahr“ fest. Der Standardwert ist „true“.
--schema_update_option
=OPTION- Optional: Aktualisieren Sie das Schema der Zieltabelle, wenn Sie Daten anhängen. Verwenden Sie die folgenden Werte:
ALLOW_FIELD_ADDITION
: Ermöglicht das Einfügen neuer Felder zur Schemadefinition.ALLOW_FIELD_RELAXATION
: Ermöglicht das Ändern vonREQUIRED
-Feldern inNULLABLE
.
--split_sql
={true|false}- Optional: Wenn Sie das Eingabe-SQL-Script in einzelne Abfragen aufteilen möchten, legen Sie „true“ fest. Der Standardwert ist „true“.
--stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--sync
={true|false}- Optional: Führen Sie den Befehl im synchronen Modus aus.
--synchronous_mode
={true|false}- Optional: Eine Alternative zu
--sync
. --timeOutMinutes
=MINUTES- (Optional) Legen Sie die Zeitüberschreitung in Minuten für eine BigQuery-Jobantwort fest. Der Standardwert ist 240 Minuten.
--time_partitioning_expiration
=SECONDS- Optional: Geben Sie an, wann eine zeitbasierte Partition gelöscht werden soll(in Sekunden). Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem angegebenen Wert. Wenn Sie eine negative Zahl angeben, läuft die zeitbasierte Partition nie ab.
--time_partitioning_field
=FIELD- (Optional): Geben Sie das Feld an, mit dem festgelegt wird, wie eine zeitbasierte Partition erstellt wird. Wenn die zeitbasierte Partitionierung ohne Angabe dieses Werts aktiviert wird, wird die Tabelle basierend auf der Ladezeit partitioniert.
--time_partitioning_type
=TYPE- (Optional) Aktivieren Sie die zeitbasierte Partitionierung für eine Tabelle und legen Sie den Partitionstyp mit einem der folgenden Werte fest:
DAY
,HOUR
,MONTH
oderYEAR
. --use_cache
={true|false}- (Optional) Wenn Sie die Abfrageergebnisse im Cache speichern möchten, legen Sie „true“ fest. Der Standardwert ist „true“.
--use_legacy_sql
- Optional: Verwenden Sie Legacy-SQL anstelle von Standard-SQL.
gsutil cp
Daten von Ihrem Mainframe in einen Cloud Storage-Bucket transkodieren
Zusammenfassung
gsutil cp [options] gcsUri [dest]
Flags und Argumente
Sie können diesen Befehl für die folgenden Zwecke verwenden:
- Dateien von einem Mainframe oder einer Linux-Umgebung in Cloud Storage kopieren und transkodieren
- Quelle:
--inDSN
. Wenn nicht angegeben, wird der Wert durch DD INFILE festgelegt. - Ziel:
gcsUri
- Datei in Cloud Storage kopieren und transkodieren
- Quelle:
gcsUri
- Ziel:
--destPath
- Dateien aus Cloud Storage in einen Mainframe kopieren
- Quelle:
gcsUri
- Ziel:
--destDSN
- Relevante Flags:
--lrecl
,--blksize
,--recfm
,--noseek
. - Dateien aus Cloud Storage in eine Linux-Umgebung kopieren
- Quelle:
gcsUri
- Ziel:
--destPath
--remote
, --remoteHost
, --remotePort
und --remoteUrl
.
Der Befehl gsutil cp
verwendet die folgenden Flags und Argumente:
- dest
- (Optional): Der lokale Pfad oder der Name der Datenquelle (DSN). Beispielformate:
/path/to/file
, DATASET.MEMBER - gcsUri
- Der Cloud Storage-URI im Format
gs://bucket/path
. Kann je nach Verwendung sowohl den Quell- als auch den Zielort darstellen. --project_id
=ID- Geben Sie das Projekt an, das für die Ausführung dieses Befehls verwendet werden soll.
--batchSize
=SIZE- (Optional): Geben Sie die Blöcke an, die pro Batch verwendet werden sollen. Der Standardwert ist 1.000.
--blksize
=SIZE- (Optional): Geben Sie die Blockgröße der Datei an, die in den Mainframe kopiert werden soll. Wenn
blksize=0
undrecfm
nicht „U“ sind, bestimmt das Mainframe-System die optimale Blockgröße für die Datei. --cobDsn
=DSN- (Optional): Geben Sie die zu verwendende Copybook-DSN an. Wenn Sie keinen Wert angeben, liest der Mainframe-Connector aus DD COPYBOOK.
--connections
=NUMBER- (Optional) Geben Sie die Anzahl der Verbindungen an, die zum Remote-Empfänger hergestellt werden können. Der Standardwert ist 10.
--dataset_id
=ID- (Optional) Gibt das Standard-Dataset an, das mit dem Befehl verwendet werden soll. Sie können als Wert [PROJECT_ID]:[DATASET] oder [DATASET] festlegen. Wenn [PROJECT_ID] fehlt, wird das Standardprojekt verwendet.
--destDSN
=OUTPUT- Optional: Geben Sie das Ziel-DSN an.
--destPath
=OUTPUT- (Optional) Geben Sie den Zielpfad an.
--dry_run
- Optional: Prüfen Sie das Parsen und Entschlüsseln des Copybooks in der QSAM-Datei.
--encoding
=ENCODING- (Optional) Geben Sie den Zeichensatz an, der für die Codierung und Dekodierung von Zeichenfeldern verwendet werden soll. Wenn dieser Wert angegeben ist, wird der Standardwert überschrieben, der von der Umgebungsvariablen
ENCODING
festgelegt wurde. --help
oder-h
- Diesen Hilfetext anzeigen
--inDsn
=DSN- (Optional) Geben Sie den zu verwendenden DSN für die Eingabedatei an. Wenn Sie keinen Wert angeben, liest der Mainframe-Connector aus DD INFILE.
--keepAliveTimeInSeconds
=SECONDS- (Optional) Geben Sie das Keep-Alive-Zeitlimit in Sekunden für einen HTTP-Kanal an. Der Standardwert beträgt 480 Sekunden.
--location
=LOCATION- (Optional) Geben Sie eine Region oder einen multiregionalen Standort an, an dem der Befehl ausgeführt werden soll. Der Standardwert ist „USA“.
--lowerCaseColumnNames
- (Optional) Spaltennamen für Copybook-Felder in Kleinbuchstaben erstellen
--lrecl
=LRECL- Optional: Geben Sie die logische Datensatzlänge (lrecl) der Datei an, die Sie in den Mainframe kopieren möchten.
--maxChunkSize
=SIZE- Optional: Geben Sie die maximale Blockgröße pro Batch an. Verwenden Sie K, KiB, KB, M, MiB, MB, G, GiB, GB, T, TiB oder TB, um die Größe zu beschreiben. Der Standardwert ist 128 MiB.
--max_error_pct
=PCT- Optional: Legen Sie den Jobfehlergrenzwert für Fehler bei der Zeilendecodierung fest. Gültige Werte liegen im Bereich [0,0, 1,0]. Der Standardwert ist 0,0.
--noseek
- (Optional) Downloadleistung von Cloud Storage zum Mainframe verbessern
--parallel
oder-m
- (Optional) Legen Sie die Anzahl der gleichzeitigen Schreiber auf 4 fest.
--parallelism
oder-p
=NUMBER- Optional: Geben Sie die Anzahl der gleichzeitigen Schreiber an. Der Standardwert ist 4.
--parser_type
=TYPE- (Optional) Legen Sie den Konfigurationsparser auf
legacy
,copybook
oderauto
fest. Der Standardwert istauto
. --preload_chunk_count
=NUMBER- (Optional) Gibt die Anzahl der Chunks an, die von Laufwerken vorab geladen werden sollen, während alle Worker belegt sind. Der Standardwert ist 2.
--recfm
=REFCM- Optional: Geben Sie die recfm der Datei an, die Sie auf den Mainframe kopieren möchten. Sie können einen der folgenden Werte verwenden: F, FB, V, VB, U. Der Standardwert ist „FB“.
--remote
- Optional: Verwenden Sie einen externen Decoder.
--remoteHost
=HOST- Optional: Geben Sie die IP-Adresse des Remote-Hosts an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, setzen Sie das Flag
--remote
. --remotePort
=PORT- (Optional) Geben Sie den zu verwendenden Remote-Port an. Der Standardwert ist 51.770. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, setzen Sie das Flag
--remote
. --remoteUrl
=URL- Optional: Geben Sie die Remote-URL an. Wenn Sie Mainframe Connector im Remote-Modus ausführen möchten, setzen Sie das Flag
--remote
. --replace
- Optional: Löschen Sie das Ziel vor dem Upload rekursiv.
--stats_table
=TABLE- (Optional) Geben Sie die Tabelle an, in die Statistiken eingefügt werden sollen.
--tfDSN
=DSN- (Optional): Geben Sie die Transformationen aus einem DSN, DATASET.MEMBER oder PDS(MBR) an.
--tfGCS
=GCS- (Optional) Transformationsdatei aus Cloud Storage angeben
--timeOutMinutes
=MINUTES- (Optional): Geben Sie das Zeitlimit in Minuten für einen Remote-gRPC-Aufruf an. Der Standardwert ist 90 Minuten für Cloud Storage und 50 Minuten für einen Mainframe.
gsutil rm
Entfernen Sie Cloud Storage-Objekte.
Zusammenfassung
gsutil rm [-hR] url...
Flags und Argumente
Der Befehl gsutil rm
verwendet die folgenden Flags und Argumente:
- url
- Geben Sie den Cloud Storage-Speicherort im Format
gs://bucket/prefix
an. --help
oder-h
- Diese Hilfemeldung anzeigen.
-R
oder-r
- Löschen Sie rekursiv den Inhalt von Verzeichnissen oder Objekten, die mit dem Pfadexpression übereinstimmen.
scp
Kopieren Sie die Dateien in Cloud Storage.
Zusammenfassung
scp [options] [input] [output]
Flags und Argumente
Für die Verwendung dieses Befehls müssen folgende Voraussetzungen erfüllt sein:
- Legen Sie einen eindeutigen Eingabewert über
input
,--inDD
oder--inDsn
fest. - Legen Sie einen eindeutigen Ausgabewert über „output“ oder
--gcsOutUri
fest.
Der Befehl scp
verwendet die folgenden Flags und Argumente:
- input
- Optional: Geben Sie die zu kopierende DD- oder DSN-Datei an. Sie können stattdessen
--inDD
oder--inDsn
verwenden. - output
- (Optional) Geben Sie den URI der Ausgabe im Format gs://[BUCKET]/[PREFIX] an. Sie können stattdessen
--gcsOutUri
verwenden. --compress
- (Optional) Ausgabe mit gzip komprimieren
--count
oder-n
=RECORDS- (Optional) Geben Sie die Anzahl der zu kopierenden Einträge an. Der Standardwert ist „Unbegrenzt“.
--encoding
=ENCODING- (Optional) Geben Sie die Zeichencodierung für die Eingabe an. Der Standardwert ist CP037.
--gcsOutUri
=URI- Optional: Geben Sie den Cloud Storage-URI des Ziels der Dateikopie an.
--help
oder-h
- Diesen Hilfetext anzeigen
--inDD
=INPUT- Optional: Geben Sie die zu kopierende DD-Datei an. Der Standardwert ist DD INFILE.
--inDsn
=INPUT- (Optional) Geben Sie die zu kopierende DSN an.
--noConvert
- (Optional) Umwandlung der Zeicheneingabe in ASCII deaktivieren. Die Zeichenkonvertierung ist standardmäßig aktiviert.
systemreport
Systembericht bereitstellen
Zusammenfassung
systemreport [-h] [--available_security_providers] [--supported_ciphers]
Flags und Argumente
Der Befehl systemreport
verwendet die folgenden Flags und Argumente:
--available_security_providers
- Unterstützte Sicherheitsanbieter ausdrucken
--help
oder-h
- Diese Hilfemeldung anzeigen.
--supported_ciphers
- Unterstützte Chiffren drucken.