Vorlage „JDBC für Cloud Spanner“

Verwenden Sie die Vorlage "Dataproc Serverless JDBC to Spanner", um Daten aus JDBC-Datenbanken in Spanner zu extrahieren.

Diese Vorlage unterstützt die folgenden Datenbanken als Eingabe:

• MySQL
• PostgreSQL
• Microsoft SQL Server
• Oracle

Vorlage verwenden

Führen Sie die Vorlage mithilfe der gcloud CLI oder Dataproc API aus.

gcloud

Bevor Sie die folgenden Befehlsdaten verwenden, ersetzen Sie die folgenden Werte:

• PROJECT_ID: erforderlich. Ihre Google Cloud-Projekt-ID, die in den IAM-Einstellungen aufgeführt ist.
• REGION: erforderlich. Compute Engine-Region.
• TEMPLATE_VERSION: erforderlich. Geben Sie latest für die neueste Vorlagenversion oder das Datum einer bestimmten Version an, z. B. 2023-03-17_v0.1.0-beta. Rufen Sie gs://dataproc-templates-binaries auf oder führen Sie gsutil ls gs://dataproc-templates-binaries aus, um die verfügbaren Vorlagenversionen aufzulisten.
• SUBNET: Optional. Wenn kein Subnetz angegeben ist, wird das Subnetz in der angegebenen REGION im Netzwerk default ausgewählt.

  Beispiel: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME

• JDBC_CONNECTOR_CLOUD_STORAGE_PATH: erforderlich. Der vollständige Cloud Storage-Pfad, einschließlich des Dateinamens, in dem die JAR-Datei des JDBC-Connectors gespeichert ist. Mit den folgenden Befehlen können Sie JDBC-Connectors für das Hochladen in Cloud Storage herunterladen:
  • MySQL:

    wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz

  • Postgres-SQL:

    wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar

  • Microsoft SQL Server:

      
    wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar

  • Oracle:

    wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar

• Die folgenden Variablen werden zum Erstellen der erforderlichen JDBC_CONNECTION_URL verwendet:
  • JDBC_HOST, JDBC_PORT, JDBC_DATABASE oder für Oracle JDBC_SERVICE, JDBC_USERNAME und JDBC_PASSWORD: Erforderlich. JDBC-Host, Port, Datenbank, Nutzername und Passwort.
  • MySQL:

    jdbc:mysql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

  • PostgreSQL:

    jdbc:postgresql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

  • Microsoft SQL Server:

    jdbc:sqlserver://JDBC_HOST:JDBC_PORT;databaseName=JDBC_DATABASE;user=JDBC_USERNAME;password=JDBC_PASSWORD

  • Oracle:

    jdbc:oracle:thin:@//JDBC_HOST:JDBC_PORT/JDBC_SERVICE?user=JDBC_USERNAME&password=JDBC_PASSWORD

  • DRIVER: erforderlich. Der JDBC-Treiber, der für die Verbindung verwendet wird:
    • MySQL:

      com.mysql.cj.jdbc.Driver

    • Postgres-SQL:

      org.postgresql.Driver

    • Microsoft SQL Server:

        com.microsoft.sqlserver.jdbc.SQLServerDriver

    • Oracle:

      oracle.jdbc.driver.OracleDriver

  • QUERY oder QUERY_FILE: Erforderlich. Legen Sie entweder QUERY oder QUERY_FILE fest, um die Abfrage anzugeben, die zum Extrahieren von Daten aus JDBC verwendet werden soll
  • INPUT_PARTITION_COLUMN, LOWERBOUND, UPPERBOUND, NUM_PARTITIONS: Optional. Bei Verwendung müssen alle der folgenden Parameter angegeben werden:
    • INPUT_PARTITION_COLUMN: Name der JDBC-Eingabetabellenpartitionsspalte.
    • LOWERBOUND: Untergrenze der JDBC-Eingabetabellenpartitionsspalte, die zum Bestimmen des Partitionsschritts verwendet wird.
    • UPPERBOUND:Obergrenze der JDBC-Eingabetabellenpartitionsspalte, die zur Festlegung des Partitionsschritts verwendet wird.
    • NUM_PARTITIONS: Die maximale Anzahl von Partitionen, die für die Parallelität von Lese- und Schreibvorgängen von Tabellen verwendet werden kann. Wenn dieser Wert angegeben ist, wird er für die JDBC-Ein- und -Ausgabeverbindung verwendet. Standardeinstellung: 10
  • FETCHSIZE: Optional. Die Anzahl der Zeilen, die pro Umlauf abgerufen werden sollen. Der Standardwert ist 10.
  • JDBC_SESSION_INIT: Optional. Anweisung zur Sitzungsinitialisierung zum Lesen von Java-Vorlagen.
  • TEMPVIEW und SQL_QUERY: Optional. Sie können diese beiden optionalen Parameter verwenden, um beim Laden von Daten in Spanner eine Spark SQL-Transformation anzuwenden. TEMPVIEW ist der Name der temporären Ansicht und SQL_QUERY die Abfrageanweisung. TEMPVIEW und der Tabellenname in SQL_QUERY müssen übereinstimmen.
  • INSTANCE: erforderlich. Spanner-Instanz-ID.
  • SPANNER_DATABASE: erforderlich. Spanner-Datenbank-ID.
  • TABLE: erforderlich. Name der Spanner-Ausgabetabelle.
  • MODE: Optional. Schreibmodus für Spanner-Ausgabe. Optionen: Append, Overwrite, Ignore oder ErrorIfExists. Die Standardeinstellung ist ErrorIfExists.
  • PRIMARY_KEY: erforderlich. Kommagetrennte Primärschlüsselspalten, die beim Erstellen einer Spanner-Ausgabetabelle erforderlich sind.
  • SERVICE_ACCOUNT: Optional. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
  • PROPERTY und PROPERTY_VALUE: Optional. Durch Kommas getrennte Liste von Spark property=value-Paaren.
  • LABEL und LABEL_VALUE: Optional. Durch Kommas getrennte Liste von label=value-Paaren.
  • LOG_LEVEL: Optional. Protokollebene. Kann ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE oder WARN sein. Standardeinstellung: INFO.
  • KMS_KEY: Optional. Der Cloud Key Management Service-Schlüssel, der für die Verschlüsselung verwendet werden soll. Wenn kein Schlüssel angegeben ist, werden ruhende Daten mit einem Schlüssel verschlüsselt, der Google gehört und von Google verwaltet wird.

    Beispiel: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

  Führen Sie den folgenden Befehl aus:

  Linux, macOS oder Cloud Shell

  Hinweis: Prüfen Sie, ob die Google Cloud CLI mit Authentifizierung und einem Projekt initialisiert wurde. Führen Sie dazu gcloud init oder gcloud auth login und gcloud config set project aus.

  gcloud dataproc batches submit spark \
      --class=com.google.cloud.dataproc.templates.main.DataProcTemplate \
      --version="1.1" \
      --project="PROJECT_ID" \
      --region="REGION" \
      --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,JDBC_CONNECTOR_CLOUD_STORAGE_PATH" \
      --subnet="SUBNET" \
      --kms-key="KMS_KEY" \
      --service-account="SERVICE_ACCOUNT" \
      --properties="PROPERTY=PROPERTY_VALUE" \
      --labels="LABEL=LABEL_VALUE" \
      -- --template=JDBCTOSPANNER \
      --templateProperty log.level="LOG_LEVEL" \
      --templateProperty project.id="PROJECT_ID" \
      --templateProperty jdbctospanner.jdbc.url="JDBC_CONNECTION_URL" \
      --templateProperty jdbctospanner.jdbc.driver.class.name="DRIVER" \
      --templateProperty jdbctospanner.jdbc.fetchsize="FETCHSIZE" \
      --templateProperty jdbctospanner.jdbc.sessioninitstatement="JDBC_SESSION_INIT" \
      --templateProperty jdbctospanner.sql="QUERY" \
      --templateProperty jdbctospanner.sql.file="QUERY_FILE" \
      --templateProperty jdbctospanner.sql.numPartitions="NUM_PARTITIONS" \
      --templateProperty jdbctospanner.sql.partitionColumn="INPUT_PARTITION_COLUMN" \
      --templateProperty jdbctospanner.sql.lowerBound="LOWERBOUND" \
      --templateProperty jdbctospanner.sql.upperBound="UPPERBOUND" \
      --templateProperty jdbctospanner.output.instance="INSTANCE" \
      --templateProperty jdbctospanner.output.database="SPANNER_DATABASE" \
      --templateProperty jdbctospanner.output.table="TABLE" \
      --templateProperty jdbctospanner.output.saveMode="MODE" \
      --templateProperty jdbctospanner.output.primaryKey="PRIMARY_KEY" \
      --templateProperty jdbctospanner.output.batch.size="BATCHSIZE" \
      --templateProperty jdbctospanner.temp.table="TEMPVIEW" \
      --templateProperty jdbctospanner.temp.query="SQL_QUERY" 
  
  
  

  Windows (PowerShell)

  Hinweis: Prüfen Sie, ob die Google Cloud CLI mit Authentifizierung und einem Projekt initialisiert wurde. Führen Sie dazu gcloud init oder gcloud auth login und gcloud config set project aus.

  gcloud dataproc batches submit spark `
      --class=com.google.cloud.dataproc.templates.main.DataProcTemplate `
      --version="1.1" `
      --project="PROJECT_ID" `
      --region="REGION" `
      --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,JDBC_CONNECTOR_CLOUD_STORAGE_PATH" `
      --subnet="SUBNET" `
      --kms-key="KMS_KEY" `
      --service-account="SERVICE_ACCOUNT" `
      --properties="PROPERTY=PROPERTY_VALUE" `
      --labels="LABEL=LABEL_VALUE" `
      -- --template=JDBCTOSPANNER `
      --templateProperty log.level="LOG_LEVEL" `
      --templateProperty project.id="PROJECT_ID" `
      --templateProperty jdbctospanner.jdbc.url="JDBC_CONNECTION_URL" `
      --templateProperty jdbctospanner.jdbc.driver.class.name="DRIVER" `
      --templateProperty jdbctospanner.jdbc.fetchsize="FETCHSIZE" `
      --templateProperty jdbctospanner.jdbc.sessioninitstatement="JDBC_SESSION_INIT" `
      --templateProperty jdbctospanner.sql="QUERY" `
      --templateProperty jdbctospanner.sql.file="QUERY_FILE" `
      --templateProperty jdbctospanner.sql.numPartitions="NUM_PARTITIONS" `
      --templateProperty jdbctospanner.sql.partitionColumn="INPUT_PARTITION_COLUMN" `
      --templateProperty jdbctospanner.sql.lowerBound="LOWERBOUND" `
      --templateProperty jdbctospanner.sql.upperBound="UPPERBOUND" `
      --templateProperty jdbctospanner.output.instance="INSTANCE" `
      --templateProperty jdbctospanner.output.database="SPANNER_DATABASE" `
      --templateProperty jdbctospanner.output.table="TABLE" `
      --templateProperty jdbctospanner.output.saveMode="MODE" `
      --templateProperty jdbctospanner.output.primaryKey="PRIMARY_KEY" `
      --templateProperty jdbctospanner.output.batch.size="BATCHSIZE" `
      --templateProperty jdbctospanner.temp.table="TEMPVIEW" `
      --templateProperty jdbctospanner.temp.query="SQL_QUERY" 
  
  
  

  Windows (cmd.exe)

  Hinweis: Prüfen Sie, ob die Google Cloud CLI mit Authentifizierung und einem Projekt initialisiert wurde Führen Sie dazu gcloud init oder gcloud auth login und gcloud config set project aus.

  gcloud dataproc batches submit spark ^
      --class=com.google.cloud.dataproc.templates.main.DataProcTemplate ^
      --version="1.1" ^
      --project="PROJECT_ID" ^
      --region="REGION" ^
      --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,JDBC_CONNECTOR_CLOUD_STORAGE_PATH" ^
      --subnet="SUBNET" ^
      --kms-key="KMS_KEY" ^
      --service-account="SERVICE_ACCOUNT" ^
      --properties="PROPERTY=PROPERTY_VALUE" ^
      --labels="LABEL=LABEL_VALUE" ^
      -- --template=JDBCTOSPANNER ^
      --templateProperty log.level="LOG_LEVEL" ^
      --templateProperty project.id="PROJECT_ID" ^
      --templateProperty jdbctospanner.jdbc.url="JDBC_CONNECTION_URL" ^
      --templateProperty jdbctospanner.jdbc.driver.class.name="DRIVER" ^
      --templateProperty jdbctospanner.jdbc.fetchsize="FETCHSIZE" ^
      --templateProperty jdbctospanner.jdbc.sessioninitstatement="JDBC_SESSION_INIT" ^
      --templateProperty jdbctospanner.sql="QUERY" ^
      --templateProperty jdbctospanner.sql.file="QUERY_FILE" ^
      --templateProperty jdbctospanner.sql.numPartitions="NUM_PARTITIONS" ^
      --templateProperty jdbctospanner.sql.partitionColumn="INPUT_PARTITION_COLUMN" ^
      --templateProperty jdbctospanner.sql.lowerBound="LOWERBOUND" ^
      --templateProperty jdbctospanner.sql.upperBound="UPPERBOUND" ^
      --templateProperty jdbctospanner.output.instance="INSTANCE" ^
      --templateProperty jdbctospanner.output.database="SPANNER_DATABASE" ^
      --templateProperty jdbctospanner.output.table="TABLE" ^
      --templateProperty jdbctospanner.output.saveMode="MODE" ^
      --templateProperty jdbctospanner.output.primaryKey="PRIMARY_KEY" ^
      --templateProperty jdbctospanner.output.batch.size="BATCHSIZE" ^
      --templateProperty jdbctospanner.temp.table="TEMPVIEW" ^
      --templateProperty jdbctospanner.temp.query="SQL_QUERY" 
  
  
  

REST

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

• PROJECT_ID: erforderlich. Ihre Google Cloud-Projekt-ID, die in den IAM-Einstellungen aufgeführt ist.
• REGION: erforderlich. Compute Engine-Region.
• TEMPLATE_VERSION: erforderlich. Geben Sie latest für die neueste Vorlagenversion oder das Datum einer bestimmten Version an, z. B. 2023-03-17_v0.1.0-beta. Rufen Sie gs://dataproc-templates-binaries auf oder führen Sie gsutil ls gs://dataproc-templates-binaries aus, um die verfügbaren Vorlagenversionen aufzulisten.
• SUBNET: Optional. Wenn kein Subnetz angegeben ist, wird das Subnetz in der angegebenen REGION im Netzwerk default ausgewählt.

  Beispiel: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME

• JDBC_CONNECTOR_CLOUD_STORAGE_PATH: erforderlich. Der vollständige Cloud Storage-Pfad, einschließlich des Dateinamens, in dem die JAR-Datei des JDBC-Connectors gespeichert ist. Mit den folgenden Befehlen können Sie JDBC-Connectors für das Hochladen in Cloud Storage herunterladen:
  • MySQL:

    wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz

  • Postgres-SQL:

    wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar

  • Microsoft SQL Server:

      
    wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar

  • Oracle:

    wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar

• Die folgenden Variablen werden zum Erstellen der erforderlichen JDBC_CONNECTION_URL verwendet:
  • JDBC_HOST, JDBC_PORT, JDBC_DATABASE oder für Oracle JDBC_SERVICE, JDBC_USERNAME und JDBC_PASSWORD: Erforderlich. JDBC-Host, Port, Datenbank, Nutzername und Passwort.
  • MySQL:

    jdbc:mysql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

  • PostgreSQL:

    jdbc:postgresql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

  • Microsoft SQL Server:

    jdbc:sqlserver://JDBC_HOST:JDBC_PORT;databaseName=JDBC_DATABASE;user=JDBC_USERNAME;password=JDBC_PASSWORD

  • Oracle:

    jdbc:oracle:thin:@//JDBC_HOST:JDBC_PORT/JDBC_SERVICE?user=JDBC_USERNAME&password=JDBC_PASSWORD

  • DRIVER: erforderlich. Der JDBC-Treiber, der für die Verbindung verwendet wird:
    • MySQL:

      com.mysql.cj.jdbc.Driver

    • Postgres-SQL:

      org.postgresql.Driver

    • Microsoft SQL Server:

        com.microsoft.sqlserver.jdbc.SQLServerDriver

    • Oracle:

      oracle.jdbc.driver.OracleDriver

  • QUERY oder QUERY_FILE: Erforderlich. Legen Sie entweder QUERY oder QUERY_FILE fest, um die Abfrage anzugeben, die zum Extrahieren von Daten aus JDBC verwendet werden soll
  • INPUT_PARTITION_COLUMN, LOWERBOUND, UPPERBOUND, NUM_PARTITIONS: Optional. Bei Verwendung müssen alle der folgenden Parameter angegeben werden:
    • INPUT_PARTITION_COLUMN: Name der JDBC-Eingabetabellenpartitionsspalte.
    • LOWERBOUND: Untergrenze der JDBC-Eingabetabellenpartitionsspalte, die zum Bestimmen des Partitionsschritts verwendet wird.
    • UPPERBOUND:Obergrenze der JDBC-Eingabetabellenpartitionsspalte, die zur Festlegung des Partitionsschritts verwendet wird.
    • NUM_PARTITIONS: Die maximale Anzahl von Partitionen, die für die Parallelität von Lese- und Schreibvorgängen von Tabellen verwendet werden kann. Wenn dieser Wert angegeben ist, wird er für die JDBC-Ein- und -Ausgabeverbindung verwendet. Standardeinstellung: 10
  • FETCHSIZE: Optional. Die Anzahl der Zeilen, die pro Umlauf abgerufen werden sollen. Der Standardwert ist 10.
  • JDBC_SESSION_INIT: Optional. Anweisung zur Sitzungsinitialisierung zum Lesen von Java-Vorlagen.
  • TEMPVIEW und SQL_QUERY: Optional. Sie können diese beiden optionalen Parameter verwenden, um beim Laden von Daten in Spanner eine Spark SQL-Transformation anzuwenden. TEMPVIEW ist der Name der temporären Ansicht und SQL_QUERY die Abfrageanweisung. TEMPVIEW und der Tabellenname in SQL_QUERY müssen übereinstimmen.
  • INSTANCE: erforderlich. Spanner-Instanz-ID.
  • SPANNER_DATABASE: erforderlich. Spanner-Datenbank-ID.
  • TABLE: erforderlich. Name der Spanner-Ausgabetabelle.
  • MODE: Optional. Schreibmodus für Spanner-Ausgabe. Optionen: Append, Overwrite, Ignore oder ErrorIfExists. Die Standardeinstellung ist ErrorIfExists.
  • PRIMARY_KEY: erforderlich. Kommagetrennte Primärschlüsselspalten, die beim Erstellen einer Spanner-Ausgabetabelle erforderlich sind.
  • SERVICE_ACCOUNT: Optional. Wenn nicht angegeben, wird das Compute Engine-Standarddienstkonto verwendet.
  • PROPERTY und PROPERTY_VALUE: Optional. Durch Kommas getrennte Liste von Spark property=value-Paaren.
  • LABEL und LABEL_VALUE: Optional. Durch Kommas getrennte Liste von label=value-Paaren.
  • LOG_LEVEL: Optional. Protokollebene. Kann ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE oder WARN sein. Standardeinstellung: INFO.
  • KMS_KEY: Optional. Der Cloud Key Management Service-Schlüssel, der für die Verschlüsselung verwendet werden soll. Wenn kein Schlüssel angegeben ist, werden ruhende Daten mit einem Schlüssel verschlüsselt, der Google gehört und von Google verwaltet wird.

    Beispiel: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

  HTTP-Methode und URL:

  POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches

  JSON-Text der Anfrage:

  
  {
    "environmentConfig": {
      "executionConfig": {
        "subnetworkUri": "SUBNET",
        "kmsKey": "KMS_KEY",
        "serviceAccount": "SERVICE_ACCOUNT"
      }
    },
    "labels": {
      "LABEL": "LABEL_VALUE"
    },
    "runtimeConfig": {
      "version": "1.1",
      "properties": {
        "PROPERTY": "PROPERTY_VALUE"
      }
    },
    "sparkBatch": {
      "mainClass": "com.google.cloud.dataproc.templates.main.DataProcTemplate",
      "args": [
        "--template","JDBCTOSPANNER",
        "--templateProperty","log.level=LOG_LEVEL",
        "--templateProperty","project.id=PROJECT_ID",
        "--templateProperty","jdbctospanner.jdbc.url=JDBC_CONNECTION_URL",
        "--templateProperty","jdbctospanner.jdbc.driver.class.name=DRIVER",
        "--templateProperty","jdbctospanner.jdbc.fetchsize=FETCHSIZE",
        "--templateProperty","jdbctospanner.jdbc.sessioninitstatement=JDBC_SESSION_INIT",
        "--templateProperty","jdbctospanner.sql=QUERY",
        "--templateProperty","jdbctospanner.sql.file=QUERY_FILE",
        "--templateProperty","jdbctospanner.sql.numPartitions=NUM_PARTITIONS",
        "--templateProperty","jdbctospanner.sql.partitionColumn=INPUT_PARTITION_COLUMN",
        "--templateProperty","jdbctospanner.sql.lowerBound=LOWERBOUND",
        "--templateProperty","jdbctospanner.sql.upperBound=UPPERBOUND",
        "--templateProperty","jdbctospanner.output.instance=INSTANCE",
        "--templateProperty","jdbctospanner.output.database=SPANNER_DATABASE",
        "--templateProperty","jdbctospanner.output.table=TABLE",
        "--templateProperty","jdbctospanner.output.saveMode=MODE",
        "--templateProperty","jdbctospanner.output.primaryKey=PRIMARY_KEY",
        "--templateProperty","jdbctospanner.output.batch.size=BATCHSIZE",
        "--templateProperty","jdbctospanner.temp.table=TEMPVIEW",
        "--templateProperty","jdbctospanner.temp.query=SQL_QUERY" 
      ],
      "jarFileUris": [
        "gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar","JDBC_CONNECTOR_CLOUD_STORAGE_PATH"
      ]
    }
  }
  

  Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

  curl (Linux, macOS oder Cloud Shell)

  Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto bei der gcloud-Befehlszeile angemeldet haben. Dazu haben Sie gcloud init oder gcloud auth login ausgeführt oder die Cloud Shell genutzt, die Sie automatisch bei der gcloud-Befehlszeile anmeldet. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

  Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

  curl -X POST \
       -H "Authorization: Bearer $(gcloud auth print-access-token)" \
       -H "Content-Type: application/json; charset=utf-8" \
       -d @request.json \
       "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches"

  PowerShell (Windows)

  Hinweis: Der folgende Befehl setzt voraus, dass Sie sich mit Ihrem Nutzerkonto bei der gcloud-Befehlszeile angemeldet haben. Dazu führen Sie gcloud init oder gcloud auth login aus. Um herauszufinden, welches Konto gerade aktiv ist, führen Sie gcloud auth list aus.

  Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

  $cred = gcloud auth print-access-token
  $headers = @{ "Authorization" = "Bearer $cred" }
  
  Invoke-WebRequest `
      -Method POST `
      -Headers $headers `
      -ContentType: "application/json; charset=utf-8" `
      -InFile request.json `
      -Uri "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches" | Select-Object -Expand Content

  Sie sollten in etwa folgende JSON-Antwort erhalten:

  
  {
    "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID",
    "metadata": {
      "@type": "type.googleapis.com/google.cloud.dataproc.v1.BatchOperationMetadata",
      "batch": "projects/PROJECT_ID/locations/REGION/batches/BATCH_ID",
      "batchUuid": "de8af8d4-3599-4a7c-915c-798201ed1583",
      "createTime": "2023-02-24T03:31:03.440329Z",
      "operationType": "BATCH",
      "description": "Batch"
    }
  }