Die Vorlage "BigQuery für Bigtable" ist eine Batchpipeline, die Daten aus einer BigQuery-Tabelle in eine vorhandene Bigtable-Tabelle kopiert. Die Vorlage kann entweder die gesamte Tabelle oder bestimmte Datensätze mithilfe einer angegebenen Abfrage lesen.
Pipelineanforderungen
- Die BigQuery-Quelltabelle
- Die Bigtable-Tabelle muss vorhanden sein.
- Das Worker-Dienstkonto benötigt die Berechtigung
roles/bigquery.datasets.create
. Weitere Informationen finden Sie unter Einführung in IAM.
Vorlagenparameter
Erforderliche Parameter
- readIdColumn: Der Name der BigQuery-Spalte, in der die eindeutige Kennung der Zeile gespeichert ist.
- bigtableWriteInstanceId: Die ID der Cloud Bigtable-Instanz, die die Tabelle enthält.
- bigtableWriteTableId : Die ID der zu schreibenden Cloud Bigtable-Tabelle.
- bigtableWriteColumnFamily : Gibt die Spaltenfamilie an, in die Daten geschrieben werden sollen.
Optionale Parameter
- inputTableSpec : Spezifikation der BigQuery-Quelltabelle. (Beispiel: bigquery-project:dataset.input_table).
- outputDeadletterTable : Nachrichten, die die Ausgabetabelle aus irgendeinem Grund nicht erreicht haben (z.B. nicht übereinstimmendes Schema, fehlerhaft formatierte JSON-Datei), werden in diese Tabelle geschrieben. Wenn sie nicht vorhanden ist, wird sie während der Pipelineausführung erstellt. (Beispiel: your-project-id:your-dataset.your-table-name).
- Abfrage : Abfrage, die in der Quelle zur Extraktion der Daten ausgeführt. (Beispiel: Wählen Sie "*" aus sampledb.sample_table aus).
- useLegacySql : Legen Sie den Wert "true" fest, um Legacy-SQL zu verwenden (nur anwendbar, wenn eine Abfrage bereitstellt wird). Die Standardeinstellung ist "false".
- queryLocation : Erforderlich, wenn aus einer autorisierten Ansicht ohne die Berechtigung der zugrunde liegenden Tabelle gelesen wird. (Beispiel: US).
- bigtableRpcAttemptTimeoutMs : Legt das Zeitlimit für einen RPC-Versuch in Millisekunden fest.
- bigtableRpcTimeoutMs : Legt die Gesamtzeitüberschreitung für einen RPC-Vorgang in Millisekunden fest.
- bigtableAdditionalRetryCodes : Legt die zusätzlichen Wiederholungscodes durch "," getrennt fest (Beispiel: RESOURCE_EXHAUSTED,DEADLINE_EXCEEDED).
- bigtableWriteAppProfile : Bigtable-App-Profil, das für den Export verwendet werden soll. Der Standardwert für diesen Parameter ist das standardmäßige Anwendungsprofil der Bigtable-Instanz.
- bigtableWriteProjectId : Die ID des Google Cloud-Projekts der Cloud Bigtable-Instanz, in die Sie Daten schreiben möchten.
- bigtableBulkWriteLatencyTargetMs : Aktiviert die latenzbasierte Drosselung und gibt die Ziellatenz an.
- bigtableBulkWriteMaxRowKeyCount : Legt die maximale Anzahl von Zeilenschlüsseln in einem Batch-Schreibvorgang in Bigtable fest.
- bigtableBulkWriteMaxRequestSizeBytes : Legt die maximale Bytemenge in einem Batchschreibvorgang in Bigtable fest.
Führen Sie die Vorlage aus.
Console
- Rufen Sie die Dataflow-Seite Job aus Vorlage erstellen auf. Zur Seite "Job aus Vorlage erstellen“
- Geben Sie im Feld Jobname einen eindeutigen Jobnamen ein.
- Optional: Wählen Sie für Regionaler Endpunkt einen Wert aus dem Drop-down-Menü aus. Die Standardregion ist
us-central1
.Eine Liste der Regionen, in denen Sie einen Dataflow-Job ausführen können, finden Sie unter Dataflow-Standorte.
- Wählen Sie im Drop-down-Menü Dataflow-Vorlage die Option the BigQuery to Bigtable templateaus.
- Geben Sie Ihre Parameterwerte in die Parameterfelder ein.
- Klicken Sie auf Job ausführen.
gcloud
Führen Sie die Vorlage in der Shell oder im Terminal aus:
gcloud dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \ --parameters \ readIdColumn=READ_COLUMN_ID,\ inputTableSpec=INPUT_TABLE_SPEC,\ bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\ bigtableWriteTableId=BIGTABLE_TABLE_ID,\ bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY
Ersetzen Sie Folgendes:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlREGION_NAME
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
READ_COLUMN_ID
: Ihre eindeutige BigQuery-ID-Spalte.INPUT_TABLE_SPEC
: ist der BigQuery-TabellennameBIGTABLE_INSTANCE_ID
: Ihre Bigtable-Instanz-ID.BIGTABLE_TABLE_ID
: Ihre Bigtable-Tabellen-ID.BIGTABLE_COLUMN_FAMILY
: die Bigtable-Tabellenspaltenfamilie.
API
Senden Sie eine HTTP-POST-Anfrage, um die Vorlage mithilfe der REST API auszuführen. Weitere Informationen zur API und ihren Autorisierungsbereichen finden Sie unter projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "readIdColumn": "READ_COLUMN_ID", "inputTableSpec": "INPUT_TABLE_SPEC", "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID", "bigtableWriteTableId": "BIGTABLE_TABLE_ID", "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY" }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable", } }
Ersetzen Sie Folgendes:
PROJECT_ID
: die ID des Google Cloud-Projekts, in dem Sie den Dataflow-Job ausführen möchtenJOB_NAME
: ein eindeutiger Jobname Ihrer WahlLOCATION
: die Region, in der Sie Ihren Dataflow-Job bereitstellen möchten, z. B.us-central1
VERSION
: Die Version der Vorlage, die Sie verwenden möchtenSie können die folgenden Werte verwenden:
latest
zur Verwendung der neuesten Version der Vorlage, die im nicht datierten übergeordneten Ordner im Bucket verfügbar ist: gs://dataflow-templates-REGION_NAME/latest/- Den Versionsnamen wie
2023-09-12-00_RC00
, um eine bestimmte Version der Vorlage zu verwenden. Diese ist verschachtelt im jeweiligen datierten übergeordneten Ordner im Bucket enthalten: gs://dataflow-templates-REGION_NAME/.
READ_COLUMN_ID
: Ihre eindeutige BigQuery-ID-Spalte.INPUT_TABLE_SPEC
: ist der BigQuery-TabellennameBIGTABLE_INSTANCE_ID
: Ihre Bigtable-Instanz-ID.BIGTABLE_TABLE_ID
: Ihre Bigtable-Tabellen-ID.BIGTABLE_COLUMN_FAMILY
: die Bigtable-Tabellenspaltenfamilie.
Nächste Schritte
- Dataflow-Vorlagen
- Sehen Sie sich die Liste der von Google bereitgestellten Vorlagen an.