Les SDK suivants sont compatibles avec les E/S gérées pour BigQuery :
SDK Apache Beam pour Java version 2.61.0 ou ultérieure
SDK Apache Beam pour Python version 2.61.0 ou ultérieure
Configuration
Les E/S gérées pour BigQuery sont compatibles avec les paramètres de configuration suivants :
BIGQUERY Lire
Configuration
Type
Description
kms_key
str
Utiliser cette clé Cloud KMS pour chiffrer vos données
requête
str
Requête SQL à exécuter pour lire les données de la table BigQuery.
row_restriction
str
Lignes en lecture seule correspondant à ce filtre, qui doit être compatible avec le langage SQL standard de Google. Cette option n'est pas disponible lors de la lecture via une requête.
champs
list[str]
Lire uniquement les champs (colonnes) spécifiés d'une table BigQuery. Il est possible que les champs ne soient pas renvoyés dans l'ordre spécifié. Si aucune valeur n'est spécifiée, tous les champs sont renvoyés. Exemple : "col1, col2, col3"
table
str
Nom complet de la table BigQuery à lire. Format : [${PROJECT}:]${DATASET}.${TABLE}
BIGQUERY Écriture
Configuration
Type
Description
table
str
Table BigQuery dans laquelle écrire. Format : [${PROJECT}:]${DATASET}.${TABLE}
drop
list[str]
Liste des noms de champs à supprimer de l'enregistrement d'entrée avant l'écriture. S'exclut mutuellement avec "keep" et "only".
keep
list[str]
Liste des noms de champs à conserver dans l'enregistrement d'entrée. Tous les autres champs sont supprimés avant l'écriture. S'exclut mutuellement avec "drop" et "only".
kms_key
str
Utiliser cette clé Cloud KMS pour chiffrer vos données
uniquement
str
Nom d'un champ d'enregistrement unique à écrire. S'exclut mutuellement avec "keep" et "drop".
triggering_frequency_seconds
int64
Détermine la fréquence à laquelle la progression est "validée" dans BigQuery. La valeur par défaut est de 5 secondes.
Étapes suivantes
Pour en savoir plus et obtenir des exemples de code, consultez les sujets suivants :
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/10 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/10 (UTC)."],[[["\u003cp\u003eManaged I/O for BigQuery supports dynamic table creation and dynamic destinations.\u003c/p\u003e\n"],["\u003cp\u003eFor reading, the connector utilizes the BigQuery Storage Read API, and for writing, it uses the BigQuery Storage Write API in exactly-once mode for unbounded sources or BigQuery file loads for bounded sources.\u003c/p\u003e\n"],["\u003cp\u003eThe connector requires Apache Beam SDK for Java version 2.61.0 or later.\u003c/p\u003e\n"],["\u003cp\u003eConfiguration options include specifying the BigQuery \u003ccode\u003etable\u003c/code\u003e, \u003ccode\u003ekms_key\u003c/code\u003e, \u003ccode\u003efields\u003c/code\u003e, \u003ccode\u003equery\u003c/code\u003e, \u003ccode\u003erow_restriction\u003c/code\u003e, and \u003ccode\u003etriggering_frequency\u003c/code\u003e depending on the operation.\u003c/p\u003e\n"],["\u003cp\u003eManaged I/O for BigQuery does not support automatic upgrades.\u003c/p\u003e\n"]]],[],null,["Managed I/O supports the following capabilities for BigQuery:\n\n- Dynamic table creation\n- [Dynamic destinations](/dataflow/docs/guides/write-to-iceberg#dynamic-destinations%22)\n- For reads, the connector uses the [BigQuery Storage Read API](/bigquery/docs/reference/storage).\n- For writes, the connector uses the following BigQuery methods:\n\n - If the source is unbounded and Dataflow is using [streaming exactly-once processing](/dataflow/docs/guides/streaming-modes), the connector performs writes to BigQuery, by using the [BigQuery Storage Write API](/bigquery/docs/write-api) with exactly-once delivery semantics.\n - If the source is unbounded and Dataflow is using [streaming at-least-once processing](/dataflow/docs/guides/streaming-modes), the connector performs writes to BigQuery, by using the [BigQuery Storage Write API](/bigquery/docs/write-api) with at-least-once delivery semantics.\n - If the source is bounded, the connector uses [BigQuery file loads](/bigquery/docs/batch-loading-data).\n\nRequirements\n\nThe following SDKs support managed I/O for BigQuery:\n\n- Apache Beam SDK for Java version 2.61.0 or later\n- Apache Beam SDK for Python version 2.61.0 or later\n\nConfiguration\n\nManaged I/O for BigQuery supports the following configuration\nparameters:\n\n`BIGQUERY` Read \n\n| Configuration | Type | Description |\n|-----------------|---------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|\n| kms_key | `str` | Use this Cloud KMS key to encrypt your data |\n| query | `str` | The SQL query to be executed to read from the BigQuery table. |\n| row_restriction | `str` | Read only rows that match this filter, which must be compatible with Google standard SQL. This is not supported when reading via query. |\n| fields | `list[`str`]` | Read only the specified fields (columns) from a BigQuery table. Fields may not be returned in the order specified. If no value is specified, then all fields are returned. Example: \"col1, col2, col3\" |\n| table | `str` | The fully-qualified name of the BigQuery table to read from. Format: \\[${PROJECT}:\\]${DATASET}.${TABLE} |\n\n\u003cbr /\u003e\n\n`BIGQUERY` Write \n\n| Configuration | Type | Description |\n|------------------------------|---------------|-----------------------------------------------------------------------------------------------------------------------------------------------|\n| **table** | `str` | The bigquery table to write to. Format: \\[${PROJECT}:\\]${DATASET}.${TABLE} |\n| drop | `list[`str`]` | A list of field names to drop from the input record before writing. Is mutually exclusive with 'keep' and 'only'. |\n| keep | `list[`str`]` | A list of field names to keep in the input record. All other fields are dropped before writing. Is mutually exclusive with 'drop' and 'only'. |\n| kms_key | `str` | Use this Cloud KMS key to encrypt your data |\n| only | `str` | The name of a single record field that should be written. Is mutually exclusive with 'keep' and 'drop'. |\n| triggering_frequency_seconds | `int64` | Determines how often to 'commit' progress into BigQuery. Default is every 5 seconds. |\n\n\u003cbr /\u003e\n\nWhat's next\n\nFor more information and code examples, see the following topics:\n\n- [Read from BigQuery](/dataflow/docs/guides/read-from-bigquery)\n- [Write to BigQuery](/dataflow/docs/guides/write-to-bigquery)"]]
