Méthode : projects.locations.transferConfigs.runs.startBigQueryJobs

Indique au service de transfert de données que les données sont prêtes à être chargées. Le service de transfert de données démarrera et surveillera plusieurs tâches de chargement BigQuery pour une exécution de transfert. Les tâches surveillées seront automatiquement relancées et des messages de journal seront générés lors de leur démarrage et de leur achèvement. Cette méthode peut être appelée plusieurs fois pour une même exécution de transfert.

Requête HTTP

POST https://bigquerydatatransfer.googleapis.com/v1/{name=projects/*/locations/*/transferConfigs/*/runs/*}:startBigQueryJobs

L'URL utilise la syntaxe de transcodage gRPC.

Paramètres de chemin d'accès

Paramètres
name

string

Nom de la ressource au format suivant : "projects/{projectId}/locations/{locationId}/transferConfigs/{configId}/runs/{run_id}"

Corps de la requête

Le corps de la requête contient des données présentant la structure suivante :

Représentation JSON 

{
  "importedData": [
    {
      object(ImportedDataInfo)
    }
  ],
  "userCredentials": string
}
Champs
importedData[]

object(ImportedDataInfo)

Tâches d'importation devant être lancées et surveillées.
userCredentials

string (bytes format)

Identifiants utilisateur à utiliser pour démarrer/surveiller des tâches BigQuery. Si les identifiants ne sont pas spécifiés, les tâches sont lancées à l'aide des identifiants du compte de service de source de données. Il peut s'agir d'un jeton OAuth ou JWT.

Chaîne encodée en base64.

Corps de la réponse

Si la requête aboutit, le corps de la réponse sera vide.

Champs d'application des autorisations

Requiert le champ d'application OAuth suivant :

  • https://www.googleapis.com/auth/cloud-platform

Pour en savoir plus, consultez Présentation de l'authentification.

ImportedDataInfo

Décrit les données devant être importées.

Représentation JSON 

{
  "sql": string,
  "destinationTableId": string,
  "destinationTableDescription": string,
  "tableDefs": [
    {
      object(TableDefinition)
    }
  ],
  "userDefinedFunctions": [
    string
  ],
  "writeDisposition": enum(WriteDisposition)
}
Champs
sql

string

Requête SQL à exécuter. Si ce champ est vide, l'API vérifie qu'un seul élément "table_def" est spécifié et charge cette table. Seules les requêtes en SQL standard sont acceptées. L'ancien SQL n'est pas autorisé.

destinationTableId

string

Table dans laquelle les résultats doivent être écrits.
destinationTableDescription

string

Description d'une table de destination. Il peut s'agir de plusieurs phrases ou paragraphes décrivant en détail le contenu d'une table.

tableDefs[]

object(TableDefinition)

Si le paramètre "sql" n'est PAS utilisé, le schéma de la table de destination est décrit. Si le paramètre "sql" EST utilisé, les tables contenant des données stockées en dehors de BigQuery sont décrites.

userDefinedFunctions[]

string

Code intégré pour les ressources de fonction définie par l'utilisateur. Ce champ est ignoré lorsque le paramètre "sql" est vide.

writeDisposition

enum(WriteDisposition)

Spécifie l'action à effectuer si la table de destination existe déjà.

TableDefinition

Définition d'une table externe. Ces tables peuvent être référencées par nom ("name") dans la requête et peuvent être lues comme n'importe quelle autre table.

Représentation JSON 

{
  "tableId": string,
  "sourceUris": [
    string
  ],
  "format": enum(Format),
  "maxBadRecords": number,
  "encoding": enum(Encoding),
  "csvOptions": {
    object(CsvOptions)
  },
  "schema": {
    object(RecordSchema)
  },
  "ignoreUnknownValues": boolean
}
Champs
tableId

string

ID de la table BigQuery (obligatoire). Il sera utilisé pour référencer cette table dans la requête.

sourceUris[]

string

URI des données à importer. Tous les URI doivent provenir du même système de stockage.

format

enum(Format)

Décrit le format des données dans source_uri.
maxBadRecords

number

Spécifie le nombre maximal d'enregistrements incorrects pouvant être ignorés. Si le nombre d'enregistrements incorrects dépasse ce seuil, la requête est annulée.

encoding

enum(Encoding)

Encodage des caractères de l'entrée, le cas échéant (CSV, JSON). La valeur par défaut est UTF8.

csvOptions

object(CsvOptions)

Options CSV spécifiques.
schema

object(RecordSchema)

Schéma facultatif pour les données. Si le schéma n'est pas spécifié pour les formats JSON et CSV, nous essayons de le détecter automatiquement.

ignoreUnknownValues

boolean

Indique si les valeurs supplémentaires qui ne sont pas représentées dans le schéma de la table sont autorisées.

Format

Format des données.

Enums
FORMAT_UNSPECIFIED Format non spécifié. Dans ce cas, nous devons déduire le format de la source de données.
CSV Format CSV.
JSON JSON délimité par des retours à la ligne.
AVRO Format Avro. Consultez la page http://avro.apache.org.
RECORDIO RecordIO.
COLUMNIO ColumnIO.
CAPACITOR Capacitor.
PARQUET Format Parquet. Consultez la page https://parquet.apache.org.
ORC Format ORC. Consultez la page https://orc.apache.org.

Encodage

Encodage des données d'entrée au format CSV/JSON.

Enums
ENCODING_UNSPECIFIED Encodage par défaut (UTF8).
ISO_8859_1 Encodage ISO-8859_1.
UTF8 Encodage UTF8.

CsvOptions

Options CSV spécifiques.

Représentation JSON 

{
  "fieldDelimiter": string,
  "allowQuotedNewlines": boolean,
  "quoteChar": string,
  "skipLeadingRows": string,
  "allowJaggedRows": boolean
}
Champs
fieldDelimiter

string

Délimiteur. Nous n'autorisons actuellement que les caractères entre U+0001 et U+00FF et appliquons des contraintes supplémentaires lors de la validation.

allowQuotedNewlines

boolean

Indique si les fichiers CSV peuvent comporter ou non des nouvelles lignes entre guillemets. Si les nouvelles lignes entre guillemets sont autorisées, nous ne pouvons pas fractionner les fichiers CSV.

quoteChar

string

Caractère de guillemet. Nous n'autorisons actuellement que les caractères entre U+0000 et U+00FF et appliquons des contraintes supplémentaires lors de la validation. Définissez la valeur sur "\0" pour indiquer qu'aucun guillemet n'est utilisé.

skipLeadingRows

string (Int64Value format)

Nombre de lignes initiales à ignorer.
allowJaggedRows

boolean

Accepte les lignes pour lesquelles il manque des colonnes facultatives finales.

RecordSchema

Décrit le schéma des données à ingérer.

Représentation JSON 

{
  "fields": [
    {
      object(FieldSchema)
    }
  ]
}
Champs
fields[]

object(FieldSchema)

Un champ par colonne dans l'enregistrement.

FieldSchema

Définit le schéma d'un champ des données importées.

Représentation JSON 

{
  "fieldName": string,
  "type": enum(Type),
  "isRepeated": boolean,
  "description": string,
  "schema": {
    object(RecordSchema)
  }
}
Champs
fieldName

string

Nom du champ. Correspond à : [A-Za-z_][A-Za-z_0-9]{0,127}

type

enum(Type)

Type de champ
isRepeated

boolean

Indique si le champ est répété ou non.
description

string

Description du champ.
schema

object(RecordSchema)

Présent si le type correspond à RECORD.

Type

Type de champ LINT.IfChange.

Enums
TYPE_UNSPECIFIED Valeur incorrecte.
STRING 64K, UTF8.
INTEGER 64 bits, signé.
FLOAT Valeur à virgule flottante IEEE de 64 bits.
RECORD Type d'agrégat.
BYTES 64 Ko, binaire.
BOOLEAN Deux valeurs.
TIMESTAMP Valeur de 64 bits indiquant les microsecondes depuis l'époque UTC.
DATE Date civile : année, mois, jour.
TIME Heure civile : heures, minutes, secondes, microsecondes.
DATETIME Combinaison de la date civile et de l'heure civile.
NUMERIC Type numérique avec 38 chiffres décimaux de précision et 9 chiffres décimaux d'échelle.
GEOGRAPHY Objet géographique (go/googlesql_geography).

WriteDisposition

Options d'écriture dans la table. L'option WRITE_EMPTY est intentionnellement exclue de l'énumération et n'est pas acceptée par le service de transfert de données.

Enums
WRITE_DISPOSITION_UNSPECIFIED Propriété writeDisposition par défaut.
WRITE_TRUNCATE Remplace les données de la table.
WRITE_APPEND Les données sont ajoutées à la table. Une duplication peut se produire si ce mode est utilisé.

Essayer