Il modello File di testo di Cloud Storage in Spanner è una pipeline batch che legge i file di testo CSV da Cloud Storage e li importa in un database Spanner.
Requisiti della pipeline
- Il database e la tabella Spanner di destinazione devono esistere.
- Devi disporre delle autorizzazioni di lettura per il bucket Cloud Storage e di quelle di scrittura per il database Spanner di destinazione.
- Deve esistere il percorso Cloud Storage di input contenente i file CSV.
- Devi creare un file manifest di importazione contenente una descrizione JSON dei file CSV e devi archiviarlo in Cloud Storage.
- Se il database Spanner di destinazione ha già uno schema, qualsiasi colonna specificata nel il file manifest deve avere gli stessi tipi di dati delle colonne corrispondenti nella dello schema del database.
-
Il file manifest, codificato in ASCII o UTF-8, deve corrispondere al seguente formato:
- I file di testo da importare devono essere in formato CSV, con codifica ASCII o UTF-8. I nostri suggerimenti Mancato utilizzo del byte Order Mark (BOM) nei file con codifica UTF-8.
- I dati devono corrispondere a uno dei seguenti tipi:
GoogleSQL
BOOL INT64 FLOAT64 NUMERIC STRING DATE TIMESTAMP BYTES JSON
PostgreSQL
boolean bigint double precision numeric character varying, text date timestamp with time zone bytea
Parametri del modello
Parametri obbligatori
- instanceId: l'ID istanza del database Spanner.
- databaseId : l'ID del database Spanner.
- importManifest: il percorso in Cloud Storage da utilizzare per l'importazione dei file manifest. ad esempio gs://your-bucket/your-folder/your-manifest.json.
Parametri facoltativi
- spannerHost: l'endpoint Cloud Spanner da chiamare nel modello. Utilizzato solo per i test. (esempio: https://batch-spanner.googleapis.com). Il valore predefinito è: https://batch-spanner.googleapis.com.
- columnDelimiter: il delimitatore di colonna utilizzato dal file di origine. Il valore predefinito è ",". (Esempio: ,).
- fieldQualifier: il carattere che deve racchiudere qualsiasi valore nel file di origine contenente il delimitatore di colonna. Il valore predefinito è ".
- trailingDelimiter: specifica se le righe nei file di origine hanno delimitatori finali, ovvero se il carattere
columnDelimiter
viene visualizzato alla fine di ogni riga, dopo l'ultimo valore di colonna. Il valore predefinito ètrue
. - escape: il carattere di escape utilizzato dal file di origine. Per impostazione predefinita, questo parametro non è impostato e il modello non utilizza il carattere di escape.
- nullString : la stringa che rappresenta un valore
NULL
. Per impostazione predefinita, questo parametro non è impostato e il modello non utilizza la stringa null. - dateFormat: il formato utilizzato per analizzare le colonne di date. Per impostazione predefinita, la pipeline tenta di analizzare le colonne di date come
yyyy-M-d[' 00:00:00']
, ad esempio 31-01-2019 o 01-01-2019 00:00:00. Se il formato della data è diverso, specificalo utilizzando i pattern java.time.format.DateTimeFormatter (https://docs.oracle.com/en/java/javase/11/docs/api/java.base/java/time/format/DateTimeFormatter.html). - timestampFormat : il formato utilizzato per analizzare le colonne del timestamp. Se il timestamp è un numero intero lungo, viene analizzato come tempo Unix epoch. In caso contrario, viene analizzato come stringa utilizzando il formato java.time.format.DateTimeFormatter.ISO_INSTANT (https://docs.oracle.com/en/java/javase/11/docs/api/java.base/java/time/format/DateTimeFormatter.html#ISO_INSTANT). In altri casi, specifica una tua stringa di pattern, ad esempio utilizzando
MMM dd yyyy HH:mm:ss.SSSVV
per i timestamp sotto forma di"Jan 21 1998 01:02:03.456+08:00"
. - spannerProjectId : l'ID del progetto Google Cloud che contiene il database Spanner. Se non viene impostato, viene utilizzato l'ID progetto del progetto Google Cloud predefinito.
- spannerPriority : la priorità delle richieste per le chiamate Spanner. I valori possibili sono HIGH, MEDIUM e LOW. Il valore predefinito è MEDIUM.
- handleNewLine : se
true
, i dati di input possono contenere caratteri di nuova riga. In caso contrario, i caratteri di nuova riga causano un errore. Il valore predefinito èfalse
. L'attivazione della gestione del nuovo riga può ridurre le prestazioni. - invalidOutputPath: il percorso Cloud Storage da utilizzare per scrivere le righe che non possono essere importate. ad esempio gs://your-bucket/your-path. Il campo predefinito è vuoto.
Se devi utilizzare formati di data o timestamp personalizzati, assicurati che siano validi
java.time.format.DateTimeFormatter
pattern. La seguente tabella mostra altri esempi di formati personalizzati per data e
colonne timestamp:
Tipo | Valore di input | Formato | Osservazione |
---|---|---|---|
DATE |
2011-3-31 | Per impostazione predefinita, il modello può analizzare questo formato.
Non è necessario specificare il parametro dateFormat . |
|
DATE |
2011-03-31 00:00:00 | Per impostazione predefinita, il modello può analizzare questo formato.
Non è necessario specificare il formato. Se vuoi, puoi usare
yyyy-M-d' 00:00:00' . |
|
DATE |
18 apr | dd MMM, yy | |
DATE |
Mercoledì 3 aprile 2019 | EEEE, LLLL d, yyyy G | |
TIMESTAMP |
2019-01-02T11:22:33Z 2019-01-02T11:22:33.123Z 2019-01-02T11:22:33.12356789Z |
Il formato predefinito ISO_INSTANT può analizzare questo tipo di timestamp.
Non è necessario fornire il parametro timestampFormat . |
|
TIMESTAMP |
1568402363 | Per impostazione predefinita, il modello può analizzare questo tipo di timestamp e trattarlo come tempo epoch Unix. | |
TIMESTAMP |
Tue, 3 giu 2008 11:05:30 GMT | EEE, d MMM yyyy HH:mm:ss VV | |
TIMESTAMP |
31/12/2018 110530.123PST | aaaa/MM/gg HHmmss.SSSz | |
TIMESTAMP |
2019-01-02T11:22:33Z o 2019-01-02T11:22:33.123Z | yyyy-MM-dd'T'HH:mm:ss[.SSS]VV | Se la colonna di input è un mix di 2019-01-02T11:22:33Z e 2019-01-02T11:22:33.123Z, la colonna di input
predefinito è in grado di analizzare questo tipo di timestamp. Non è necessario fornire un formato personalizzato
.
Puoi utilizzare yyyy-MM-dd'T'HH:mm:ss[.SSS]VV per gestire entrambi
i casi. Non puoi utilizzare yyyy-MM-dd'T'HH:mm:ss[.SSS]'Z' , perché il suffisso "Z" deve essere interpretato come ID fuso orario e non come carattere letterale. Internamente, la colonna timestamp viene
convertita in un
java.time.Instant .
Pertanto, deve essere specificato in UTC o avere informazioni sul fuso orario associate.
La data e ora locale, ad esempio 2019-01-02 11:22:33, non può essere analizzata come un valore java.time.Instant valido.
|
Esegui il modello
Console
- Vai alla pagina Crea job da modello di Dataflow. Vai a Crea job da modello
- Nel campo Nome job, inserisci un nome univoco per il job.
- (Facoltativo) Per Endpoint a livello di regione, seleziona un valore dal menu a discesa. La regione predefinita è
us-central1
.Per un elenco di regioni in cui è possibile eseguire un job Dataflow, consulta Località di Dataflow.
- Nel menu a discesa Modello di flusso di dati, seleziona the Text Files on Cloud Storage to Cloud Spanner template.
- Nei campi dei parametri forniti, inserisci i valori dei parametri.
- Fai clic su Esegui job.
gcloud
Nella shell o nel terminale, esegui il modello:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_Text_to_Cloud_Spanner \ --region REGION_NAME \ --parameters \ instanceId=INSTANCE_ID,\ databaseId=DATABASE_ID,\ importManifest=GCS_PATH_TO_IMPORT_MANIFEST
Sostituisci quanto segue:
JOB_NAME
: un nome di job univoco a tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile nella cartella principale senza data del bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, ad esempio
2023-09-12-00_RC00
, per utilizzare una versione specifica del modello, che si trova nidificata nella rispettiva cartella principale datata nel bucket: gs://dataflow-templates-REGION_NAME/
REGION_NAME
: la regione in cui vuoi di eseguire il deployment del job Dataflow, ad esempious-central1
INSTANCE_ID
: l'ID istanza SpannerDATABASE_ID
: l'ID database di SpannerGCS_PATH_TO_IMPORT_MANIFEST
: il percorso Cloud Storage di il file manifest di importazione
API
Per eseguire il modello utilizzando l'API REST, invia una richiesta POST HTTP. Per ulteriori informazioni sul
API e i relativi ambiti di autorizzazione, consulta
projects.templates.launch
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_Text_to_Cloud_Spanner { "jobName": "JOB_NAME", "parameters": { "instanceId": "INSTANCE_ID", "databaseId": "DATABASE_ID", "importManifest": "GCS_PATH_TO_IMPORT_MANIFEST" }, "environment": { "machineType": "n1-standard-2" } }
Sostituisci quanto segue:
PROJECT_ID
: L'ID progetto Google Cloud in cui vuoi eseguire il job DataflowJOB_NAME
: un nome di job univoco a tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile nella cartella principale senza data del bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, ad esempio
2023-09-12-00_RC00
, per utilizzare una versione specifica , che puoi trovare nidificata nella rispettiva cartella principale con data del bucket: gs://dataflow-templates-REGION_NAME/
LOCATION
: la regione in cui vuoi di eseguire il deployment del job Dataflow, ad esempious-central1
INSTANCE_ID
: il tuo ID istanza SpannerDATABASE_ID
: l'ID database di SpannerGCS_PATH_TO_IMPORT_MANIFEST
: il percorso Cloud Storage di il file manifest di importazione
Passaggi successivi
- Scopri di più sui modelli Dataflow.
- Consulta l'elenco dei modelli forniti da Google.