Il modello Da testo a Firestore di Cloud Storage è un modello batch che importa da documenti JSON archiviati in Cloud Storage in Firestore
Requisiti della pipeline
Firestore deve essere abilitato nel progetto di destinazione.
Formato di input
Ogni file di input deve contenere JSON delimitato da nuova riga, dove ogni riga contiene un
Rappresentazione JSON di un datastore
Entity
tipo di dati.
Ad esempio, il seguente JSON rappresenta un documento in una raccolta denominata
Users
. L'esempio è formattato per la leggibilità, ma ogni documento
devono essere visualizzati
come una singola riga di input.
{ "key": { "partitionId": { "projectId": "my-project" }, "path": [ { "kind": "users", "name": "alovelace" } ] }, "properties": { "first": { "stringValue": "Ada" }, "last": { "stringValue": "Lovelace" }, "born": { "integerValue": "1815", "excludeFromIndexes": true } } }
Per ulteriori informazioni sul modello di documento, vedi Entità, proprietà e Chiavi.
Parametri del modello
Parametri obbligatori
- textReadPattern : un pattern di percorso di Cloud Storage che specifica la posizione dei tuoi file di dati di testo. Ad esempio,
gs://mybucket/somepath/*.json
. - firestoreWriteProjectId : l'ID del progetto Google Cloud in cui scrivere le entità Firestore.
- errorWritePath : il file di output del log degli errori da utilizzare per gli errori di scrittura che si verificano durante l'elaborazione. ad esempio gs://your-bucket/errors/.
Parametri facoltativi
- javascriptTextTransformGcsPath : l'URI Cloud Storage del file .js che definisce la funzione definita dall'utente (UDF) JavaScript da utilizzare. Ad esempio,
gs://my-bucket/my-udfs/my_file.js
. - javascriptTextTransformFunctionName : il nome della funzione definita dall'utente (UDF) JavaScript da utilizzare. Ad esempio, se il codice della funzione JavaScript è
myTransform(inJson) { /*...do stuff...*/ }
, il nome della funzione èmyTransform
. Per esempi di funzioni JavaScript definite dall'utente, consulta gli esempi di funzioni definite dall'utente (https://github.com/GoogleCloudPlatform/DataflowTemplates#udf-examples). - firestoreHintNumWorkers : Suggerimento per il numero previsto di worker nel passaggio di limitazione dell'applicazione graduale di Firestore. Il valore predefinito è 500.
Funzione definita dall'utente
Facoltativamente, puoi estendere questo modello scrivendo una funzione definita dall'utente (UDF). Il modello chiama la funzione definita dall'utente per ogni elemento di input. I payload degli elementi serializzate come stringhe JSON. Per ulteriori informazioni, vedi Crea funzioni definite dall'utente per i modelli Dataflow.
Specifica della funzione
La funzione definita dall'utente ha la seguente specifica:
- Input: una riga di testo da un input di Cloud Storage .
- Output: un
.
Entity
, serializzato come stringa JSON.
Esegui il modello
Console
- Vai alla pagina Crea job da modello di Dataflow. Vai a Crea job da modello
- Nel campo Nome job, inserisci un nome univoco per il job.
- (Facoltativo) Per Endpoint a livello di regione, seleziona un valore dal menu a discesa. Il valore predefinito
è
us-central1
.Per un elenco di regioni in cui è possibile eseguire un job Dataflow, consulta Località di Dataflow.
- Dal menu a discesa Modello Dataflow, seleziona the Text Files on Cloud Storage to Firestore template.
- Inserisci i valori parametro negli appositi campi.
- Fai clic su Esegui job.
gcloud
Nella shell o nel terminale, esegui il modello:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_Text_to_Firestore \ --region REGION_NAME \ --parameters \ textReadPattern=PATH_TO_INPUT_TEXT_FILES,\ javascriptTextTransformGcsPath=PATH_TO_JAVASCRIPT_UDF_FILE,\ javascriptTextTransformFunctionName=JAVASCRIPT_FUNCTION,\ firestoreWriteProjectId=PROJECT_ID,\ errorWritePath=ERROR_FILE_WRITE_PATH
Sostituisci quanto segue:
JOB_NAME
: un nome job univoco di tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile in cartella principale non-dated nel bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, ad esempio
2023-09-12-00_RC00
, per utilizzare una versione specifica , che puoi trovare nidificata nella rispettiva cartella principale con data del bucket: gs://dataflow-templates-REGION_NAME/
REGION_NAME
: la regione in cui vuoi di eseguire il deployment del job Dataflow, ad esempious-central1
PATH_TO_INPUT_TEXT_FILES
: il pattern dei file di input attivato Spazio di archiviazione sul cloudJAVASCRIPT_FUNCTION
: il nome della funzione definita dall'utente (UDF) JavaScript che vuoi utilizzareAd esempio, se il codice della funzione JavaScript è
myTransform(inJson) { /*...do stuff...*/ }
, il nome della funzione èmyTransform
. Per esempi di funzioni JavaScript definite dall'utente, consulta Esempi di funzioni definite dall'utente.PATH_TO_JAVASCRIPT_UDF_FILE
: L'URI Cloud Storage del file.js
che definisce il codice JavaScript definito dall'utente che vuoi utilizzare, ad esempiogs://my-bucket/my-udfs/my_file.js
ERROR_FILE_WRITE_PATH
: il percorso desiderato per il file degli errori su Spazio di archiviazione sul cloud
API
Per eseguire il modello utilizzando l'API REST, invia una richiesta POST HTTP. Per ulteriori informazioni sul
API e i relativi ambiti di autorizzazione, consulta
projects.templates.launch
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_Text_to_Firestore { "jobName": "JOB_NAME", "parameters": { "textReadPattern": "PATH_TO_INPUT_TEXT_FILES", "javascriptTextTransformGcsPath": "PATH_TO_JAVASCRIPT_UDF_FILE", "javascriptTextTransformFunctionName": "JAVASCRIPT_FUNCTION", "firestoreWriteProjectId": "PROJECT_ID", "errorWritePath": "ERROR_FILE_WRITE_PATH" }, "environment": { "zone": "us-central1-f" } }
Sostituisci quanto segue:
PROJECT_ID
: L'ID progetto Google Cloud in cui vuoi eseguire il job DataflowJOB_NAME
: un nome job univoco di tua sceltaVERSION
: la versione del modello che vuoi utilizzarePuoi utilizzare i seguenti valori:
latest
per utilizzare la versione più recente del modello, disponibile in cartella principale non-dated nel bucket: gs://dataflow-templates-REGION_NAME/latest/- il nome della versione, ad esempio
2023-09-12-00_RC00
, per utilizzare una versione specifica , che puoi trovare nidificata nella rispettiva cartella principale con data del bucket: gs://dataflow-templates-REGION_NAME/
LOCATION
: la regione in cui vuoi di eseguire il deployment del job Dataflow, ad esempious-central1
PATH_TO_INPUT_TEXT_FILES
: il pattern dei file di input attivato Spazio di archiviazione sul cloudJAVASCRIPT_FUNCTION
: il nome della funzione definita dall'utente (UDF) JavaScript che vuoi utilizzareAd esempio, se il codice della funzione JavaScript è
myTransform(inJson) { /*...do stuff...*/ }
, il nome della funzione èmyTransform
. Per esempi di funzioni JavaScript definite dall'utente, consulta Esempi di funzioni definite dall'utente.PATH_TO_JAVASCRIPT_UDF_FILE
: L'URI Cloud Storage del file.js
che definisce il codice JavaScript definito dall'utente che vuoi utilizzare, ad esempiogs://my-bucket/my-udfs/my_file.js
ERROR_FILE_WRITE_PATH
: il percorso desiderato per il file degli errori su Spazio di archiviazione sul cloud
Passaggi successivi
- Scopri di più sui modelli Dataflow.
- Consulta l'elenco dei modelli forniti da Google.