Prima di iniziare
Se non lo hai già fatto, configura un progetto Google Cloud e due (2) bucket Cloud Storage.
Configura il progetto
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
Nella console di Google Cloud Console, nella pagina del selettore dei progetti, seleziona o crea un progetto Google Cloud.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Abilita le API Dataproc, Compute Engine, Cloud Storage, and Cloud Functions .
- Installa Google Cloud CLI.
-
Per inizializzare l'interfaccia a riga di comando gcloud, esegui il comando seguente:
gcloud init
-
Nella console di Google Cloud Console, nella pagina del selettore dei progetti, seleziona o crea un progetto Google Cloud.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Abilita le API Dataproc, Compute Engine, Cloud Storage, and Cloud Functions .
- Installa Google Cloud CLI.
-
Per inizializzare l'interfaccia a riga di comando gcloud, esegui il comando seguente:
gcloud init
Crea o utilizza due (2) bucket Cloud Storage nel tuo progetto
Nel progetto avrai bisogno di due bucket Cloud Storage: uno per i file di input e uno per l'output.
- Nella console, vai alla pagina Browser Cloud Storage.
- Fai clic su Crea bucket.
- Nella pagina Crea un bucket, inserisci le informazioni sul bucket. Per andare al passaggio successivo, fai clic su Continua.
- Per Assegna un nome al bucket, inserisci un nome che soddisfi i requisiti per la denominazione dei bucket.
-
Per scegliere dove archiviare i dati, segui questi passaggi:
- Seleziona un'opzione Tipo di località.
- Seleziona un'opzione Località.
- Per Scegliere una classe di archiviazione predefinita per i tuoi dati, seleziona una classe di archiviazione.
- In Scegli come controllare l'accesso agli oggetti, seleziona un'opzione di Controllo dell'accesso.
- (Facoltativo) Per le Impostazioni avanzate, specifica un metodo di crittografia, un criterio di conservazione o etichette di bucket.
- Fai clic su Crea.
Creare un modello di flusso di lavoro.
Copia ed esegui i comandi elencati di seguito in una finestra del terminale locale o in Cloud Shell per creare e definire un modello di flusso di lavoro.
Note:
- I comandi specificano la regione "us-central1". Puoi specificare
un'altra regione o eliminare il flag
--region
se hai già eseguitogcloud config set compute/region
per impostare la proprietà della regione. - La sequenza "-- " (spazio trattino tratteggiato) passa argomenti al file jar.
Il comando
wordcount input_bucket output_dir
eseguirà l'applicazione Wordcount del jar sui file di testo contenuti ininput_bucket
di Cloud Storage, quindi restituirà i file Wordcount aoutput_bucket
. parametrizzerai l'argomento del bucket di input wordcount per consentire alla funzione di fornire questo argomento.
- Crea il modello del flusso di lavoro.
gcloud dataproc workflow-templates create wordcount-template \ --region=us-central1
- Aggiungi il job di conteggio parole al modello di flusso di lavoro.
-
Specifica output-bucket-name prima di eseguire il comando (la funzione fornirà il bucket di input).
Dopo aver inserito il nome del bucket di output, l'argomento del bucket di output dovrebbe essere il seguente:
gs://your-output-bucket/wordcount-output"
. - L'ID del passaggio "count" è obbligatorio e identifica il job hadoop aggiunto.
gcloud dataproc workflow-templates add-job hadoop \ --workflow-template=wordcount-template \ --step-id=count \ --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \ --region=us-central1 \ -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
-
Specifica output-bucket-name prima di eseguire il comando (la funzione fornirà il bucket di input).
Dopo aver inserito il nome del bucket di output, l'argomento del bucket di output dovrebbe essere il seguente:
- Utilizza un cluster
gestito,
a nodo singolo
per eseguire il flusso di lavoro. Dataproc creerà il cluster, vi eseguirà il flusso di lavoro, quindi eliminerà il cluster al termine dell'esecuzione.
gcloud dataproc workflow-templates set-managed-cluster wordcount-template \ --cluster-name=wordcount \ --single-node \ --region=us-central1
- Fai clic sul nome
wordcount-template
nella pagina Workflows di Dataproc nella console Google Cloud per aprire la pagina dei dettagli del modello di flusso di lavoro. Conferma gli attributi wordcount-template.
Parametrizzazione del modello di flusso di lavoro.
Parametrizza la variabile del bucket di input da passare al modello di flusso di lavoro.
- Esporta il modello del flusso di lavoro in un file di testo
wordcount.yaml
per la parametrizzazione.gcloud dataproc workflow-templates export wordcount-template \ --destination=wordcount.yaml \ --region=us-central1
- Utilizzando un editor di testo, apri
wordcount.yaml
, quindi aggiungi un bloccoparameters
alla fine del file YAML in modo che Cloud Storage INPUT_BUCKET_URI possa essere passato comeargs[1]
al programma binario del conteggio delle parole quando viene attivato il flusso di lavoro.Di seguito è riportato un file YAML esportato di esempio. Per aggiornare il modello, puoi scegliere uno di questi due metodi:
- Copia e incolla l'intero file per sostituire il file
wordcount.yaml
esportato your-output_bucket con il nome del bucket di output OPPURE - Copia e incolla solo la sezione
parameters
alla fine del filewordcount.yaml
esportato.
jobs: - hadoopJob: args: - wordcount - gs://input-bucket - gs://your-output-bucket/wordcount-output mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar stepId: count placement: managedCluster: clusterName: wordcount config: softwareConfig: properties: dataproc:dataproc.allow.zero.workers: 'true' parameters: - name: INPUT_BUCKET_URI description: wordcount input bucket URI fields: - jobs['count'].hadoopJob.args[1]
- Copia e incolla l'intero file per sostituire il file
- Importa il file di testo
wordcount.yaml
con parametri. Digita "Y" quando ti viene chiesto di sovrascrivere il modello.gcloud dataproc workflow-templates import wordcount-template \ --source=wordcount.yaml \ --region=us-central1
Crea una funzione Cloud Functions
Apri la pagina Cloud Functions nella console Google Cloud, quindi fai clic su CREA FUNZIONE.
Nella pagina Crea funzione, inserisci o seleziona le seguenti informazioni:
- Nome: wordword
- Memoria allocata: lascia la selezione predefinita.
- Trigger:
- Cloud Storage
- Tipo di evento: Finalizzazione/creazione
- Bucket: seleziona il bucket di input (vedi Crea un bucket Cloud Storage nel progetto). Quando un file viene aggiunto a questo bucket, la funzione attiva il flusso di lavoro. Il flusso di lavoro eseguirà l'applicazione wordcount, che elaborerà tutti i file di testo nel bucket.
Codice sorgente:
- Editor in linea
- Runtime: Node.js 8
- Scheda
INDEX.JS
: sostituisci lo snippet di codice predefinito con il seguente codice, quindi modifica la rigaconst projectId
in modo da fornire -your-project-id- (senza il carattere "-") iniziale o finale.
const dataproc = require('@google-cloud/dataproc').v1; exports.startWorkflow = (data) => { const projectId = '-your-project-id-' const region = 'us-central1' const workflowTemplate = 'wordcount-template' const client = new dataproc.WorkflowTemplateServiceClient({ apiEndpoint: `${region}-dataproc.googleapis.com`, }); const file = data; console.log("Event: ", file); const inputBucketUri = `gs://${file.bucket}/${file.name}`; const request = { name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate), parameters: {"INPUT_BUCKET_URI": inputBucketUri} }; client.instantiateWorkflowTemplate(request) .then(responses => { console.log("Launched Dataproc Workflow:", responses[1]); }) .catch(err => { console.error(err); }); };
- Scheda
PACKAGE.JSON
: sostituisci lo snippet di codice predefinito con il seguente codice.
{ "name": "dataproc-workflow", "version": "1.0.0", "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"} }
- Funzione da eseguire: Inserisci: "startWorkflow".
Fai clic su CREA.
Testa la funzione
Copia il file pubblico
rose.txt
nel tuo bucket per attivare la funzione. Inserisci your-input-bucket-name (il bucket utilizzato per attivare la funzione) nel comando.gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
Attendi 30 secondi, quindi esegui il comando seguente per verificare che la funzione sia stata completata correttamente.
gcloud functions logs read wordcount
... Function execution took 1348 ms, finished with status: 'ok'
Per visualizzare i log delle funzioni dalla pagina dell'elenco Funzioni nella console Google Cloud, fai clic sul nome della funzione
wordcount
, quindi fai clic su VISUALIZZA LOG nella pagina Dettagli funzione.Puoi visualizzare la cartella
wordcount-output
nel tuo bucket di output dalla pagina Browser Storage nella console Google Cloud.Una volta completato il flusso di lavoro, i dettagli del job rimangono nella console Google Cloud. Fai clic sul job
count...
indicato nella pagina Job di Dataproc per visualizzare i dettagli del job del flusso di lavoro.
Eseguire la pulizia
Al termine, il flusso di lavoro in questo tutorial elimina il cluster gestito. Per evitare costi ricorrenti, puoi eliminare altre risorse associate a questo tutorial.
Eliminazione di un progetto
- Nella console Google Cloud, vai alla pagina Gestisci risorse.
- Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
- Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.
Eliminazione dei bucket Cloud Storage
- Nella console Google Cloud, vai alla pagina Browser di Cloud Storage.
- Fai clic sulla casella di controllo relativa al bucket da eliminare.
- Per eliminare il bucket, fai clic su Elimina, quindi segui le istruzioni.
Eliminazione del modello di flusso di lavoro
gcloud dataproc workflow-templates delete wordcount-template \ --region=us-central1
Eliminazione della funzione Cloud Functions
Apri la pagina Cloud Functions nella console Google Cloud, seleziona la casella a sinistra della funzione wordcount
, quindi fai clic su ELIMINA.
Passaggi successivi
- Vedi Panoramica dei modelli di flusso di lavoro di Dataproc
- Vedi Soluzioni di pianificazione dei flussi di lavoro