Dataflow è basato sul progetto open source Apache Beam. Puoi utilizzare l'SDK Apache Beam per creare pipeline per Dataflow. Questo documento elenca alcune risorse per iniziare a utilizzare la programmazione di Apache Beam.
Installa l'SDK Apache Beam: mostra come installare l'SDK Apache Beam per eseguire le pipeline sul servizio Dataflow.
Guida alla programmazione Apache Beam: fornisce indicazioni per l'utilizzo delle classi dell'SDK Apache Beam per creare e testare la tua pipeline.
Tour di Apache Beam: una guida all'apprendimento che puoi utilizzare per acquisire familiarità con Apache Beam. Le unità didattiche sono accompagnate da esempi di codice che puoi eseguire e modificare.
Parco giochi Apache Beam: un ambiente interattivo per provare trasformazioni ed esempi di Apache Beam senza dover installare Apache Beam nel tuo ambiente.
Sul sito web di Apache Beam puoi anche trovare informazioni su come progettare, creare e testare la tua pipeline:
Progetta la pipeline: mostra come determinare la struttura della pipeline, come scegliere le trasformazioni da applicare ai dati e come determinare i metodi di input e output.
Crea la tua pipeline: illustra i meccanismi per utilizzare le classi negli SDK Apache Beam e i passaggi necessari per creare una pipeline.
Testare la pipeline: presenta le best practice per testare le pipeline.
Puoi usare i seguenti esempi tratti da GitHub di Apache Beam per iniziare a creare una pipeline in modalità flusso:
- Estrazione di parole in streaming (Java)
- Conteggio parole in streaming (Python) e
streaming_wordcap(Vai).