Dataflow si basa su modelli open source progetto Apache Beam. Puoi utilizzare l'SDK Apache Beam per creare pipeline per Dataflow. Questo documento elenca alcune risorse per iniziare a programmare con Apache Beam.
Installa l'SDK Apache Beam: spiega come installare l'SDK Apache Beam per eseguire le pipeline nel servizio Dataflow.
Guida alla programmazione di Apache Beam: Fornisce indicazioni per l'utilizzo delle classi dell'SDK Apache Beam per la creazione e il test della tua pipeline.
Tour di Apache Beam: una guida didattica che puoi utilizzare per familiarizzare con Apache Beam. Le unità didattiche sono accompagnate da esempi di codice che puoi eseguire e modificare.
parco giochi Apache Beam: Un ambiente interattivo per provare le trasformazioni e gli esempi di Apache Beam senza dover installare Apache Beam nel tuo ambiente.
Sul sito web di Apache Beam, puoi anche trovare informazioni su come progetta, crea e testa la pipeline:
Progetta la pipeline: Mostra come determinare la struttura della pipeline e come scegliere quale trasformazioni da applicare ai dati e come determinare i valori di input e output di machine learning.
Crea la tua pipeline: spiega la procedura di utilizzo delle classi negli SDK Apache Beam e i passaggi necessari per creare una pipeline.
Testa la pipeline: Presenta le best practice per testare le pipeline.
Puoi usare i seguenti esempi da GitHub di Apache Beam per iniziare per creare una pipeline in modalità flusso:
- Estrazione di parole in streaming (Java)
- Conteggio parole in streaming (Python) e
streaming_wordcap(Vai).