Spark-Jobs mit DataprocFileOutputCommitter ausführen

Die Funktion DataprocFileOutputCommitter ist eine erweiterte Version der Open-Source-Version FileOutputCommitter. Es ermöglicht gleichzeitige Schreibvorgänge von Apache Spark-Jobs an einem Ausgabespeicherort.

Beschränkungen

Das Feature DataprocFileOutputCommitter unterstützt Spark-Jobs, die auf Dataproc Compute Engine-Clustern ausgeführt werden, die mit den folgenden Image-Versionen erstellt wurden:

  • 2.1 Image-Versionen 2.1.10 und höher

  • 2.0-Image-Versionen 2.0.62 und höher

DataprocFileOutputCommitter verwenden

So verwenden Sie dieses Feature:

  1. Erstellen Sie einen Dataproc in Compute Engine-Cluster mit den Image-Versionen 2.1.10, 2.0.62 oder höher.

  2. Legen Sie spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory und spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false als Jobattribut fest, wenn Sie einen Spark-Job an den Cluster senden.

    • Beispiel für Google Cloud CLI:
    gcloud dataproc jobs submit spark \
    --properties=spark.hadoop.mapreduce.outputcommitter.factory.class=org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory,spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs=false \
    --region=REGION \
    other args ...
    • Codebeispiel:
    sc.hadoopConfiguration.set("spark.hadoop.mapreduce.outputcommitter.factory.class","org.apache.hadoop.mapreduce.lib.output.DataprocFileOutputCommitterFactory")
sc.hadoopConfiguration.set("spark.hadoop.mapreduce.fileoutputcommitter.marksuccessfuljobs","false")