Cloud Storage の並べ替え

Google Cloud Storage 内のテキスト ファイルのコンテンツを並べ替える PySpark ジョブの例

コードサンプル

Python

このサンプルを試す前に、Dataproc クイックスタート: クライアント ライブラリの使用の Python の手順に従って設定を行ってください。詳細については、Dataproc Python API のリファレンス ドキュメントをご覧ください。

import pyspark

sc = pyspark.SparkContext()
rdd = sc.textFile("gs://path-to-your-GCS-file")
print(sorted(rdd.collect()))