Cloud Storage の並べ替え

Google Cloud Storage 内のテキストファイルのコンテンツを並べ替える PySpark ジョブの例

コードサンプル

このサンプルを試す前に、Dataproc クイックスタート: クライアントライブラリの使用にある Python の設定手順を行ってください。詳細については、Dataproc Python API のリファレンスドキュメントをご覧ください。

Dataproc への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

import pyspark

sc = pyspark.SparkContext()
rdd = sc.textFile("gs://path-to-your-GCS-file")
print(sorted(rdd.collect()))

他の Google Cloud プロダクトに関連するコードサンプルの検索およびフィルタ検索を行うには、Google Cloud のサンプルをご覧ください。