Classificar o Cloud Storage

Um exemplo de job do PySpark para classificar o conteúdo de um arquivo de texto no Cloud Storage

Amostra de código

Python

Antes de testar este exemplo, siga as instruções de configuração do Python no Guia de início rápido do Dataproc: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do Dataproc para Python.

Ver no GitHub Feedback

import pyspark

sc = pyspark.SparkContext()
rdd = sc.textFile("gs://path-to-your-GCS-file")
print(sorted(rdd.collect()))