Classificar o Cloud Storage

Um exemplo de job do PySpark para classificar o conteúdo de um arquivo de texto no Cloud Storage

Exemplo de código

Antes de testar esta amostra, siga as instruções de configuração do Python no guia de início rápido do Dataproc usando bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API do Dataproc Python.

Para autenticar no Dataproc, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import pyspark

sc = pyspark.SparkContext()
rdd = sc.textFile("gs://path-to-your-GCS-file")
print(sorted(rdd.collect()))

Para pesquisar e filtrar amostras de código de outros produtos do Google Cloud, consulte o navegador de amostra do Google Cloud.