Se usó la API de Cloud Translation para traducir esta página.

Crea una canalización de Dataflow con Java

En este documento, se muestra cómo configurar tu proyecto de Google Cloud , crear una canalización de ejemplo compilada con el SDK de Apache Beam para Java y ejecutar la canalización de ejemplo en el servicio de Dataflow. La canalización lee un archivo de texto de Cloud Storage, cuenta la cantidad de palabras únicas del archivo y, luego, vuelve a escribir el recuento de palabras en Cloud Storage. Para obtener una introducción a la canalización de WordCount, consulta el video Cómo usar WordCount en Apache Beam.

Para este instructivo, se requiere Maven, pero también es posible convertir el proyecto de ejemplo de Maven a Gradle. Para obtener más información, consulta Opcional: convierte de Maven a Gradle.

Para seguir la guía paso a paso sobre esta tarea directamente en la consola Google Cloud , haz clic en Guiarme:

GUIARME

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

Create or select a Google Cloud project.

Create a Google Cloud project:
```
gcloud projects create PROJECT_ID
```
Replace PROJECT_ID with a name for the Google Cloud project you are creating.
Select the Google Cloud project that you created:
```
gcloud config set project PROJECT_ID
```
Replace PROJECT_ID with your Google Cloud project name.

Make sure that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, and Cloud Resource Manager APIs:

gcloud services enable dataflow compute_component logging storage_component storage_api bigquery pubsub datastore.googleapis.com cloudresourcemanager.googleapis.com

Create local authentication credentials for your user account:

gcloud auth application-default login

If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/iam.serviceAccountUser

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

Replace PROJECT_ID with your project ID.
Replace USER_IDENTIFIER with the identifier for your user account. For example, user:myemail@example.com.
Replace ROLE with each individual role.

Install the Google Cloud CLI.

If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

To initialize the gcloud CLI, run the following command:

gcloud init

Create or select a Google Cloud project.

Create a Google Cloud project:
```
gcloud projects create PROJECT_ID
```
Replace PROJECT_ID with a name for the Google Cloud project you are creating.
Select the Google Cloud project that you created:
```
gcloud config set project PROJECT_ID
```
Replace PROJECT_ID with your Google Cloud project name.

Make sure that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, BigQuery, Cloud Pub/Sub, Cloud Datastore, and Cloud Resource Manager APIs:

gcloud services enable dataflow compute_component logging storage_component storage_api bigquery pubsub datastore.googleapis.com cloudresourcemanager.googleapis.com

Create local authentication credentials for your user account:

gcloud auth application-default login

If an authentication error is returned, and you are using an external identity provider (IdP), confirm that you have signed in to the gcloud CLI with your federated identity.

Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/iam.serviceAccountUser

gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

Replace PROJECT_ID with your project ID.
Replace USER_IDENTIFIER with the identifier for your user account. For example, user:myemail@example.com.
Replace ROLE with each individual role.

Otorga roles a tu cuenta de servicio predeterminada de Compute Engine. Ejecuta el siguiente comando una vez para cada uno de los siguientes roles de IAM:
- roles/dataflow.admin
- roles/dataflow.worker
- roles/storage.objectAdmin
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" --role=SERVICE_ACCOUNT_ROLE
```
- Reemplaza PROJECT_ID con el ID del proyecto.
- Reemplaza PROJECT_NUMBER por el número del proyecto. Para encontrar el número de tu proyecto, consulta Identifica proyectos o usa el comando gcloud projects describe.
- Reemplaza SERVICE_ACCOUNT_ROLE por cada rol individual.
Create a Cloud Storage bucket and configure it as follows:
- Set the storage class to S (Estándar).
- Configura la ubicación de almacenamiento de la siguiente manera: US (Estados Unidos).
- Reemplaza BUCKET_NAME por un nombre de bucket único. No incluyas información sensible en el nombre del bucket porque su espacio de nombres es global y públicamente visible.
- Copia lo siguiente, ya que los necesitarás en una sección posterior:
  - : Es el nombre del bucket de Cloud Storage.
  - El ID de tu proyecto Google Cloud Para encontrar este ID, consulta Identifica proyectos.
- Descarga y, luego, instala la versión 11 del Java Development Kit (JDK) . (Dataflow sigue siendo compatible con la versión 8). Verifica que la variable de entorno JAVA_HOME esté establecida y que esté orientada a la instalación del JDK.
- Descarga y, luego, instala Apache Maven con los pasos de la guía de instalación de Maven para tu sistema operativo específico.

Obtén el código de canalización

El SDK de Apache Beam es un modelo de programación de código abierto para canalizaciones de datos. Debes definir estas canalizaciones con un programa Apache Beam y puedes elegir un ejecutor, como Dataflow, para ejecutar tu canalización.

En tu shell o terminal, usa el complemento de arquetipo de Maven para crear un proyecto de Maven en tu computadora que contenga los ejemplos del WordCount SDK de Apache Beam:
```
mvn archetype:generate \
    -DarchetypeGroupId=org.apache.beam \
    -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
    -DarchetypeVersion=2.66.0 \
    -DgroupId=org.example \
    -DartifactId=word-count-beam \
    -Dversion="0.1" \
    -Dpackage=org.apache.beam.examples \
    -DinteractiveMode=false
```
El comando crea un directorio nuevo llamado word-count-beam en tu directorio actual. El directorio word-count-beam contiene un archivo pom.xml simple y una serie de canalizaciones de ejemplo que cuentan palabras en archivos de texto.
Verifica que tu directorio word-count-beam contenga el archivo pom.xml:
Linux o macOS
```
cd word-count-beam/
ls
```
Este es el resultado:
```
pom.xml   src
```
Windows
```
cd word-count-beam/
dir
```
Este es el resultado:
```
pom.xml   src
```

Verifica que tu proyecto de Maven contenga las canalizaciones de ejemplo:

Linux o macOS

ls src/main/java/org/apache/beam/examples/

Este es el resultado:

DebuggingWordCount.java   WindowedWordCount.java   common
MinimalWordCount.java   WordCount.java

Windows

dir src/main/java/org/apache/beam/examples/

Este es el resultado:

DebuggingWordCount.java   WindowedWordCount.java   common
MinimalWordCount.java   WordCount.java

Para obtener información detallada sobre los conceptos de Apache Beam que se usan en estos ejemplos, consulta Ejemplo de WordCount de Apache Beam. En las instrucciones de las siguientes secciones, se usa WordCount.java.

Ejecuta la canalización de forma local:

En tu shell o terminal, ejecuta la canalización de WordCount de manera local desde tu directorio word-count-beam:
```
mvn compile exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--output=counts"
```
Los archivos de salida tienen el prefijo counts y se escriben en el directorio word-count-beam. Contienen palabras únicas del texto de entrada y la cantidad de veces que aparece cada palabra.

Ejecuta la canalización en el servicio de Dataflow

En tu shell o terminal, compila y ejecuta la canalización WordCount en el servicio de Dataflow desde tu directorio word-count-beam:
```
mvn -Pdataflow-runner compile exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--project=PROJECT_ID \
    --gcpTempLocation=gs://BUCKET_NAME/temp/ \
    --output=gs://BUCKET_NAME/output \
    --runner=DataflowRunner \
    --region=REGION"
```
Reemplaza lo siguiente:
- PROJECT_ID: El ID de tu proyecto de Google Cloud
- BUCKET_NAME: Es el nombre de tu bucket de Cloud Storage.
- REGION: Es una región de Dataflow, como us-central1
Nota:
- Para especificar un valor de cuenta de servicio de trabajador administrada por el usuario, incluye la opción de canalización --serviceAccount. Se recomiendan las cuentas de servicio de trabajador administradas por el usuario para las cargas de trabajo de producción. Si no especificas una cuenta de servicio de trabajador cuando creas un trabajo, Dataflow usa la cuenta de servicio predeterminada de Compute Engine.
- A menos que se especifique a través de la opción network, el ejecutor de Dataflow ejecuta trabajos en la red de nube privada virtual default.

Ve los resultados

En la consola de Google Cloud , ve a la página Trabajos de Dataflow.
Ir a Trabajos
La página Trabajos muestra una lista con los detalles de todos los trabajos disponibles, incluido el estado. El Estado del trabajo wordcount es En ejecución primero y, luego, se actualiza a Completado.
En la Google Cloud consola, ve a la página Buckets de Cloud Storage.
Ir a Buckets
En la página Buckets, se muestra la lista de todos los buckets de almacenamiento de tu proyecto.
Haz clic en el bucket de almacenamiento que creaste.

En la página Detalles del bucket, se muestran los archivos de salida y los archivos de etapa de pruebas que creó tu trabajo de Dataflow.

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página, borra el proyecto de Google Cloud que tiene los recursos.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto Google Cloud que creaste para la guía de inicio rápido.

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

In the Google Cloud console, go to the Manage resources page.
Go to Manage resources
In the project list, select the project that you want to delete, and then click Delete.
In the dialog, type the project ID, and then click Shut down to delete the project.

Borra los recursos individuales

Si deseas conservar el proyecto Google Cloud que usaste en esta guía de inicio rápido, borra los recursos individuales:

In the Google Cloud console, go to the Cloud Storage Buckets page.
Go to Buckets
Click the checkbox for the bucket that you want to delete.
To delete the bucket, click Delete, and then follow the instructions.
Revoca las funciones que otorgaste a la cuenta de servicio predeterminada de Compute Engine. Ejecuta el siguiente comando una vez para cada uno de los siguientes roles de IAM:
- roles/dataflow.admin
- roles/dataflow.worker
- roles/storage.objectAdmin
```
gcloud projects remove-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=SERVICE_ACCOUNT_ROLE
```
Optional: Revoke the authentication credentials that you created, and delete the local credential file.
```
gcloud auth application-default revoke
```
Optional: Revoke credentials from the gcloud CLI.
```
gcloud auth revoke
```

¿Qué sigue?

Obtén información sobre el modelo de programación de Apache Beam
Obtén información sobre cómo usar Apache Beam para compilar canalizaciones.
Lee los ejemplos de WordCount y de juegos para dispositivos móviles.