Organiza trabajos mediante la ejecución de canalizaciones de dsub en Batch

---

En este instructivo, se explica cómo ejecutar un Canalización dsub en Batch. Específicamente, la canalización dsub de ejemplo procesa datos de secuenciación de ADN en un Archivo del mapa de alineación binaria (BAM) para crear un archivo de índice BAM (BAI).

Este instructivo está dirigido a usuarios de Batch que desean usar dsub con Batch. dsub es un programador de trabajos de código abierto para organizar flujos de trabajo de procesamiento por lotes en Google Cloud. Para obtener más información sobre cómo usar Por lotes con dsub, consulta la Documentación de dsub para Batch.

Objetivos

• Ejecuta una canalización dsub en Batch que lea y escriba archivos en buckets de Cloud Storage.
• Visualiza los archivos de salida en un bucket de Cloud Storage.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Batch
• Cloud Storage

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Los recursos creados en este instructivo suelen costar menos de un dólar, suponiendo que completes todos los pasos, incluida la limpieza, de manera oportuna.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
2. Install the Google Cloud CLI.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Batch, Cloud Storage, Compute Engine, and Logging APIs:

   gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com

7. Install the Google Cloud CLI.

8. To initialize the gcloud CLI, run the following command:

   gcloud init

9. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

10. Make sure that billing is enabled for your Google Cloud project.

11. Enable the Batch, Cloud Storage, Compute Engine, and Logging APIs:

    gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com storage.googleapis.com

12. Asegúrate de que tu proyecto tenga al menos una cuenta de servicio con el los permisos necesarios para este instructivo.

    Nota: Si usas un proyecto nuevo, este paso no es obligatorio a menos que tu organización evite las asignaciones de roles automáticos para las cuentas de servicio predeterminadas. De forma predeterminada, la cuenta de servicio predeterminada de Compute Engine es se otorgó automáticamente el rol de editor (roles/editor) que ya tiene todos los permisos necesarios para este instructivo.

    Cada trabajo requiere una cuenta de servicio que permita al agente de servicio de Batch crear y acceder a los recursos necesarios para ejecutar el trabajo. En este instructivo, la cuenta de servicio del trabajo es la cuenta de servicio predeterminada de Compute Engine.

    Para garantizar que la cuenta de servicio predeterminada de Compute Engine tenga los permisos necesarios para permitir que el agente de servicio de Batch cree recursos y acceda a ellos para los trabajos de Batch, pídele a tu administrador que otorgue a la cuenta de servicio predeterminada de Compute Engine los siguientes roles de IAM:

    • Batch Agent Reporter (roles/batch.agentReporter) en el proyecto
    • Administrador de almacenamiento (roles/storage.admin) en el proyecto
    • Permite que los trabajos generen registros en Cloud Logging (recomendado): Escritor de registros (roles/logging.logWriter) en el proyecto

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    Es posible que tu administrador también pueda otorgar los permisos necesarios a la cuenta de servicio predeterminada de Compute Engine mediante roles personalizados o con otros roles predefinidos.

13. Asegúrate de tener los permisos necesarios para este instructivo.

    Nota: Si creaste este proyecto, este paso no es obligatorio. Como creador del proyecto, se te otorga automáticamente el rol de IAM propietario (roles/owner), que ya tiene todos los permisos necesarios para este instructivo.

    Si quieres obtener los permisos que necesitas para completar este instructivo, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    • Editor de trabajos por lotes (roles/batch.jobsEditor) en el proyecto
    • Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio del trabajo, que, en este instructivo, es la cuenta de servicio predeterminada de Compute Engine
    • Administrador de objetos de almacenamiento (roles/storage.objectAdmin) en el proyecto

14. Instala dsub y sus dependencias. Para obtener más información, consulta la documentación de instalación de dsub.

    1. Asegúrate de haber instalado versiones de Python y pip que sean compatibles con la versión más reciente de dsub. Para ver las versiones instaladas actualmente, ejecuta el siguiente comando:

       pip --version
       

       Si necesitas instalar o actualizar pip o Python, sigue las pasos para instalar Python.

    2. Recomendación: Para evitar errores de conflictos de dependencias cuando instalas dsub, crear y activar un Entorno virtual de Python:

       python -m venv dsub_libs && source dsub_libs/bin/activate
       

    3. Clona el repositorio de GitHub dsub con git y ábrelo:

       git clone https://github.com/databiosphere/dsub.git && cd dsub
       

    4. Instala dsub y sus dependencias:

       python -m pip install .
       

       El resultado es similar a este:

       ...
       Successfully installed cachetools-5.3.1 certifi-2023.7.22 charset-normalizer-3.3.1 dsub-0.4.9 funcsigs-1.0.2 google-api-core-2.11.0 google-api-python-client-2.85.0 google-auth-2.17.3 google-auth-httplib2-0.1.0 google-cloud-batch-0.10.0 googleapis-common-protos-1.61.0 grpcio-1.59.0 grpcio-status-1.59.0 httplib2-0.22.0 idna-3.4 mock-4.0.3 parameterized-0.8.1 proto-plus-1.22.3 protobuf-4.24.4 pyasn1-0.4.8 pyasn1-modules-0.2.8 pyparsing-3.1.1 python-dateutil-2.8.2 pytz-2023.3 pyyaml-6.0 requests-2.31.0 rsa-4.9 six-1.16.0 tabulate-0.9.0 tenacity-8.2.2 uritemplate-4.1.1 urllib3-2.0.7
       

Cree un bucket de Cloud Storage

Crear un bucket de Cloud Storage para almacenar los archivos de salida del canalización de muestra dsub con gcloud CLI, ejecuta Comando gcloud storage buckets create:

gcloud storage buckets create gs://BUCKET_NAME \
    --project PROJECT_ID

Reemplaza lo siguiente:

• BUCKET_NAME: un nombre único a nivel global para tu bucket.

• PROJECT_ID: El ID del proyecto de tu proyecto de Google Cloud.

El resultado es similar a este:

Creating gs://BUCKET_NAME/...

Ejecuta la canalización de dsub

La canalización dsub de muestra indexa un archivo BAM del Proyecto 1,000 Genomes y envía los resultados a un bucket de Cloud Storage.

Para ejecutar la canalización de dsub de ejemplo, ejecuta el siguiente comando de dsub:

dsub \
    --provider google-batch \
    --project PROJECT_ID \
    --logging gs://BUCKET_NAME/WORK_DIRECTORY/logs \
    --input BAM=gs://genomics-public-data/1000-genomes/bam/HG00114.mapped.ILLUMINA.bwa.GBR.low_coverage.20120522.bam \
    --output BAI=gs://BUCKET_NAME/WORK_DIRECTORY/HG00114.mapped.ILLUMINA.bwa.GBR.low_coverage.20120522.bam.bai \
    --image quay.io/cancercollaboratory/dockstore-tool-samtools-index \
    --command 'samtools index ${BAM} ${BAI}' \
    --wait

Reemplaza lo siguiente:

• PROJECT_ID: El ID del proyecto de tu proyecto de Google Cloud.

• BUCKET_NAME: Es el nombre de Cloud Storage. bucket que creaste.

• WORK_DIRECTORY: Es el nombre de un directorio nuevo que la canalización puede usar para almacenar registros y resultados. Por ejemplo, ingresa workDir.

La canalización dsub ejecuta un Trabajo por lotes que escribe el archivo BAI y registros en el directorio especificado de tu bucket de Cloud Storage. Específicamente, el repositorio dsub contiene una imagen de Docker prediseñada que usa samtools para indexar el archivo BAM que especificaste en la marca --input.

El comando no finaliza hasta que se termina de ejecutar la canalización de dsub, que puede variar según el momento en que se programe el trabajo por lotes. Por lo general, este proceso tarda alrededor de 10 minutos; por lo general, el lote comienza y ejecutar el trabajo en pocos minutos y su tiempo de ejecución es de unos 8 minutos.

Al principio, el comando aún se está ejecutando y el resultado es similar al siguiente:

Job properties:
  job-id: JOB_NAME
  job-name: samtools
  user-id: USERNAME
Provider internal-id (operation): projects/PROJECT_ID/locations/us-central1/jobs/JOB_NAME
Launched job-id: JOB_NAME
To check the status, run:
  dstat --provider google-batch --project PROJECT_ID --location us-central1 --jobs 'JOB_NAME' --users 'USERNAME' --status '*'
To cancel the job, run:
  ddel --provider google-batch --project PROJECT_ID --location us-central1 --jobs 'JOB_NAME' --users 'USERNAME'
Waiting for job to complete...
Waiting for: JOB_NAME.

Luego, después de que la tarea se complete correctamente, el comando finalizará y el resultado será similar al siguiente:

  JOB_NAME: SUCCESS
JOB_NAME

En esta salida, se incluyen los siguientes valores:

• JOB_NAME: Es el nombre del trabajo.

• USERNAME: Es tu nombre de usuario de Google Cloud.

• PROJECT_ID: el ID del proyecto de tu proyecto de Google Cloud.

Cómo ver los archivos de salida

Para ver los archivos de salida creados por la canalización dsub de muestra mediante la en gcloud CLI, ejecuta Comando gcloud storage ls:

gcloud storage ls gs://BUCKET_NAME/WORK_DIRECTORY \
    --project PROJECT_ID

Reemplaza lo siguiente:

• BUCKET_NAME: Es el nombre del bucket de Cloud Storage que creaste.

• WORK_DIRECTORY: El directorio que especificaste en el comando dsub.

• PROJECT_ID: el ID del proyecto de tu proyecto de Google Cloud.

El resultado es similar a este:

gs://BUCKET_NAME/WORK_DIRECTORY/HG00114.mapped.ILLUMINA.bwa.GBR.low_coverage.20120522.bam.bai
gs://BUCKET_NAME/WORK_DIRECTORY/logs/

Este resultado incluye el archivo BAI y un directorio que contiene los registros de la tarea.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto actual.

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

Borra los recursos individuales

Si deseas seguir usando el proyecto actual, borra los recursos individuales que se usaron en este instructivo.

Borra el bucket

Cuando la canalización termina de ejecutarse, crea y almacena archivos de salida en la Directorio WORK_DIRECTORY de tu Cloud Storage bucket.

Para reducir los cargos de Cloud Storage al valor actual Cuenta de Google Cloud, realiza una de las siguientes acciones:

• Si ya no necesitas el bucket que usaste en este instructivo, usa el comando gcloud storage rm con la marca --recursive para borrar el bucket y todo su contenido:

  gcloud storage rm gs://BUCKET_NAME \
      --recursive \
      --project PROJECT_ID
  

  Reemplaza lo siguiente:

  • BUCKET_NAME: Es el nombre del bucket de Cloud Storage que creaste.

  • PROJECT_ID: El ID del proyecto de tu proyecto de Google Cloud.

• De lo contrario, si aún necesitas el bucket, usa el El comando gcloud storage rm con el --recursive para borrar solo el Directorio WORK_DIRECTORY y todo su contenido:

  gcloud storage rm gs://BUCKET_NAME/WORK_DIRECTORY \
      --recursive \
      --project PROJECT_ID
  

  Reemplaza lo siguiente:

  • BUCKET_NAME: Es el nombre de Cloud Storage. bucket que creaste.

  • WORK_DIRECTORY: Es el directorio que especificaste en el comando dsub.

  • PROJECT_ID: El ID del proyecto de tu proyecto de Google Cloud.

Borra el trabajo

Para borrar un trabajo con la CLI de gcloud, ejecuta el comando gcloud batch jobs delete.

gcloud batch jobs delete JOB_NAME \
    --location us-central1 \
    --project PROJECT_ID

Reemplaza lo siguiente:

• JOB_NAME: Es el nombre del trabajo.
• PROJECT_ID: El ID del proyecto de tu proyecto de Google Cloud.

¿Qué sigue?

• Obtén más información sobre dsub y dsub para Batch.
• Obtén más información sobre cómo usar volúmenes de almacenamiento con Batch.