Neste tutorial, explicamos como executar um Nextflow.
pipeline no Batch. Especificamente, este tutorial executa
exemplo de pipeline de ciências biológicas rnaseq-nf
do Nextflow (em inglês)
que quantifica as características genômicas de dados curtos de leitura usando
RNA-Seq:
Este tutorial é destinado a usuários do Batch que querem usar o Nextflow com o Batch.
O Nextflow é um software de código aberto para orquestrar fluxos de trabalho de bioinformática.
Objetivos
Ao concluir este tutorial, você aprenderá a fazer o seguinte:
- Instale o Nexflow no Cloud Shell.
- Criar um bucket do Cloud Storage.
- configurar um pipeline do Nextflow;
- Executar um pipeline de amostra usando o Nextflow no Batch.
- Visualizar as saídas do pipeline.
- Faça uma limpeza para evitar cobranças adicionais:
- Excluir um projeto.
- Excluir recursos individuais.
Custos
Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:
- Batch
- Cloud Storage
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Os recursos criados neste tutorial geralmente custam menos de um dólar, supondo que você tenha concluído todas as etapas, incluindo a limpeza, em um tempo hábil.
Antes de começar
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Crie ou selecione um projeto do Google Cloud.
-
Crie um projeto do Google Cloud:
gcloud projects create PROJECT_ID
Substitua
PROJECT_ID
por um nome para o projeto do Google Cloud que você está criando. -
Selecione o projeto do Google Cloud que você criou:
gcloud config set project PROJECT_ID
Substitua
PROJECT_ID
pelo nome do projeto do Google Cloud.
-
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative as APIs Batch, Cloud Storage, Compute Engine, and Logging:
gcloud services enable batch.googleapis.com
compute.googleapis.com logging.googleapis.com storage.googleapis.com - Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
Crie ou selecione um projeto do Google Cloud.
-
Crie um projeto do Google Cloud:
gcloud projects create PROJECT_ID
Substitua
PROJECT_ID
por um nome para o projeto do Google Cloud que você está criando. -
Selecione o projeto do Google Cloud que você criou:
gcloud config set project PROJECT_ID
Substitua
PROJECT_ID
pelo nome do projeto do Google Cloud.
-
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Ative as APIs Batch, Cloud Storage, Compute Engine, and Logging:
gcloud services enable batch.googleapis.com
compute.googleapis.com logging.googleapis.com storage.googleapis.com -
Confira se o projeto tem uma rede de nuvem privada virtual (VPC) com um configuração de rede válida para este tutorial.
Neste tutorial, presume-se que você esteja usando o Rede
default
. Por padrão, os recursos do Google Cloud usam a rededefault
, que fornece o acesso de rede necessário para este tutorial. -
Certifique-se de que o projeto tenha pelo menos conta de serviço com o permissões necessárias para executar o job em lote neste .
Por padrão, os jobs usam o Conta de serviço padrão do Compute Engine, que recebe automaticamente o papel Editor (
roles/editor
) papel do IAM e já tem todas as permissões necessárias para neste tutorial.Para garantir que a conta de serviço do job tenha permissões para permitir que o agente de serviço do Batch crie e acesse recursos de jobs em lote; peça ao administrador para conceder à conta de serviço da tarefa o os seguintes papéis do IAM:
-
Batch Agent Reporter (
roles/batch.agentReporter
) no projeto -
Administrador do Storage (
roles/storage.admin
) no projeto -
(Recomendado) Permita que os jobs gerem registros no Cloud Logging:
Gravador de registros (
roles/logging.logWriter
) no projeto
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Talvez o administrador também conceda à conta de serviço da tarefa as permissões necessárias por meio de tags personalizadas ou outras funções predefinidas papéis.
-
Batch Agent Reporter (
-
Verifique se você tem as permissões necessárias para este tutorial.
Para receber as permissões necessárias para concluir este tutorial, faça o seguinte: peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Editor de jobs em lote (
roles/batch.jobsEditor
) no projeto -
Usuário da conta de serviço (
roles/iam.serviceAccountUser
) na conta de serviço do job -
Administrador de objetos do Storage (
roles/storage.objectAdmin
) no projeto
-
Editor de jobs em lote (
-
Instale o Nextflow:
curl -s -L https://github.com/nextflow-io/nextflow/releases/download/v23.04.1/nextflow | bash
A saída será semelhante a esta:
N E X T F L O W version 23.04.1 build 5866 created 15-04-2023 06:51 UTC cite doi:10.1038/nbt.3820 http://nextflow.io Nextflow installation completed. Please note: - the executable file `nextflow` has been created in the folder: ... - you may complete the installation by moving it to a directory in your $PATH
Criar um bucket do Cloud Storage
Criar um bucket do Cloud Storage para armazenar trabalho e saída temporários do pipeline do Nextflow, use o console do Google Cloud ou a linha de comando.
Console
Para criar um bucket do Cloud Storage usando o console do Google Cloud: siga estas etapas:
No console do Google Cloud, acesse a página Buckets.
Clique em
Criar.Na página Criar um bucket, insira um nome exclusivo globalmente do bucket.
Clique em Criar.
Na janela O acesso público será impedido, clique em Confirmar.
gcloud
Para criar um bucket do Cloud Storage usando a Google Cloud CLI,
use o método
comando gcloud storage buckets create
.
gcloud storage buckets create gs://BUCKET_NAME
Substitua BUCKET_NAME
por uma
um nome exclusivo globalmente para seu bucket.
Se a solicitação for bem-sucedida, a saída deverá ser semelhante à seguintes:
Creating gs://BUCKET_NAME/...
```
Configurar o Nextflow
Para configurar o pipeline do Nextflow para execução no Batch, siga estas etapas na linha de comando:
Clone o repositório do pipeline de amostra:
git clone https://github.com/nextflow-io/rnaseq-nf.git
Acesse a pasta
rnaseq-nf
:cd rnaseq-nf
Abra o arquivo
nextflow.config
.nano nextflow.config
O arquivo precisa conter a seguinte seção
gcb
:gcb { params.transcriptome = 'gs://rnaseq-nf/data/ggal/transcript.fa' params.reads = 'gs://rnaseq-nf/data/ggal/gut_{1,2}.fq' params.multiqc = 'gs://rnaseq-nf/multiqc' process.executor = 'google-batch' process.container = 'quay.io/nextflow/rnaseq-nf:v1.1' workDir = 'gs://BUCKET_NAME/WORK_DIRECTORY' google.region = 'us-central1' } ...
Na seção
gcb
, faça o seguinte:Substitua
BUCKET_NAME
pelo nome do Bucket do Cloud Storage criado nas etapas anteriores.Substitua
WORK_DIRECTORY
pelo nome de uma nova que o pipeline pode usar para armazenar registros e saídas.Por exemplo, insira
workDir
.Após o campo
google.region
, adicione os seguintes campos:Adicione o campo
google.project
:google.project = 'PROJECT_ID'
Substitua
PROJECT_ID
pelo ID do projeto do no projeto atual do Google Cloud.Se você não estiver usando a conta de serviço padrão do Compute Engine a conta de serviço do job, adicione o Campo
google.batch.serviceAccountEmail
:google.batch.serviceAccountEmail = 'SERVICE_ACCOUNT_EMAIL'
Substitua
SERVICE_ACCOUNT_EMAIL
pelo e-mail. endereço da conta de serviço do job que você preparou para essa .
Para salvar suas edições, faça o seguinte:
Pressione
Control+S
.Digite
Y
.Pressione
Enter
.
Executar o pipeline
Execute o pipeline de amostra do Nextflow usando a linha de comando:
../nextflow run nextflow-io/rnaseq-nf -profile gcb
O pipeline executa um pequeno conjunto de dados usando as configurações fornecidas no etapas anteriores. Essa operação pode levar até 10 minutos para ser concluída.
Depois que a execução do pipeline termina, a saída deve ser semelhante à seguintes:
N E X T F L O W ~ version 23.04.1
Launching `https://github.com/nextflow-io/rnaseq-nf` [crazy_curry] DSL2 - revision: 88b8ef803a [master]
R N A S E Q - N F P I P E L I N E
===================================
transcriptome: gs://rnaseq-nf/data/ggal/transcript.fa
reads : gs://rnaseq-nf/data/ggal/gut_{1,2}.fq
outdir : results
Uploading local `bin` scripts folder to gs://example-bucket/workdir/tmp/53/2847f2b832456a88a8e4cd44eec00a/bin
executor > google-batch (4)
[67/71b856] process > RNASEQ:INDEX (transcript) [100%] 1 of 1 ✔
[0c/2c79c6] process > RNASEQ:FASTQC (FASTQC on gut) [100%] 1 of 1 ✔
[a9/571723] process > RNASEQ:QUANT (gut) [100%] 1 of 1 ✔
[9a/1f0dd4] process > MULTIQC [100%] 1 of 1 ✔
Done! Open the following report in your browser --> results/multiqc_report.html
Completed at: 20-Apr-2023 15:44:55
Duration : 10m 13s
CPU hours : (a few seconds)
Succeeded : 4
Exibir saídas do pipeline
Após a execução do pipeline, ele armazena arquivos de saída, registros, erros ou
arquivos temporários no arquivo results/qc_report.html
da
Pasta WORK_DIRECTORY
do seu Cloud Storage
do Google Cloud.
Para verificar os arquivos de saída do pipeline no
Pasta WORK_DIRECTORY
do seu Cloud Storage
use o console do Google Cloud ou a linha de comando.
Console
Para verificar os arquivos de saída do pipeline usando o console do Google Cloud, siga estas etapas:
No console do Google Cloud, acesse a página Buckets.
Na coluna Nome, clique no nome do bucket que você criou na etapas anteriores.
Na página Detalhes do bucket, abra o
WORK_DIRECTORY
.
Há uma pasta para cada tarefa separada executada pelo fluxo de trabalho. Cada pasta contém os comandos que foram executados, arquivos de saída e arquivos temporários criados pelo pipeline.
gcloud
Para verificar os arquivos de saída do pipeline usando a CLI gcloud, use
as
comando gcloud storage ls
.
gcloud storage ls gs://BUCKET_NAME/WORK_DIRECTORY
Substitua:
BUCKET_NAME
: o nome do bucket que você quer usar criados nas etapas anteriores.WORK_DIRECTORY
: o diretório especificado em no arquivonextflow.config
.
A saída lista uma pasta para cada tarefa separada executada pelo pipeline. Cada pasta contém os comandos que foram executados, os arquivos de saída e arquivos temporários criados pelo pipeline.
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.
Exclua o projeto
A maneira mais fácil de evitar cobranças é excluindo o projeto atual.
Para excluir o projeto atual, use o console do Google Cloud ou a CLI gcloud.
Console
- No Console do Google Cloud, acesse a página Gerenciar recursos.
- Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
- Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.
gcloud
Exclua um projeto do Google Cloud:
gcloud projects delete PROJECT_ID
Excluir recursos individuais
Se quiser continuar usando o projeto atual, exclua o projeto recursos usados neste tutorial.
Excluir o bucket
Se você não precisar mais do bucket usado neste tutorial, exclua o bucket.
Excluir os arquivos de saída no bucket
Após a execução do pipeline, ele cria e armazena arquivos de saída no
Pasta WORK_DIRECTORY
do seu Cloud Storage
do Google Cloud.
Para reduzir os encargos do Cloud Storage aos valores conta do Google Cloud, é possível excluir a pasta que contém a usando o console do Google Cloud ou a linha de comando.
Console
Para excluir a pasta WORK_DIRECTORY
e todas as
arquivos de saída do bucket do Cloud Storage usando o
Console do Google Cloud, siga estas etapas:
No console do Google Cloud, acesse a página Buckets.
Na coluna Nome, clique no nome do bucket que você criou na etapas anteriores.
Na página Detalhes do bucket, selecione a linha que contém o
WORK_DIRECTORY
e faça o seguinte:Clique em Excluir.
Para confirmar, digite
DELETE
e clique em Excluir.
gcloud
Para excluir a pasta WORK_DIRECTORY
e todas as
arquivos de saída do bucket do Cloud Storage usando o
CLI gcloud, use o
gcloud storage rm
com o
--recursive
.
gcloud storage rm gs://BUCKET_NAME/WORK_DIRECTORY \
--recursive
Substitua:
BUCKET_NAME
: o nome do bucket que você quer usar especificado nas etapas anteriores.WORK_DIRECTORY
: o diretório para armazenar o os arquivos de saída do pipeline especificados nas etapas anteriores.
A seguir
Para saber mais sobre como implantar os fluxos de trabalho do Nextflow, consulte a Repositório GitHub do Nextflow (em inglês).
Para saber mais sobre os processos, scripts e opções de configuração do Nextflow, consulte Documentação do Nextflow.