Processar dados genômicos usando o Cloud Life Sciences

Processar dados genômicos usando o Cloud Life Sciences

Dica: usar uma especificação de fluxo de trabalho de nível superior pode simplificar a implementação e o gerenciamento da API Cloud Life Sciences. Consulte Tutoriais para ver exemplos de especificações de fluxo de trabalho integradas à API Cloud Life Sciences.

Nesta página, explicamos como executar um pipeline genômico que usa a API Cloud Life Sciences para criar um arquivo de índice (BAI) com base em um arquivo binário contendo sequências de DNA (arquivo BAM).

Os arquivos BAM geralmente são grandes e podem levar muito tempo para serem lidos com um leitor de genoma. Use um arquivo BAI para localizar as partes do arquivo BAM que contêm a posição do genoma em que você tem interesse.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Life Sciences, Compute Engine, and Cloud Storage JSON APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Cloud Life Sciences, Compute Engine, and Cloud Storage JSON APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Como alternativa, use o Cloud Shell, que já vem com a CLI gcloud instalada.

12. Instale o Python 3.8

    Se você está usando o Windows e marcou a caixa de seleção pertinente quando instalou a CLI do Google Cloud, isso foi feito automaticamente.

Observação: se você estiver usando o Cloud Shell ou uma instância do Compute Engine, O Python e a Google Cloud CLI são pré-instalados e autenticados. Se a instância do Compute Engine estiver configurada sem o escopo de conta de serviço no Cloud Life Sciences, execute gcloud init e siga as instruções.

Executar o pipeline

Para executar o pipeline, conclua as seguintes etapas:

1. Crie um bucket para armazenar o arquivo BAI. buckets são os contêineres básicos que armazenam dados no Cloud Storage. Para criar um bucket chamado PROJECT_ID-life-sciences, execute o comando gcloud storage buckets create:

   gcloud storage buckets create gs://PROJECT_ID-life-sciences

   Substitua PROJECT_ID pelo ID do projeto do Google Cloud. Use um nome de bucket globalmente exclusivo.

   Consulte os requisitos de nomenclatura de bucket.

   • Nomes de bucket podem conter apenas letras minúsculas, caracteres numéricos, traços (-) e sublinhados (_). Espaços não são permitidos.
   • Nomes de bucket devem começar e terminar com um número ou uma letra.
   • Precisam ter de 3 a 63 caracteres. Ter até 222 caracteres caso incluam pontos, mas cada componente separado por ponto não pode ter mais do que 63 caracteres.
   • Nomes de bucket não podem ser representados como um endereço IP na notação decimal com pontos (por exemplo, 192.168.5.4).
   • Nomes de bucket não podem começar com o prefixo "goog".
   • Não podem conter a palavra "google" ou aproximações dela, como "g00gle".
   Cuidado: não inclua informações confidenciais no nome do bucket porque o namespace é global e visível ao público.

   Se o procedimento for bem-sucedido, o comando retornará:

   Creating gs://PROJECT_ID-life-sciences

2. Para iniciar o pipeline, execute o comando gcloud beta lifesciences pipelines run:

   gcloud beta lifesciences pipelines run \
       --regions us-east1 \
       --command-line 'samtools index ${BAM} ${BAI}' \
       --docker-image "gcr.io/cloud-lifesciences/samtools" \
       --inputs BAM=gs://genomics-public-data/NA12878.chr20.sample.bam \
       --outputs BAI=gs://PROJECT_ID-life-sciences/NA12878.chr20.sample.bam.bai

   Se o procedimento for bem-sucedido, o comando retornará:

   Running [projects/PROJECT_ID/operations/OPERATION_ID]

   Observe o OPERATION_ID, que será usado na próxima etapa.

3. Para rastrear o status do pipeline, execute o comando gcloud beta lifesciences operations wait. Substitua OPERATION_ID pelo valor mostrado na etapa anterior. O pipeline leva alguns minutos para ser concluído.

   gcloud beta lifesciences operations wait OPERATION_ID

   Depois que a operação for concluída, ela retornará a seguinte mensagem:

   Waiting for [projects/PROJECT_ID/operations/OPERATION_ID]...done.

4. Para verificar se o arquivo BAI foi gerado, execute o comando gcloud storage ls:

   gcloud storage ls gs://PROJECT_ID-life-sciences

   Se o procedimento for bem-sucedido, o comando retornará:

   gs://PROJECT_ID-life-sciences/NA12878.chr20.sample.bam.bai

Você acabou de executar um pipeline usando a API Cloud Life Sciences para criar um arquivo BAI com base em um arquivo BAM. Use um leitor de genoma para examinar o arquivo BAM NA12878.chr20.sample.bam usando o arquivo de índice NA12878.chr20.sample.bam.bai.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

Excluir o arquivo BAI

Para excluir o arquivo BAI gerado, mas manter o projeto e o bucket criados, execute o comando gcloud storage rm:

gcloud storage rm PROJECT_ID-life-sciences/NA12878.chr20.sample.bam.bai

Excluir o bucket

Se você criou o bucket especificamente para esse guia de início rápido e não precisa mais dele, mas quer manter seu projeto, exclua o bucket usando o comando gcloud storage rm. Excluir o também exclui o arquivo BAI gerado.

gcloud storage rm gs://PROJECT_ID-life-sciences --recursive

Exclua o projeto

Se você tiver criado o projeto especificamente para este guia de início rápido e não precisar mais dele, exclua-o. A exclusão do projeto também exclui o arquivo BAI e o bucket do Cloud Storage.

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Como foi?

Funcionou!

Ótimo! Do que você gostou no guia de início rápido? O que poderia ser melhor? Conte para nós.

Deu errado.

Lamentamos que você esteja enfrentando esse problema. O que deu errado? Vamos tentar aprimorar.

A seguir

• Saiba mais sobre os conjuntos de dados públicos da API Cloud Life Sciences.
• Saiba como carregar dados de variantes no Cloud Storage ou no BigQuery.
• Saiba como analisar variantes com o BigQuery.