Memproses data genomik menggunakan Cloud Life Sciences

Memproses data genomik menggunakan Cloud Life Sciences

Tips: Menggunakan spesifikasi alur kerja tingkat tinggi dapat menyederhanakan penerapan dan pengelolaan Cloud Life Sciences API. Lihat Tutorial untuk mengetahui contoh spesifikasi alur kerja yang telah terintegrasi dengan Cloud Life Sciences API.

Halaman ini menjelaskan cara menjalankan pipeline genomik yang menggunakan Cloud Life Sciences API untuk membuat file indeks (file BAI) dari file biner yang berisi urutan DNA (file BAM).

File BAM biasanya berukuran besar dan dapat memerlukan waktu lama untuk dibaca menggunakan penampil genom. Anda menggunakan file BAI untuk menemukan bagian file BAM yang berisi posisi genom yang Anda minati.

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Life Sciences, Compute Engine, and Cloud Storage JSON APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Cloud Life Sciences, Compute Engine, and Cloud Storage JSON APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Atau, Anda dapat menggunakan Cloud Shell, yang dilengkapi dengan gcloud CLI yang sudah terinstal.

12. Instal Python 3.8.

    Jika Anda menggunakan Windows dan membiarkan kotak yang relevan dicentang saat menginstal Google Cloud CLI, ini dilakukan secara otomatis.

Catatan: Jika Anda menggunakan Cloud Shell atau instance Compute Engine, Python dan Google Cloud CLI sudah diinstal lebih dulu dan diautentikasi. Jika instance Compute Engine Anda disiapkan tanpa cakupan akun layanan ke Cloud Life Sciences, jalankan gcloud init dan ikuti petunjuknya.

Menjalankan pipeline

Untuk menjalankan pipeline, selesaikan langkah-langkah berikut:

1. Buat bucket tempat Anda menyimpan file BAI. Bucket adalah penampung dasar yang menyimpan data Anda di Cloud Storage. Untuk membuat bucket bernama PROJECT_ID-life-sciences, jalankan perintah gcloud storage buckets create:

   gcloud storage buckets create gs://PROJECT_ID-life-sciences

   Ganti PROJECT_ID dengan ID project Google Cloud Anda. Anda harus menggunakan nama bucket yang unik secara global.

   Lihat persyaratan penamaan bucket.

   • Nama bucket hanya boleh berisi huruf kecil, karakter numerik, tanda hubung (-), dan garis bawah (_). Tidak diperbolehkan ada spasi.
   • Nama bucket harus diawali dan diakhiri dengan angka atau huruf.
   • Nama bucket harus berisi 3-63 karakter. Nama yang mengandung titik dapat berisi hingga 222 karakter, tetapi masing-masing komponen yang dipisahkan titik dapat berisi lebih dari 63 karakter.
   • Nama bucket tidak dapat direpresentasikan sebagai alamat IP dalam notasi desimal bertitik (misalnya, 192.168.5.4).
   • Nama bucket tidak boleh dimulai dengan awalan "goog".
   • Nama bucket tidak boleh berisi "google" atau salah ejaan yang mirip, seperti "g00gle".
   Perhatian: Jangan sertakan informasi sensitif di nama bucket, karena namespace bucket bersifat global dan dapat dilihat publik.

   Jika berhasil, perintah akan menampilkan hal berikut:

   Creating gs://PROJECT_ID-life-sciences

2. Untuk memulai pipeline, jalankan perintah gcloud beta lifesciences pipelines run:

   gcloud beta lifesciences pipelines run \
       --regions us-east1 \
       --command-line 'samtools index ${BAM} ${BAI}' \
       --docker-image "gcr.io/cloud-lifesciences/samtools" \
       --inputs BAM=gs://genomics-public-data/NA12878.chr20.sample.bam \
       --outputs BAI=gs://PROJECT_ID-life-sciences/NA12878.chr20.sample.bam.bai

   Jika berhasil, perintah akan menampilkan hal berikut:

   Running [projects/PROJECT_ID/operations/OPERATION_ID]

   Perhatikan OPERATION_ID, yang akan Anda gunakan di langkah berikutnya.

3. Untuk melacak status pipeline, jalankan perintah gcloud beta lifesciences operations wait. Ganti OPERATION_ID dengan nilai yang dicetak di langkah sebelumnya. Pipeline memerlukan waktu beberapa menit untuk diselesaikan.

   gcloud beta lifesciences operations wait OPERATION_ID

   Setelah selesai, operasi akan menampilkan pesan berikut:

   Waiting for [projects/PROJECT_ID/operations/OPERATION_ID]...done.

4. Untuk memverifikasi bahwa file BAI telah dibuat, jalankan perintah gcloud storage ls:

   gcloud storage ls gs://PROJECT_ID-life-sciences

   Jika berhasil, perintah akan menampilkan hal berikut:

   gs://PROJECT_ID-life-sciences/NA12878.chr20.sample.bam.bai

Anda telah menjalankan pipeline menggunakan Cloud Life Sciences API untuk membuat file BAI dari file BAM. Gunakan penampil genom untuk memeriksa file BAM NA12878.chr20.sample.bam menggunakan file indeks NA12878.chr20.sample.bam.bai.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus file BAI

Untuk menghapus file BAI yang dihasilkan, tetapi mempertahankan project dan bucket yang Anda buat, jalankan perintah gcloud storage rm:

gcloud storage rm PROJECT_ID-life-sciences/NA12878.chr20.sample.bam.bai

Menghapus bucket

Jika Anda membuat bucket khusus untuk panduan memulai ini dan tidak lagi memerlukannya, tetapi ingin mempertahankan project, hapus bucket menggunakan perintah gcloud storage rm. Menghapus bucket juga akan menghapus file BAI yang dihasilkan.

gcloud storage rm gs://PROJECT_ID-life-sciences --recursive

Menghapus project

Jika Anda membuat project khusus untuk panduan memulai ini dan tidak lagi memerlukannya, Anda dapat menghapus project tersebut. Menghapus project juga akan menghapus file BAI dan bucket Cloud Storage.

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Bagaimana hasilnya?

Berhasil!

Bagus! Apa yang Anda sukai dari panduan ini? Hal apa saja yang sebaiknya kami tingkatkan? Beri tahu kami!.

Saya terjebak.

Mohon maaf atas ketidaknyamanan ini. Beri tahu kami masalahnya. Kami akan memperbaikinya

Langkah selanjutnya

• Pelajari lebih lanjut set data publik Cloud Life Sciences API.
• Pelajari cara memuat data varian ke Cloud Storage atau BigQuery.
• Pelajari cara menganalisis varian dengan BigQuery.