Nesta página, descrevemos como copiar e armazenar arquivos VCF brutos no Cloud Storage. Depois de armazenar arquivos VCF brutos, use a ferramenta Variant Transforms para carregá-los no BigQuery.
Como copiar dados para o Cloud Storage
O Cloud Life Sciences hospeda um conjunto de dados público contendo dados do Illumina Platinum Genomes. Para copiar dois arquivos VCF do conjunto de dados para seu bucket:
gsutil cp \
gs://genomics-public-data/platinum-genomes/vcf/NA1287*_S1.genome.vcf \
gs://BUCKET/platinum-genomes/vcf/
Como copiar variantes de um sistema de arquivos local
Para copiar um grupo de arquivos locais:
gsutil -m -o 'GSUtil:parallel_composite_upload_threshold=150M' cp *.vcf \
gs://BUCKET/vcf/
Para copiar um diretório local de arquivos:
gsutil -m -o 'GSUtil:parallel_composite_upload_threshold=150M' cp -R \
VCF_FILE_DIRECTORY/ \
gs://BUCKET/vcf/
Se ocorrerem falhas devido a problemas temporários de rede, execute novamente os comandos anteriores usando a sinalização no-clobber (-n), que copia apenas os arquivos ausentes:
gsutil -m -o 'GSUtil:parallel_composite_upload_threshold=150M' cp -n -R \
VCF_FILE_DIRECTORY \
gs://BUCKET/vcf/
Para mais informações sobre como copiar dados para o Cloud Storage, consulte Como usar o Cloud Storage com Big Data.
A seguir
Use a ferramenta Variant Transforms para carregar seus arquivos VCF no BigQuery.