Cloud Life Sciences è stato ritirato e non sarà più disponibile su Google Cloud dopo l'8 luglio 2025. I casi d'uso di Cloud Life Sciences sono ora supportati da Batch. Per scoprire come eseguire la migrazione del carico di lavoro, vedi Eseguire la migrazione a Batch.

Questa pagina è stata tradotta dall'API Cloud Translation.

Informazioni sullo schema delle varianti BigQuery

Questa pagina spiega la struttura dello schema generato in BigQuery quando utilizzi lo strumento di trasformazione delle varianti. Leggi questa pagina se utilizzi lo strumento Variant Transforms per trasformare e caricare i file VCF direttamente in BigQuery e vuoi capire com'è strutturata la tabella di esportazione.

Nomenclatura

Per comprendere i formati e gli schemi di esportazione, familiarizza con i seguenti termini.

Nomenclatura Genomics

Esempio

DNA raccolto ed elaborato in un unico identificatore. In genere un campione coinvolge un singolo organismo individuale, ma può anche essere un campione eterogeneo come un tampone per le guance.

Nome riferimento

Il nome di un segmento di riferimento del DNA. In genere il nome di riferimento è un cromosoma, ma potrebbe trattarsi di altre regioni denominate provenienti da un genoma di riferimento.

Variante

Una regione del genoma che è stata identificata come diversa dal genoma di riferimento. Una variante deve avere le seguenti proprietà:

Nome riferimento
Posizione iniziale
Posizione finale
Una o più basi di riferimento

Segmento senza varianti

Una regione del genoma che corrisponde al genoma di riferimento. Il segmento senza variazioni viene chiamato anche "segmento di riferimento". In genere, i dati genomici non includono segmenti non varianti con varianti.

Per saperne di più sui segmenti non varianti, consulta Informazioni sul gVCF.

Chiamata

Un'occorrenza identificata di un segmento di variante o non variante per un singolo campione. Una chiamata rappresenta la determinazione del genotipo di una particolare variante. La chiamata potrebbe includere informazioni associate, come qualità e fasi.

Campi INFO

Campi facoltativi aggiunti alle informazioni sulla variante e sulla chiamata. Ad esempio, tutte le chiamate hanno un campo genotype, ma non tutti i set di dati hanno un campo "Qualità genotipo" (GQ). Il campo genotype è una parte fissa dello schema VariantCall, ma non ha un campo GQ. Puoi importare il campo e il valore GQ come coppie chiave/valore nel campo VariantCall info.

Per ulteriori informazioni sulla nomenclatura genomica, vedi quanto segue:

Termini di BigQuery

Acquisisci familiarità con i seguenti termini di BigQuery:

Campi semplici: Elementi di dati semplici in una tabella BigQuery, come numeri e stringhe.
Campi nidificati: Elementi di dati complessi in una tabella BigQuery. Un campo nidificato può contenere più campi, semplici e nidificati.
Campi ripetuti: Campi in una tabella BigQuery che possono avere più valori, come un elenco. I campi ripetuti possono essere sia semplici che nidificati.

Per ulteriori informazioni sui tipi di dati complessi di BigQuery, consulta le seguenti risorse:

Struttura della tabella delle varianti

Quando esegui lo strumento di trasformazione delle varianti, specifichi il nome della tabella BigQuery. In genere, il nome della tabella è variants.

Struttura del record della tabella delle varianti

I record di primo livello della tabella variants possono essere sia varianti che segmenti non di varianti. Ogni record di tabella variants contiene una o più chiamate.

La seguente tabella illustra la struttura dei record della tabella delle varianti. La tabella mostra i seguenti record di varianti:

Variant1
Variant2

Il set di dati BigQuery contiene i seguenti esempi:

Sample1
Sample2
Sample3

Puoi osservare questi risultati nella seguente tabella:

Variant1 è stata chiamata per Sample1 e Sample2.
Variant2 è stata chiamata per Sample1 e Sample3.


Variant1	Esempio1 Esempio2
Variant2	Esempio1 Esempio3
...	...

Struttura del campo tabella delle varianti

Ogni tabella variants include un insieme fisso di campi e un insieme di campi variabili. La struttura della tabella è la seguente:


Campi variante corretti	Chiamata	Campi INFO variante
...	Campi di chiamata fissi Campi INFO chiamata	...

Campi fissi delle tabelle delle varianti

I campi (variante) fissi a livello di record sono i seguenti:

reference_name
start_position
end_position
reference_bases
alternate_bases
names
quality
filter

I campi fissi a livello di chiamata (VariantCall) sono i seguenti:

name
genotype
phaseset

Schema di esempio

Quando i dati di 1000 genomi sono stati caricati in BigQuery, includeva l'importazione di ALL.chrY.phase3_integrated_v1a.20130502.genotypes.vcf.

Il file VCF include vari campi INFO a livello di variante e di chiamata, come descritto nelle seguenti istruzioni di intestazione INFO e FORMAT:

##FORMAT=<ID=GT,Number=1,Type=String,Description="Genotype">
##FORMAT=<ID=GP,Number=G,Type=Float,Description="Genotype likelihoods">
##FORMAT=<ID=GQ,Number=1,Type=Integer,Description="Genotype Quality">
##FORMAT=<ID=FT,Number=1,Type=String,Description="Per-sample genotype filter">
##FORMAT=<ID=PL,Number=G,Type=Integer,Description="Normalized, Phred-scaled likelihoods for genotypes as defined in the VCF specification">
 [[trimmed]]
##INFO=<ID=AA,Number=1,Type=String,Description="Ancestral allele">
##INFO=<ID=AC,Number=A,Type=Integer,Description="Total number of alternate alleles in called genotypes">
##INFO=<ID=AF,Number=A,Type=Float,Description="Estimated allele frequency in the range (0,1]">
##INFO=<ID=NS,Number=1,Type=Integer,Description="Number of samples with data">
 [[trimmed]]

Quando il file è stato caricato in BigQuery si è verificato quanto segue:

I campi contrassegnati come INFO, ad esempio AC e AF, sono stati aggiunti come campi INFO alle risorse delle varianti.
I campi contrassegnati come FORMAT, ad esempio i campi GP e GQ, sono stati aggiunti come campi INFO alle risorse VariantCall.
Il campo FORMATO GT non è stato aggiunto come campo INFORMAZIONI. Il valore è stato convertito nel campo genotype.

La visualizzazione dello schema in BigQuery mostra i seguenti campi fissi:

Nome campo	Tipo	Modalità	Descrizione
reference_name	STRING	NULLABLE	Nome di riferimento.
start_position	INTEGER	NULLABLE	Posizione iniziale (in base 0). Corrisponde alla prima base della stringa delle basi di riferimento.
end_position	INTEGER	NULLABLE	Posizione finale (in base 0). Corrisponde alla prima base dopo l'ultima nell'allele di riferimento.
reference_bases	STRING	NULLABLE	Basi di riferimento.
alternate_bases	RECORD	REPEATED	Un record per ogni base alternativa (se presente). Consulta le informazioni aggiuntive sul record `alternate_bases`.
alternate_bases.alt	STRING	NULLABLE	Base alternativa.
names	STRING	REPEATED	Nomi delle varianti (ad esempio, ID RefSNP).
qualità delle chiamate affidabile	FLOAT	NULLABLE	Punteggio di qualità in scala phred (-10log10 prob(chiamata errata)). Valori più alti implicano una qualità migliore.
filtra	STRING	REPEATED	Elenco dei filtri non riusciti (se presenti) o "PASS" che indica che la variante ha superato tutti i filtri.
chiamare	RECORD	REPEATED	Un record per ogni chiamata.

Lo schema mostra i seguenti campi di variabili (i campi INFO):

Nome campo	Tipo	Modalità	Descrizione
call.name	STRING	NULLABLE	Nome della chiamata.
call.genotype	INTEGER	REPEATED	Genotipo della chiamata. "-1" viene utilizzato nei casi in cui non viene chiamato il genotipo.
call.phaseset	STRING	NULLABLE	Fase della chiamata (se presente). "*" viene utilizzato nei casi in cui il genotipo è in fasi, ma non è stato specificato alcun set di fasi ("PS" in FORMAT).

Informazioni aggiuntive sul record `alternate_bases`

Il record alternate_bases contiene qualsiasi campo INFO con Number=A. Il record semplifica le query eliminando la necessità di mappare ogni campo con il record alternativo corrispondente.

Per utilizzare la versione precedente dello schema di BigQuery, in cui i campi Number=A sono indipendenti da basi alternative, completa i seguenti passaggi:

Esegui lo strumento di trasformazione delle varianti e passa il flag --split_alternate_allele_info_fields.
Imposta il valore del flag --split_alternate_allele_info_fields su False.

Suddividi automaticamente i record

Nei seguenti casi, lo strumento di trasformazione delle varianti suddivide automaticamente un record in più righe, dove ogni riga è inferiore a 100 MB:

Un record contiene un numero elevato di chiamate.
L'elevato numero di chiamate genera una riga BigQuery superiore a 100 MB.

La suddivisione automatica del record è necessaria a causa del limite di 100 MB per riga BigQuery.

Valori null

Se un campo ripetuto con numeri in virgola mobile o numero intero contiene un valore nullo, lo strumento di trasformazione delle varianti non può creare lo schema BigQuery. BigQuery non consente valori nulli nei campi ripetuti. L'intero record può essere nullo, ma i valori all'interno del record devono essere diversi da questo valore.

Ad esempio:

Supponiamo che il campo INFO di un file VCF abbia i valori 1,.,2. Lo strumento di trasformazione delle varianti non può caricare 1,null,2 in BigQuery.
È necessario utilizzare una sostituzione numerica per il valore nullo. Per impostazione predefinita, il valore sostitutivo è -2^31 o -2147483648.

Per impostare un valore numerico personalizzato, passa il flag --null_numeric_value_replacement con un valore quando esegui lo strumento di trasformazione delle varianti.

In alternativa, puoi convertire i valori nulli in una stringa e utilizzare . come valore. Nel frattempo, l'intestazione deve essere specificata come String.