Risolvi i problemi relativi a quote e limiti

BigQuery ha varie quote e limiti che limitano la frequenza e il volume di richieste e operazioni diverse. Esistono sia per proteggere l'infrastruttura sia per prevenire all'utilizzo da parte del cliente. Questo documento descrive come diagnosticare e mitigare e gli errori specifici derivanti da quote e limiti.

Se il messaggio di errore non è elencato in questo documento, consulta l'elenco dei messaggi di errore con altri informazioni generiche sugli errori.

Panoramica

Se un'operazione BigQuery non va a buon fine a causa del superamento di una quota, l'API restituisce il codice di stato HTTP 403 Forbidden. Il corpo della risposta contiene altri informazioni sulla quota raggiunta. Il corpo della risposta avrà il seguente aspetto:

{
  "code" : 403,
  "errors" : [ {
    "domain" : "global",
    "message" : "Quota exceeded: ...",
    "reason" : "quotaExceeded"
  } ],
  "message" : "Quota exceeded: ..."
}

Il campo message nel payload descrive quale limite è stato superato. Ad esempio, il contenuto del campo message potrebbe essere Exceeded rate limits: too many table update operations for this table.

In generale, i limiti di quota si suddividono in due categorie, indicate dal campo reason nel payload della risposta.

  • rateLimitExceeded. Questo valore indica una durata a breve termine limite. Per risolvere questi problemi relativi ai limiti, riprova a eseguire l'operazione dopo alcuni secondi. Utilizza il backoff esponenziale tra un nuovo tentativo e l'altro. ovvero in modo esponenziale aumenta il ritardo tra un nuovo tentativo e l'altro.

  • quotaExceeded. Questo valore indica un limite a lungo termine. Se raggiungi un limite di quota a lungo termine, devi attendere almeno 10 minuti prima di riprovare a eseguire l'operazione. Se raggiungi sistematicamente uno di questi limiti di quota a lungo termine, devi analizzare il tuo carico di lavoro per capire come risolvere il problema. Le mitigazioni possono includere l'ottimizzazione del carico di lavoro o la richiesta di aumento della quota.

Per gli errori quotaExceeded, esamina il messaggio di errore per capire quale limite di quota è stato superato. Analizza quindi il carico di lavoro per vedere se riesci a evitare di raggiungerti la quota.

In alcuni casi, la quota può essere aumentata contattando l'assistenza BigQuery o contattare il team di vendita Google Cloud, ma ti consigliamo di provare suggerimenti in questo documento.

Diagnosi

Per diagnosticare i problemi:

  • Utilizza INFORMATION_SCHEMA viste per analizzare il problema di base. Queste viste contengono metadati sulle tue risorse BigQuery, tra cui job, prenotazioni e inserimenti di flussi di dati.

    Ad esempio, la seguente query utilizza il parametro INFORMATION_SCHEMA.JOBS visualizza per elencare tutte errori relativi alla quota del giorno precedente:

    SELECT
 job_id,
 creation_time,
 error_result
FROM `region-us`.INFORMATION_SCHEMA.JOBS
WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 1 DAY) AND
      error_result.reason IN ('rateLimitExceeded', 'quotaExceeded')

  • Visualizza gli errori in Cloud Audit Logs.

    Ad esempio, utilizzando Esplora log, la seguente query restituisce errori con Quota exceeded o limit nella stringa del messaggio:

    resource.type = ("bigquery_project" OR "bigquery_dataset")
protoPayload.status.code ="7"
protoPayload.status.message: ("Quota exceeded" OR "limit")

    In questo esempio, il codice di stato 7 indica PERMISSION_DENIED, che corrisponde al codice di stato HTTP 403.

    Per altri esempi di query di Cloud Audit Logs, consulta BigQuery query.

Errori relativi al limite della coda di query

Se un progetto tenta di accodare in modo più interattivo o in batch rispetto alla sua il limite di coda lo consente, potresti riscontrare questo errore.

Messaggio di errore

Quota exceeded: Your project and region exceeded quota for
max number of jobs that can be queued per project.

Risoluzione

Per risolvere questo errore di quota:

  • Metti in pausa il job. Se identifichi un processo o un responsabile di un aumento delle query, quindi metti in pausa il processo oppure nel tuo flusso di lavoro.

  • Utilizza job con priorità batch. Puoi aggiungere altri elementi alla coda query in batch rispetto a query query.

  • Distribuisci le query. Organizzare e distribuire il carico tra diverse dei progetti in base alla natura delle tue query e alle tue esigenze aziendali.

  • Distribuisci i tempi di esecuzione. Distribuisci il carico su un periodo di tempo più lungo. Se tuo di report deve eseguire molte query, provare a introdurre un po' di casualità all'avvio delle query. Ad esempio, non avviare tutti i report contemporaneamente.

  • Utilizza BigQuery BI Engine. Se hai riscontrato questo errore durante l'utilizzo di un strumento di business intelligence (BI) creare dashboard che eseguono query sui dati in BigQuery, consigliamo di utilizzare BigQuery BI Engine. L'utilizzo di BigQuery BI Engine è ottimale per questo caso d'uso.

  • Ottimizza le query e il modello dei dati. Spesso, una query può essere riscritta in modo che venga eseguito in modo più efficiente. Ad esempio, se la query contiene un'intestazione Comune espressione di tabella (CTE)–WITH clausola, a cui viene fatto riferimento in più di da un punto della query, il calcolo viene eseguito più volte. È mantenere i calcoli eseguiti dalla CTE in una tabella temporanea e quindi farvi riferimento nella query.

    Un join multiplo può anche essere la causa di mancanza di efficienza. In questo caso, prendere in considerazione l'utilizzo colonne nidificate e ripetute. L'uso di questo strumento spesso migliora la località dati, elimina la necessità di alcuni join e nel complesso riduce il consumo e il tempo di esecuzione della query.

    L'ottimizzazione delle query le rende più economiche, quindi quando utilizzi prezzi basati sulla capacità, puoi eseguire più query con i tuoi slot. Per ulteriori informazioni, vedi Introduzione all'ottimizzazione delle query del rendimento.

  • Ottimizza il modello di query. BigQuery non è relazionale per configurare un database. Non è ottimizzato per un numero infinito di query di piccole dimensioni. Esecuzione un numero elevato di query di piccole dimensioni esaurisce rapidamente le tue quote. Questo tipo di query non vengono eseguite con la stessa efficienza dei prodotti di database più piccoli. BigQuery è un data warehouse di grandi dimensioni e questo è il suo utilizzo principale per verificare se è così. Offre i migliori risultati con query analitiche su grandi quantità di dati.

  • I dati rimangono persistenti (tabelle salvate). Pre-elabora i dati in BigQuery e archiviarlo in altre tabelle. Ad esempio, se eseguire molte query simili, con elevata intensità di calcolo, con WHERE i risultati non vengono memorizzati nella cache. Queste query utilizzano inoltre a ogni esecuzione. Puoi migliorare le prestazioni di queste query e ridurre i tempi di elaborazione pre-computando i dati e archiviandoli una tabella. SELECT può eseguire query su questi dati precalcolati nella tabella query. Questa operazione può essere svolta spesso durante l'importazione all'interno del processo ETL o utilizzando le query pianificate viste materializzate.

  • Usa la modalità dry run. Esegui le query in modalità dry run, che stima il numero di byte letti ma non elabora effettivamente query.

  • Visualizzare l'anteprima dei dati della tabella. Per sperimentare o esplorare i dati anziché eseguire query, visualizzare in anteprima i dati delle tabelle con funzionalità di anteprima della tabella.

  • Utilizza i risultati delle query memorizzati nella cache. Tutti i risultati delle query, comprese le query interattive e batch, vengono memorizzati nella cache in tabelle temporanee per circa 24 ore con alcune eccezioni. Quando una query memorizzata nella cache viene comunque conteggiata ai fini della query in parallelo limite, le query che usano i risultati memorizzati nella cache sono molto più veloci rispetto alle query che non usano risultati memorizzati nella cache perché BigQuery non ha bisogno per calcolare il set di risultati.

Numero di modifiche delle partizioni per gli errori di quota delle tabelle partizionate per colonne

BigQuery restituisce questo errore quando la tabella partizionata per colonne raggiunge del numero di modifiche alla partizione consentite al giorno. Le modifiche delle partizioni includono il totale di tutti i job di caricamento, job di copia e job di query che aggiungono o sovrascrivono una partizione di destinazione.

Per vedere il valore del campo Numero di partizione limite di modifiche per tabella partizionata in colonne al giorno, consulta per le tabelle.

Messaggio di errore

Quota exceeded: Your table exceeded quota for
Number of partition modifications to a column partitioned table

Risoluzione

Questa quota non può essere aumentata. Per risolvere questo errore di quota:

  • Modifica il partizionamento nella tabella per avere più dati in ogni partizione, in per diminuire il numero totale di partizioni. Ad esempio, cambia da dal partizionamento per giorno al partizionamento per mese o modificare la partizione della tabella.
  • Utilizza il clustering anziché eseguire il partizionamento.
  • Se carichi spesso dati da più file di piccole dimensioni archiviati in Cloud Storage che utilizza un per file, quindi combina più job di caricamento in un unico job. Puoi caricare file da più file Gli URI Cloud Storage con un elenco separato da virgole (ad esempio gs://my_path/file_1,gs://my_path/file_2) oppure utilizzando caratteri jolly (ad esempio, gs://my_path/*).

    Per ulteriori informazioni, vedi Caricamento in batch dei dati.

  • Ad esempio, se utilizzi i job di caricamento, selezione o copia per aggiungere singole righe di dati a una tabella, prendere in considerazione di raggruppare più job in un unico job. BigQuery non ha prestazioni soddisfacenti se utilizzato come database relazionale. Come best practice, evita di eseguire frequenti aggiunte su riga singola azioni.
  • Per aggiungere dati a una velocità elevata, valuta la possibilità di utilizzare API BigQuery Storage Writer. È una soluzione consigliata per l'importazione dati ad alte prestazioni. L'API BigQuery StorageWrite offre funzionalità solide, tra cui la semantica della consegna "exactly-once". Per saperne di più su limiti e quote, consulta API Storage Scrivi e per vedere i costi di utilizzo dell'API, vedere Prezzi di importazione dati di BigQuery.
  • Per monitorare il numero di partizioni modificate in una tabella, utilizza INFORMATION_SCHEMA visualizzazione.

Errori di quota relativi agli inserimenti di flussi di dati

Questa sezione fornisce alcuni suggerimenti per la risoluzione dei problemi relativi alle quote per i flussi di dati in BigQuery.

In alcune aree geografiche, gli inserimenti di flussi di dati hanno una quota maggiore se non immetti dati nel campo insertId per ogni riga. Per ulteriori informazioni sulle quote per gli inserimenti di flussi di dati, consulta la pagina relativa agli Inserimento di flussi di dati. Gli errori relativi alle quote per i flussi di dati di BigQuery dipendono dalla presenza o dall'assenza di un valore nel campo insertId.

Messaggio di errore

Se il campo insertId è vuoto, si può verificare il seguente errore di quota:

Limite quota Messaggio di errore
Byte al secondo per progetto La tua entità con ID GAIA GAIA_ID, progetto PROJECT_ID e area geografica REGION ha superato la quota di inserimento byte al secondo.

Se il campo insertId è compilato, si possono verificare i seguenti errori di quota:

Limite quota Messaggio di errore
Righe al secondo per progetto Il tuo progetto PROJECT_ID in REGION ha superato la quota per l'inserimento di righe di flussi di dati al secondo.
Righe al secondo per tabella La tua tabella TABLE_ID ha superato la quota per l'inserimento di righe di flussi di dati al secondo.
Byte al secondo per tabella La tua tabella TABLE_ID ha superato la quota per l'inserimento di byte di flussi di dati al secondo.

Lo scopo del campo insertId è deduplicare le righe inserite. Se arrivano più inserimenti con lo stesso insertId nel giro di pochi minuti, BigQuery scrive un'unica versione del record. Tuttavia, questa deduplicazione automatica non è garantita. Per la massima velocità effettiva di trasmissione dei flussi di dati, ti consigliamo di non includere insertId e di usare invece la deduplicazione manuale. Per ulteriori informazioni, consulta la pagina relativa a come garantire la coerenza dei dati.

Quando si verifica questo errore, diagnostica il problema e segui la procedura consigliata per risolverlo.

Diagnosi

Usa le viste STREAMING_TIMELINE_BY_* per analizzare il traffico dei flussi di dati. Queste viste aggregano le statistiche relative ai flussi di dati in intervalli di un minuto, raggruppate per codice di errore. Gli errori di quota vengono visualizzati nei risultati con error_code uguale a RATE_LIMIT_EXCEEDED o QUOTA_EXCEEDED.

A seconda del limite di quota specifico raggiunto, fai riferimento a total_rows o total_input_bytes. Se l'errore riguarda una quota a livello di tabella, filtra per table_id.

Ad esempio, la seguente query mostra i byte totali importati al minuto numero totale di errori di quota:

SELECT
 start_timestamp,
 error_code,
 SUM(total_input_bytes) as sum_input_bytes,
 SUM(IF(error_code IN ('QUOTA_EXCEEDED', 'RATE_LIMIT_EXCEEDED'),
     total_requests, 0)) AS quota_error
FROM
 `region-us`.INFORMATION_SCHEMA.STREAMING_TIMELINE_BY_PROJECT
WHERE
  start_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 1 DAY)
GROUP BY
 start_timestamp,
 error_code
ORDER BY 1 DESC

Risoluzione

Per risolvere questo errore di quota:

  • Se utilizzi il campo insertId per la deduplicazione e il tuo progetto è in una regione che supporta una quota di flussi di dati più elevata, consigliamo di rimuovere campo insertId. Questa soluzione potrebbe richiedere passaggi aggiuntivi per la deduplicazione manuale dei dati. Per ulteriori informazioni, vedi Rimozione manuale dei duplicati.

  • Se non usi insertId, oppure non è possibile rimuoverlo, monitora il traffico dei flussi di dati per un periodo di 24 ore e analizza gli errori di quota:

    • Se risultano soprattutto errori RATE_LIMIT_EXCEEDED anziché errori QUOTA_EXCEEDED e il traffico complessivo è inferiore all'80% della quota, gli errori indicano probabilmente picchi temporanei. Puoi risolvere questi errori riprovando utilizzando il backoff esponenziale tra nuovi tentativi.

    • Se utilizzi un job Dataflow per inserire dati, valuta la possibilità di usare dei job di caricamento anziché dei flussi di dati inseriti. Per ulteriori informazioni, consulta la sezione Impostazione dell'inserimento . Se utilizzi Dataflow con un connettore I/O personalizzato, prendi in considerazione utilizzando invece un connettore I/O integrato. Per ulteriori informazioni, consulta la sezione pattern I/O.

    • Se noti QUOTA_EXCEEDED errori o il traffico complessivo in modo coerente superi l'80% della quota, richiedi un aumento della quota. Per ulteriori informazioni le informazioni, vedi Richiedere un limite di quota superiore.

    • Valuta anche la possibilità di sostituire gli inserimenti di flussi di dati con il più recente L'API StorageWrite, che ha una velocità effettiva più elevata, un prezzo più basso e molte funzionalità utili.

Caricamento degli errori di quota dei file CSV

Se carichi un file CSV di grandi dimensioni utilizzando il comando bq load con --allow_quoted_newlines flag, potresti riscontrare questo errore.

Messaggio di errore

Input CSV files are not splittable and at least one of the files is larger than
the maximum allowed size. Size is: ...

Risoluzione

Per risolvere questo errore di quota:

  • Imposta il flag --allow_quoted_newlines su false.
  • Suddividi il file CSV in blocchi più piccoli di dimensioni inferiori a 4 GB.

Per ulteriori informazioni sui limiti che si applicano quando carichi i dati in BigQuery, vedi Job di caricamento.

Le importazioni delle tabelle o la query aggiungono errori di quota

BigQuery restituisce questo messaggio di errore quando la tabella raggiunge la limite per operazioni giornaliere per le tabelle standard. Le operazioni tabella includono totale combinato di tutti i job di caricamento, job di copia e job di query che aggiungono o sovrascrivono una tabella di destinazione.

Per visualizzare il valore del limite Operazioni tabella al giorno, consulta Standard per le tabelle.

Messaggio di errore

Your table exceeded quota for imports or query appends per table

Quando si verifica questo errore, diagnostica il risolvere il problema e seguire i passaggi consigliati per risolverlo.

Diagnosi

Se non hai identificato l'origine da cui viene effettuata la maggior parte delle operazioni di tabella di origine, procedi nel seguente modo:

  1. Prendi nota del progetto, del set di dati e della tabella in cui la query non riuscita viene caricata, o il job di copia sta scrivendo.

  2. Utilizza le tabelle INFORMATION_SCHEMA.JOBS_BY_* per scoprire di più sui job che modificano la tabella.

    L'esempio seguente trova il conteggio orario dei job raggruppati per tipo di prestazione per in un periodo di 24 ore utilizzando JOBS_BY_PROJECT. Se prevedi che vengono progetti con cui scrivere nella tabella, sostituisci JOBS_BY_PROJECT con JOBS_BY_ORGANIZATION.

    SELECT
  TIMESTAMP_TRUNC(creation_time, HOUR),
  job_type,
  count(1)
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
#Adjust time
WHERE creation_time BETWEEN "2021-06-20 00:00:00" AND "2021-06-21 00:00:00"
AND destination_table.project_id = "my-project-id"
AND destination_table.dataset_id = "my_dataset"
AND destination_table.table_id = "my_table"
GROUP BY 1, 2
ORDER BY 1 DESC

Risoluzione

Questa quota non può essere aumentata. Per risolvere questo errore di quota:

  • Se carichi spesso dati da più file di piccole dimensioni archiviati in Cloud Storage che utilizza un per file, quindi combina più job di caricamento in un unico job. Puoi caricare file da più file Gli URI Cloud Storage con un elenco separato da virgole (ad esempio gs://my_path/file_1,gs://my_path/file_2) oppure utilizzando caratteri jolly (ad esempio, gs://my_path/*).

    Per ulteriori informazioni, vedi Caricamento in batch dei dati.

  • Ad esempio, se utilizzi i job di caricamento, selezione o copia per aggiungere singole righe di dati a una tabella, prendere in considerazione di raggruppare più job in un unico job. BigQuery non ha prestazioni soddisfacenti se utilizzato come database relazionale. Come best practice, evita di eseguire frequenti aggiunte su riga singola azioni.
  • Per aggiungere dati a una velocità elevata, valuta la possibilità di utilizzare API BigQuery Storage Writer. È una soluzione consigliata per l'importazione dati ad alte prestazioni. L'API BigQuery StorageWrite offre funzionalità solide, tra cui la semantica della consegna "exactly-once". Per saperne di più su limiti e quote, consulta API Storage Scrivi e per vedere i costi di utilizzo dell'API, vedere Prezzi di importazione dati di BigQuery.
  • Per monitorare il numero di partizioni modificate in una tabella, utilizza INFORMATION_SCHEMA visualizzazione.

Frequenza massima di errori relativi al limite delle operazioni di aggiornamento dei metadati delle tabelle

BigQuery restituisce questo errore quando la tabella raggiunge il limite di frequenza massima di operazioni di aggiornamento dei metadati delle tabelle per tabella per le tabelle standard. Le operazioni tabella includono il totale combinato di tutti i job di caricamento, job di copia e job di query che aggiungono o sovrascrivono una tabella di destinazione o che utilizzano un DML DELETE, INSERT, MERGE, TRUNCATE TABLE o UPDATE per scrivere dati in una tabella.

Per visualizzare il valore dell'opzione Frequenza massima di aggiornamento dei metadati della tabella numero massimo di operazioni per tabella, vedi Tabelle standard.

Messaggio di errore

Exceeded rate limits: too many table update operations for this table

Quando si verifica questo errore, diagnostica il risolvere il problema e seguire i passaggi consigliati per risolverlo.

Diagnosi

Gli aggiornamenti delle tabelle di metadati possono provenire da chiamate API che modificano o da job che modificano i contenuti di una tabella. Se non disponi identificato l'origine da cui la maggior parte delle operazioni di aggiornamento ai metadati di una tabella hanno origine, procedi nel seguente modo:

Identifica le chiamate API

  1. Vai alla navigazione Google Cloud il menu e seleziona Logging > Esplora log:

    Vai a Esplora log

  2. Filtra i log per visualizzare le operazioni della tabella eseguendo questa query:

    resource.type="bigquery_dataset"
protoPayload.resourceName="projects/my-project-id/datasets/my_dataset/tables/my_table"
(protoPayload.methodName="google.cloud.bigquery.v2.TableService.PatchTable" OR
protoPayload.methodName="google.cloud.bigquery.v2.TableService.UpdateTable" OR
protoPayload.methodName="google.cloud.bigquery.v2.TableService.InsertTable")
Identifica i job

La seguente query restituisce un elenco di job che modificano la tabella interessata in del progetto. Se prevedi più progetti in un'organizzazione per scrivere nella tabella, sostituisci JOBS_BY_PROJECT con JOBS_BY_ORGANIZATION.

SELECT
 job_id,
 user_email,
 query
#Adjust region
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
#Adjust time
WHERE creation_time BETWEEN "2021-06-21 10:00:00" AND "2021-06-21 20:00:00"
AND destination_table.project_id = "my-project-id"
AND destination_table.dataset_id = "my_dataset"
AND destination_table.table_id = "my_table"

Per ulteriori informazioni, consulta Audit log di BigQuery Panoramica.

Risoluzione

Questa quota non può essere aumentata. Per risolvere questo errore di quota:

  • Riduci la frequenza di aggiornamento per i metadati della tabella.
  • Aggiungi un ritardo tra i job o le operazioni della tabella per assicurarti che la frequenza di aggiornamento rientra nel limite.

  • Per l'inserimento o la modifica di dati, valuta la possibilità di utilizzare operazioni DML. DML le operazioni non sono interessate dalla Frequenza massima di aggiornamento dei metadati della tabella di operazioni per tabella.

    Le operazioni DML hanno altri limiti e quote. Per ulteriori informazioni, consulta la sezione Utilizzo DML (Data Manipulation Language).

  • Se carichi spesso dati da più file di piccole dimensioni archiviati in Cloud Storage che utilizza un per file, quindi combina più job di caricamento in un unico job. Puoi caricare file da più file Gli URI Cloud Storage con un elenco separato da virgole (ad esempio gs://my_path/file_1,gs://my_path/file_2) oppure utilizzando caratteri jolly (ad esempio, gs://my_path/*).

    Per ulteriori informazioni, vedi Caricamento in batch dei dati.

  • Ad esempio, se utilizzi i job di caricamento, selezione o copia per aggiungere singole righe di dati a una tabella, prendere in considerazione di raggruppare più job in un unico job. BigQuery non ha prestazioni soddisfacenti se utilizzato come database relazionale. Come best practice, evita di eseguire frequenti aggiunte su riga singola azioni.
  • Per aggiungere dati a una velocità elevata, valuta la possibilità di utilizzare API BigQuery Storage Writer. È una soluzione consigliata per l'importazione dati ad alte prestazioni. L'API BigQuery StorageWrite offre funzionalità solide, tra cui la semantica della consegna "exactly-once". Per saperne di più su limiti e quote, consulta API Storage Scrivi e per vedere i costi di utilizzo dell'API, vedere Prezzi di importazione dati di BigQuery.
  • Per monitorare il numero di partizioni modificate in una tabella, utilizza INFORMATION_SCHEMA visualizzazione.

Numero massimo di errori relativi al limite delle richieste API

BigQuery restituisce questo errore quando raggiungi la limitazione di frequenza per di richieste API a un'API BigQuery per utente per metodo, ad esempio ad esempio, la classe tables.get da un account di servizio oppure dall'jobs.insert da un altro indirizzo email dell'utente. Per ulteriori informazioni, consulta la sezione Numero massimo di richieste API al secondo per per utente per metodo in Tutte le API BigQuery.

Messaggio di errore 

Quota exceeded: Your user_method exceeded quota for concurrent api requests
per user per method.

Quando si verifica questo errore, diagnostica il risolvere il problema e seguire i passaggi consigliati per risolverlo.

Diagnosi

Se non hai identificato il metodo che ha raggiunto questo limite di frequenza, procedi come descritto di seguito seguenti:

Per l'account di servizio

  1. Vai al progetto che ospita l'account di servizio.

  2. Nella console Google Cloud, vai alla dashboard delle API.

    Per istruzioni su come visualizzare informazioni dettagliate sull'utilizzo di un'API, consulta Utilizzo della dashboard delle API.

  3. Nella dashboard delle API, seleziona API BigQuery.

  4. Per visualizzare informazioni più dettagliate sull'utilizzo, seleziona Metriche ed esegui le seguenti:

    1. Per Seleziona grafici, seleziona Traffico per metodo API.

    2. Filtra il grafico in base alle credenziali dell'account di servizio. Potresti vedere picchi per un metodo nell'intervallo di tempo in cui hai notato l'errore.

Per le chiamate API

Alcune chiamate API registrano errori nel controllo di BigQuery in Cloud Logging. Per identificare il metodo che ha raggiunto il limite, procedi nel seguente modo: seguenti:

  1. Nella console Google Cloud, vai al menu di navigazione Google Cloud menu e poi seleziona Logging > Esplora log per il tuo progetto:

    Vai a Esplora log

  2. Filtra i log eseguendo questa query:

     resource.type="bigquery_resource"
 protoPayload.authenticationInfo.principalEmail="<user email or service account>"
 "Too many API requests per user per method for this user_method"
 In the log entry, you can find the method name under the property protoPayload.method_name.

    Per ulteriori informazioni, consulta Audit log di BigQuery Panoramica.

Risoluzione

Per risolvere questo errore di quota:

  • Riduci il numero di richieste API o aggiungi un ritardo tra più richieste API per fare in modo che il numero di richieste rimanga al di sotto di questo limite.

  • Se il limite viene superato solo occasionalmente, puoi implementare nuovi tentativi in questo un errore specifico con il backoff esponenziale.

  • Se inserisci spesso dati, valuta la possibilità di inserimenti di flussi di dati perché i flussi di dati gli inserti sono non è interessata dalla quota dell'API BigQuery. Tuttavia, il flusso di dati inserisce l'API ha dei costi associati e una serie di limiti e quote.

    Per informazioni sul costo dell'inserimento di flussi di dati, consulta Prezzi di BigQuery.

  • Durante il caricamento dei dati in BigQuery con Dataflow con il connettore BigQuery I/O, potrebbe riscontrare questo errore per tables.get . Per risolvere il problema:

    • Imposta l'istruzione di creazione della tabella di destinazione su CREATE_NEVER. Per ulteriori informazioni informazioni, consulta Creare una disposizione.

    • Utilizza l'SDK Apache Beam versione 2.24.0 o successiva. Nella versioni precedenti dell'SDK, la disposizione CREATE_IF_NEEDED chiama il metodo tables.get per verificare se la tabella esiste.

  • Per richiedere un aumento della quota, contatta l'assistenza o il team di vendita. Per quota aggiuntiva, consulta Richiedere un aumento della quota. L'elaborazione della richiesta di un aumento della quota potrebbe richiedere diversi giorni. Per offrire di più informazioni per la tua richiesta, ti consigliamo di la tua richiesta include la priorità del job, l'utente che esegue la query e il metodo interessato.

Il tuo progetto ha superato la quota di byte di query gratuiti analizzati

BigQuery restituisce questo errore quando esegui una query nel di utilizzo e l'account raggiunge il limite mensile di dimensioni dei dati con cui viene eseguita la query. Per ulteriori informazioni sulle Query (analisi), consulta Gratuite livello di utilizzo.

Messaggio di errore 

Your project exceeded quota for free query bytes scanned

Risoluzione

Per continuare a utilizzare BigQuery, devi eseguire l'upgrade dell'account a un l'account di fatturazione Cloud a pagamento.

Massimo tabledata.list byte al secondo per errori di quota del progetto

BigQuery restituisce questo errore quando il numero di progetto menzionato nel messaggio di errore raggiunge la dimensione massima dei dati che possono essere letti la chiamata API tabledata.list in un progetto al secondo. Per ulteriori informazioni, vedi Massimo tabledata.list byte al minuto.

Messaggio di errore

Your project:[project number] exceeded quota for tabledata.list bytes per second per project

Risoluzione

Per risolvere questo errore:

  • In generale, ti consigliamo di cercare di rimanere al di sotto di questo limite. Ad esempio, per distanziare le richieste in un periodo più lungo con ritardi. Se l'errore non viene visualizzato si verificano di frequente, implementando nuovi tentativi con backoff esponenziale risolve il problema.
  • Se il caso d'uso prevede una lettura rapida e frequente di grandi quantità di dati una tabella, consigliamo di utilizzare l'API BigQuery Storage Read anziché l'API tabledata.list.

  • Se i suggerimenti precedenti non funzionano, puoi richiedere un aumento della quota da Dashboard dell'API Google Cloud Console:

    1. Vai alla dashboard dell'API Google Cloud Console.
    2. Nella dashboard, filtra per Quota: Tabledata list bytes per minute (default quota).
    3. Seleziona la quota e segui le istruzioni in Richiedere un limite di quota più elevato.

    Potrebbero essere necessari diversi giorni per esaminare ed elaborare la richiesta.

Troppe istruzioni DML in sospeso rispetto alla tabella

Questo errore indica che il numero di istruzioni DML mutanti simultanee (UPDATE, DELETE, MERGE) in esecuzione sulla stessa tabella ha superato il limite il limite di quota DML (Data Manipulation Language). Questo limite di quota è per tabella, e si applica solo al DML mutante, che non include INSERT.

Risoluzione

Raggruppa i job DML seguendo le best practice per le istruzioni DML.

Numero massimo di job di copia al giorno per errori di quota del progetto

BigQuery restituisce questo errore quando il numero di job di copia in esecuzione di un progetto ha superato il limite giornaliero. Per scoprire di più sul limite relativo alla copia di job al giorno, vedi Copia di job.

Messaggio di errore

Your project exceeded quota for copies per project

Diagnosi

Se vuoi raccogliere più dati sulla provenienza dei job di copia, puoi provare quanto segue:

  • Se i job di copia si trovano in una sola regione o solo in poche regioni, puoi provare eseguendo una query su INFORMATION_SCHEMA.JOBS per quella o le regioni specifiche. Ad esempio: 
    SELECT
creation_time, job_id, user_email, destination_table.project_id, destination_table.dataset_id, destination_table.table_id
FROM `PROJECT_ID`.`REGION_NAME`.INFORMATION_SCHEMA.JOBS
WHERE
creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 2 DAY) AND CURRENT_TIMESTAMP()
AND job_type = "COPY"
order by creation_time DESC
    La parte REGION_NAME deve essere sostituita con il nome della regione incluso il prefisso region-. Ad esempio, region-us , region-asia-south1. Puoi anche regolare l'intervallo di tempo a seconda dell'intervallo di tempo che ti interessa.
  • Per visualizzare tutti i job di copia in tutte le regioni, puoi utilizzare il seguente filtro in Cloud Logging: 
    resource.type="bigquery_resource"
protoPayload.methodName="jobservice.insert"
protoPayload.serviceData.jobInsertRequest.resource.jobConfiguration.tableCopy:*

Risoluzione

  • Se l'obiettivo delle operazioni di copia frequenti è creare uno snapshot dei dati, valuta la possibilità di utilizzare gli snapshot delle tabelle . Gli snapshot delle tabelle sono un'alternativa più economica e veloce alla copia di tabelle complete.
  • Per richiedere un aumento della quota, contatta assistenza o vendite. Potrebbero essere necessari diversi giorni per la revisione elaborare la richiesta. Consigliamo di indicare priorità, caso d'uso e dell'ID progetto nella richiesta.

Numero massimo di query in parallelo che contengono funzioni remote

BigQuery restituisce questo errore quando il numero di istanze che contengono funzioni remote supera il limite.

Per scoprire di più sul limite delle Funzioni remote, vedi Funzioni remote.

Messaggio di errore

Exceeded rate limits: too many concurrent queries with remote functions for
this project

Diagnosi

Per vedere i limiti per le query simultanee che contengono telecomando , vedi le funzioni Limiti delle funzioni remote.

Risoluzione

  • Quando utilizzi le funzioni da remoto, rispetta le best practice per le funzioni .
  • Per richiedere un aumento della quota, contatta assistenza o vendite. Potrebbero essere necessari diversi giorni per la revisione elaborare la richiesta. Consigliamo di indicare priorità, caso d'uso e dell'ID progetto nella richiesta.

Errori relativi ai limiti di dimensioni dello shuffling

BigQuery restituisce questo errore quando il progetto supera il limite massimo del disco e della memoria disponibili per le operazioni di shuffling.

Questa quota viene calcolata per prenotazione e suddivisa tra i progetti per prenotazioni. La quota non può essere modificata dall'assistenza clienti Google Cloud. Puoi apprendere Scopri di più sull'utilizzo eseguendo una query sulla vista INFORMATION_SCHEMA.JOBS_TIMELINE.

Messaggio di errore

Viene visualizzato uno dei seguenti messaggi di errore:

  • Quota exceeded: Your project exceeded quota for total shuffle size limit.
  • Resources exceeded: Your project or organization exceeded the maximum
disk and memory limit available for shuffle operations. Consider provisioning
more slots, reducing query concurrency, or using more efficient logic in this
job.

Risoluzione

Per risolvere questo errore:

Numero massimo di istruzioni CREATE MODEL

Questo errore indica che hai superato la quota per le istruzioni CREATE MODEL.

Messaggio di errore

Quota exceeded: Your project exceeded quota for CREATE MODEL queries per project.

Risoluzione

Se superi la quota per istruzioni CREATE MODEL, richiedi un aumento della quota.