In questa pagina viene descritto in che modo gli strumenti di Cloud Storage riprovano le richieste non riuscite. e come personalizzare il comportamento dei nuovi tentativi. Descrive inoltre e considerazioni per ritentare le richieste.
Panoramica
Esistono due fattori che determinano se è sicuro eseguire un nuovo tentativo di una richiesta:
- La risposta che ricevi dalla richiesta.
- L'idempotenza della richiesta.
Risposta
La risposta che ricevi dalla richiesta indica se è utile riprovare o meno. Le risposte relative a problemi temporanei sono generalmente ripetibili. D'altra parte, la risposta relativa agli errori permanenti indica che devi apportare modifiche, ad esempio di autorizzazione o configurazione, prima di riprovare a effettuare la richiesta. Le seguenti risposte indicano problemi temporanei che sono utili per riprovare:
- Codici di risposta HTTP
408
,429
e5xx
. - Timeout delle socket e disconnessioni TCP.
Per ulteriori informazioni, consulta i codici di stato e di errore per JSON e XML.
Idempotenza
Una richiesta idempotente può essere eseguita ripetutamente e lascia sempre la risorsa di destinazione nello stesso stato finale. Ad esempio, le richieste di scheda sono sempre idempotenti, perché non modificano le risorse. La creazione di una nuova notifica Pub/Sub, invece, non è mai idempotente, perché viene creato un nuovo ID notifica ogni volta che la richiesta va a buon fine.
Di seguito sono riportati alcuni esempi di condizioni che rendono idempotente un'operazione:
L'operazione ha lo stesso effetto osservabile sulla risorsa scelta come target quando richiesto continuamente.
L'operazione riesce una sola volta.
L'operazione non ha alcun effetto osservabile sullo stato della risorsa target.
Quando ricevi una risposta che può essere riprovata, devi considerare l'idempotenza della richiesta, perché ritentare richieste non idempotenti può portare sulle condizioni di gara e altri conflitti.
Identità condizionale
Un sottoinsieme di richieste è condizionatamente idempotente, il che significa che vengono idempotenti se includono argomenti facoltativi specifici. Per impostazione predefinita, le operazioni per le quali è possibile eseguire nuovamente il tentativo in modo condizionatamente sicuro devono essere ripetute solo se la condizione della richiesta viene soddisfatta. Cloud Storage accetta precondizioni ed ETag come condizioni per le richieste.
Identità delle operazioni
La tabella seguente elenca le operazioni di Cloud Storage che rientrano in ogni categoria di idempotenza.
Identità | Operazioni |
---|---|
Sempre idempotente |
|
IDempotente condizionale |
|
Mai idempotente |
|
1Questo campo è disponibile per l'utilizzo nell'API JSON. Per i campi disponibili per l'uso nelle librerie client, consulta le documentazione relativa alla libreria client.
Come gli strumenti di Cloud Storage implementano le strategie di ripetizione
Console
La console Google Cloud invia richieste a Cloud Storage sul tuo e gestisce qualsiasi backoff necessario.
Riga di comando
I comandi gcloud storage
riprovano a correggere gli errori elencati nella sezione Risposta senza che tu debba intraprendere ulteriori azioni.
Potresti dover intervenire per altri errori, ad esempio:
Credenziali non valide o autorizzazioni insufficienti.
Rete non raggiungibile a causa di un problema di configurazione del proxy.
Per gli errori ripetibili, l'interfaccia a riga di comando gcloud riprova le richieste utilizzando una strategia di backoff esponenziale binario troncato. Il numero predefinito di nuovi tentativi massimi è 32 per l'interfaccia a riga di comando gcloud.
Librerie client
C++
Per impostazione predefinita, le operazioni supportano i tentativi di nuovo invio per i seguenti codici di errore HTTP, nonché eventuali errori di socket che indicano che la connessione è andata persa o non è mai stata stabilita correttamente.
408 Request Timeout
429 Too Many Requests
500 Internal Server Error
502 Bad Gateway
503 Service Unavailable
504 Gateway Timeout
Tutte le impostazioni di backoff esponenziale e di nuovo tentativo nella libreria C++ vengono configurabile. Se gli algoritmi implementati nella libreria non supportano in base alle tue esigenze, puoi fornire codice personalizzato per implementare le tue strategie.
Impostazione | Valore predefinito |
---|---|
Nuovo tentativo automatico | Vero |
Tempo massimo per i nuovi tentativi di una richiesta | 15 minuti |
Tempo di attesa iniziale (backoff) | 1 secondo |
Moltiplicatore del tempo di attesa per iterazione | 2 |
Quantità massima di tempo di attesa | 5 minuti |
Per impostazione predefinita, la libreria C++ proverà nuovamente a eseguire tutte le operazioni con possibilità
anche quelli che non sono mai idempotenti e che possono eliminare o creare
più risorse in caso di esito positivo ripetuto. Per riprovare solo le operazioni idempotenti, utilizza la classe google::cloud::storage::StrictIdempotencyPolicy
.
C#
Per impostazione predefinita, la libreria client C# utilizza il backoff esponenziale.
Vai
Per impostazione predefinita, le operazioni supportano i tentativi di nuovo invio per i seguenti errori:
- Errori di connessione:
io.ErrUnexpectedEOF
: questa situazione può essere dovuta a: problemi di rete temporanei.url.Error
contenenteconnection refused
: questo potrebbe verificarsi a causa di problemi di rete temporanei.url.Error
contenenteconnection reset by peer
: Ciò significa che Google Cloud ha reimpostato la connessione.net.ErrClosed
: significa che Google Cloud ha chiuso la connessione.
- Codici HTTP:
408 Request Timeout
429 Too Many Requests
500 Internal Server Error
502 Bad Gateway
503 Service Unavailable
504 Gateway Timeout
- Errori che implementano l'interfaccia
Temporary()
e assegnano un valore dierr.Temporary() == true
- Uno qualsiasi degli errori riportati sopra che è stato aggregato utilizzando wrapping degli errori Go 1.13
Tutte le impostazioni di backoff esponenziale nella libreria Go sono configurabili. Per impostazione predefinita, le operazioni in Go utilizzano le seguenti impostazioni per il backoff esponenziale (quelle predefinite sono prese da gax):
Impostazione | Valore predefinito (in secondi) |
---|---|
Nuovo tentativo automatico | True se idempotente |
Numero massimo di tentativi | Nessun limite |
Ritardo tentativo iniziale | 1 secondo |
Moltiplicatore per ritardo nuovi tentativi | 2.0 |
Ritardo massimo nuovo tentativo | 30 secondi |
Tempo di attesa totale (chunk di caricamento ripristinabile) | 32 secondi |
Timeout totale (tutte le altre operazioni) | Nessun limite |
In generale, il nuovo tentativo continua a tempo indeterminato a meno che il valore di controllo
contesto viene annullato, il client è chiuso oppure viene generato un errore non temporaneo
ricevuto. Per impedire che i nuovi tentativi continuino, utilizza il timeout del contesto o
l'annullamento. L'unica eccezione a questo comportamento si verifica quando esegui caricamenti riavviabili utilizzando Writer, se i dati sono sufficientemente grandi da richiedere più richieste. In questo scenario, per impostazione predefinita ogni frammento scade e smette di riprovare dopo 32 secondi. Puoi aggiustare il timeout predefinito modificando Writer.ChunkRetryDeadline
.
Esiste un sottoinsieme di operazioni Go che sono condizionatamente idempotenti (è possibile riprovare in sicurezza). Queste operazioni ritentano solo se soddisfano determinate condizioni:
GenerationMatch
oGeneration
- Riprovare se è stata applicata una precondizione
GenerationMatch
al o se è stato impostatoObjectHandle.Generation
.
- Riprovare se è stata applicata una precondizione
MetagenerationMatch
- È possibile riprovare se alla chiamata è stata applicata una precondizione
MetagenerationMatch
.
- È possibile riprovare se alla chiamata è stata applicata una precondizione
Etag
- È possibile riprovare se il metodo inserisce un
etag
nel corpo della richiesta JSON. Utilizzato solo inHMACKeyHandle.Update
quandoHmacKeyMetadata.Etag
impostato.
- È possibile riprovare se il metodo inserisce un
RetryPolicy
è impostato su RetryPolicy.RetryIdempotent
per impostazione predefinita. Consulta
Personalizza i nuovi tentativi per trovare esempi su come modificare il nuovo tentativo predefinito.
comportamento degli utenti.
Java
Per impostazione predefinita, le operazioni supportano i tentativi di nuovo invio per i seguenti errori:
- Errori di connessione:
Connection reset by peer
: significa che Google Cloud ha reimpostato la connessione.Unexpected connection closure
: significa che Google Cloud ha chiuso la connessione.
- Codici HTTP:
408 Request Timeout
429 Too Many Requests
500 Internal Server Error
502 Bad Gateway
503 Service Unavailable
504 Gateway Timeout
Tutte le impostazioni di backoff esponenziale nella libreria Java sono configurabili. Per impostazione predefinita, le operazioni tramite Java utilizzano le seguenti impostazioni per il backoff esponenziale:
Impostazione | Valore predefinito (in secondi) |
---|---|
Nuovo tentativo automatico | True se idempotente |
Numero massimo di tentativi | 6 |
Ritardo nuovo tentativo iniziale | 1 secondo |
Moltiplicatore per ritardo nuovi tentativi | 2.0 |
Ritardo massimo nuovo tentativo | 32 secondi |
Timeout totale | 50 secondi |
Tempo di attesa RPC iniziale | 50 secondi |
Multiplicatore del timeout RPC | 1,0 |
Timeout RPC massimo | 50 secondi |
Timeout connessione | 20 secondi |
Timeout di lettura | 20 secondi |
Per ulteriori informazioni sulle impostazioni, consulta la guida di riferimento Java
documentazione per RetrySettings.Builder
e
HttpTransportOptions.Builder
.
Esiste un sottoinsieme di operazioni Java che sono condizionesamente idempotenti (condizionesamente sicure per i tentativi di nuovo invio). Queste operazioni ritentano solo se includono argomenti specifici:
ifGenerationMatch
ogeneration
- È possibile riprovare se
ifGenerationMatch
ogeneration
è stato passato come opzione al metodo.
- È possibile riprovare se
ifMetagenerationMatch
- È possibile riprovare se
ifMetagenerationMatch
è stato passato come opzione.
- È possibile riprovare se
Il valore di StorageOptions.setStorageRetryStrategy
è impostato su
StorageRetryStrategy#getDefaultStorageRetryStrategy
per impostazione predefinita.
Consulta Personalizzare i tentativi ripetuti per esempi su come modificare il comportamento predefinito dei tentativi ripetuti.
Node.js
Per impostazione predefinita, le operazioni supportano i nuovi tentativi per i seguenti codici di errore:
- Errori di connessione:
EAI_again
: questo è un errore di ricerca DNS. Per ulteriori informazioni, vedi la documentazione digetaddrinfo
.Connection reset by peer
: indica che Google Cloud è stato reimpostato la connessione.Unexpected connection closure
: significa che Google Cloud ha chiuso la connessione.
- Codici HTTP:
408 Request Timeout
429 Too Many Requests
500 Internal Server Error
502 Bad Gateway
503 Service Unavailable
504 Gateway Timeout
Tutte le impostazioni di backoff esponenziale nella libreria Node.js sono configurabili. Per impostazione predefinita, le operazioni tramite Node.js utilizzano le seguenti impostazioni per il backoff esponenziale:
Impostazione | Valore predefinito (in secondi) |
---|---|
Nuovo tentativo automatico | True se idempotente |
Numero massimo di nuovi tentativi | 3 |
Tempo di attesa iniziale | 1 secondo |
Moltiplicatore del tempo di attesa per iterazione | 2 |
Tempo di attesa massimo | 64 secondi |
Scadenza predefinita | 600 secondi |
Esiste un sottoinsieme di operazioni Node.js che sono condizionatamente idempotenti (è possibile riprovare in sicurezza). Queste operazioni vengono riprovate solo se includono argomenti specifici:
ifGenerationMatch
ogeneration
- È possibile riprovare se
ifGenerationMatch
ogeneration
è stato passato come opzione al metodo. Spesso, i metodi accettano solo uno di questi due parametri.
- È possibile riprovare se
ifMetagenerationMatch
- È possibile riprovare se
ifMetagenerationMatch
è stato passato come opzione.
- È possibile riprovare se
retryOptions.idempotencyStrategy
è impostato su
IdempotencyStrategy.RetryConditional
per impostazione predefinita. Consulta
Personalizza i nuovi tentativi per trovare esempi su come modificare il nuovo tentativo predefinito.
comportamento degli utenti.
PHP
La libreria client PHP utilizza il backoff esponenziale per impostazione predefinita.
Python
Per impostazione predefinita, le operazioni supportano i nuovi tentativi per i seguenti codici di errore:
- Errori di connessione:
requests.exceptions.ConnectionError
requests.exceptions.ChunkedEncodingError
(solo per le operazioni che recuperano o inviano dati del payload agli oggetti, come caricamenti e download)ConnectionError
- Codici HTTP:
408 Request Timeout
429 Too Many Requests
500 Internal Server Error
502 Bad Gateway
503 Service Unavailable
504 Gateway Timeout
Le operazioni tramite Python utilizzano le seguenti impostazioni predefinite per il backoff esponenziale:
Impostazione | Valore predefinito (in secondi) |
---|---|
Nuovo tentativo automatico | True se idempotente |
Tempo di attesa iniziale | 1 |
Moltiplicatore del tempo di attesa per iterazione | 2 |
Tempo di attesa massimo | 60 |
Scadenza predefinita | 120 |
Esiste un sottoinsieme di operazioni Python condizionalmente idempotenti (condizionalmente sicuri da riprovare) quando includono specifiche argomenti. Queste operazioni ritentano solo se si verifica una richiesta di condizione tessere:
DEFAULT_RETRY_IF_GENERATION_SPECIFIED
- Riprova se è stato superato
generation
oif_generation_match
come argomento al metodo. Spesso i metodi accettano solo uno di questi due parametri.
- Riprova se è stato superato
DEFAULT_RETRY_IF_METAGENERATION_SPECIFIED
- È possibile riprovare se
if_metageneration_match
è stato trasmesso come al metodo.
- È possibile riprovare se
DEFAULT_RETRY_IF_ETAG_IN_JSON
- Riprova se il metodo inserisce un
etag
nella richiesta JSON del testo. PerHMACKeyMetadata.update()
, significa che l'etag deve essere impostato sull'oggettoHMACKeyMetadata
stesso. Per il metodoset_iam_policy()
in altre classi, ciò significa che l'etag deve essere impostato nell'argomento "policy" passato al metodo.
- Riprova se il metodo inserisce un
Ruby
Per impostazione predefinita, le operazioni supportano i tentativi di nuovo invio per i seguenti codici di errore:
- Errori di connessione:
SocketError
HTTPClient::TimeoutError
Errno::ECONNREFUSED
HTTPClient::KeepAliveDisconnected
- Codici HTTP:
408 Request Timeout
429 Too Many Requests
5xx Server Error
Tutte le impostazioni di backoff esponenziale nella libreria client Ruby sono configurabile. Per impostazione predefinita, le operazioni tramite la libreria client Ruby utilizzano le seguenti impostazioni per il backoff esponenziale:
Impostazione | Valore predefinito |
---|---|
Nuovo tentativo automatico | Vero |
Numero massimo di nuovi tentativi | 3 |
Tempo di attesa iniziale | 1 secondo |
Moltiplicatore del tempo di attesa per iterazione | 2 |
Tempo di attesa massimo | 60 secondi |
Scadenza predefinita | 900 secondi |
Esiste un sottoinsieme di operazioni Ruby che sono condizionatamente idempotenti (è possibile riprovare in sicurezza) quando includono argomenti specifici:
if_generation_match
ogeneration
- È possibile riprovare se il parametro
generation
oif_generation_match
viene passato come argomento al metodo. Spesso i metodi accettano solo uno di questi due parametri.
- È possibile riprovare se il parametro
if_metageneration_match
- È possibile riprovare se il parametro
if_metageneration_match
viene passato come opzione.
- È possibile riprovare se il parametro
Per impostazione predefinita, vengono ritentati tutte le operazioni idempotenti e in modo condizionale le operazioni idempotenti vengono ritentate solo se viene rispettata la condizione caso. Le operazioni non idempotenti non vengono tentate di nuovo. Consulta Personalizzare i tentativi di nuovo invio per esempi su come modificare il comportamento predefinito dei tentativi di nuovo invio.
API REST
Quando chiami direttamente l'API JSON o XML, devi utilizzare l'algoritmo di backoff esponenziale per implementare la tua strategia di nuovo tentativo.
Personalizzazione dei nuovi tentativi
Console
Non puoi personalizzare il comportamento dei tentativi di nuovo utilizzando la console Google Cloud.
Riga di comando
Per i comandi gcloud storage
, puoi controllare la strategia di ripetizione creando una configurazione denominata e impostando alcune o tutte le seguenti proprietà:
base_retry_delay
exponential_sleep_multiplier
max_retries
max_retry_delay
Puoi quindi applicare la configurazione definita per ogni comando,
usando il flag a livello di progetto --configuration
o per tutti i
utilizzando il comando gcloud config set
.
Librerie client
C++
Per personalizzare il comportamento di ripetizione dei tentativi, fornisci i valori per le seguenti opzioni quando inizializzi l'oggetto google::cloud::storage::Client
:
google::cloud::storage::RetryPolicyOption
: la libreria fornisce i corsigoogle::cloud::storage::LimitedErrorCountRetryPolicy
egoogle::cloud::storage::LimitedTimeRetryPolicy
. Puoi fornire la tua classe, che deve implementare l'interfacciagoogle::cloud::RetryPolicy
.google::cloud::storage::BackoffPolicyOption
: la raccolta fornisce la classegoogle::cloud::storage::ExponentialBackoffPolicy
. Puoi fornire la tua classe, che deve implementare l'interfacciagoogle::cloud::storage::BackoffPolicy
.google::cloud::storage::IdempotencyPolicyOption
: la raccolta fornisce igoogle::cloud::storage::StrictIdempotencyPolicy
egoogle::cloud::storage::AlwaysRetryIdempotencyPolicy
corsi. Tu puoi fornire la tua classe, che deve implementare interfaccia digoogle::cloud::storage::IdempotencyPolicy
.
Per ulteriori informazioni, consulta la documentazione di riferimento della libreria client C++.
C#
Non puoi personalizzare la strategia predefinita per i nuovi tentativi utilizzata libreria client C#.
Vai
Quando inizializzi un client di archiviazione, verrà eseguita una configurazione predefinita per i nuovi tentativi da impostare. A meno che non vengano sostituite, le opzioni nella configurazione siano impostati sui valori predefiniti. Gli utenti possono configurare un comportamento non predefinito dei nuovi tentativi per una singola chiamata alla libreria (utilizzando BucketHandle.Retryer e ObjectHandle.Retryer) o per tutti chiamate effettuate da un client (utilizzando Client.SetRetry). Per modificare un nuovo tentativo del comportamento, passa il valore RetryOptions pertinente a una di queste opzioni. di machine learning.
Consulta il seguente esempio di codice per scoprire come personalizzare il comportamento di ripetizione.
Java
Quando si inizializza Storage
, viene generata un'istanza di
Anche RetrySettings
è stato inizializzato. A meno che non siano
con override, le opzioni in RetrySettings
sono impostate sul
valori predefiniti. Per modificare il comportamento predefinito per i nuovi tentativi automatici, supera
lo StorageRetryStrategy
personalizzato nella StorageOptions
usata
per creare l'istanza Storage
. Per modificare uno degli altri parametri scalari, passa un RetrySettings
personalizzato al StorageOptions
utilizzato per creare l'istanza Storage
.
Consulta l'esempio seguente per scoprire come personalizzare il comportamento di ripetizione:
Node.js
Quando inizializzazione Cloud Storage, viene inizializzato anche un file di configurazione retryOptions. A meno che non vengano sostituite, le opzioni
nella configurazione sono impostate sui valori predefiniti. Per modificare
comportamento predefinito per i nuovi tentativi, passa la configurazione personalizzata dei nuovi tentativi
retryOptions
nel costruttore di archiviazione al momento dell'inizializzazione.
La libreria client Node.js può utilizzare automaticamente le strategie di backoff per
con il parametro autoRetry
.
Guarda l'esempio di codice riportato di seguito per scoprire come personalizzare un nuovo tentativo comportamento degli utenti.
PHP
Non puoi personalizzare la strategia di ripetizione predefinita utilizzata dalla libreria client PHP.
Python
Per modificare il comportamento di ripetizione predefinito, crea una copia dell'oggetto
google.cloud.storage.retry.DEFAULT_RETRY
chiamandolo con un metodo
with_XXX
. La libreria client Python utilizza automaticamente strategie di backoff per riprovare le richieste se includi il parametro DEFAULT_RETRY
.
Tieni presente che with_predicate
non è supportato per le operazioni che recuperano o inviano dati del payload agli oggetti, come caricamenti e download. Ti consigliamo di modificare gli attributi uno alla volta. Per ulteriori informazioni, consulta la documentazione di riferimento su Retry di google-api-core.
Per configurare un nuovo tentativo condizionale, crea un
ConditionalRetryPolicy
e aggregare l'oggetto Retry
personalizzato
oggetto con DEFAULT_RETRY_IF_GENERATION_SPECIFIED
,
DEFAULT_RETRY_IF_METAGENERATION_SPECIFIED
oppure
DEFAULT_RETRY_IF_ETAG_IN_JSON
.
Consulta il seguente esempio di codice per scoprire come personalizzare il comportamento di ripetizione.
Ruby
Quando viene inizializzato il client di archiviazione, tutte le configurazioni di ripetizione vengono impostate su i valori mostrati nella tabella sopra. Per modificare il comportamento di riprova predefinito, passa le configurazioni di riprova durante l'inizializzazione del client di archiviazione.
Per sostituire il numero di nuovi tentativi per una determinata operazione, supera
retries
nel parametro options
dell'operazione.
API REST
Utilizza l'algoritmo di backoff esponenziale per implementare la tua strategia di ripetizione.
Algoritmo di backoff esponenziale
Un algoritmo di backoff esponenziale riprova le richieste utilizzando tempi di attesa in aumento esponenziale tra le richieste, fino a un tempo di backoff massimo. In genere dovresti utilizzare il backoff esponenziale con il jitter per nuove richieste che soddisfino sia i criteri di risposta sia i criteri di idempotenza. Per il meglio che implementano i nuovi tentativi automatici con backoff esponenziale, consulta Gestire gli errori a cascata.
Passaggi successivi
- Scopri di più sui precondizioni della richiesta.