Per evitare di incorrere in addebiti di Google Cloud per un cluster inattivo, utilizza la funzionalità di eliminazione pianificata dei cluster di Dataproc quando crei un cluster. Questa funzionalità fornisce opzioni per eliminare un cluster:
- dopo un periodo di inattività del cluster specificato
- in un orario futuro specificato
- dopo un periodo specificato che inizia dall'invio della richiesta di creazione del cluster
Utilizzo dell'eliminazione pianificata del cluster
Comando g-cloud
Puoi creare un cluster con la funzionalità di eliminazione pianificata dei cluster passando i seguenti flag di eliminazione pianificata al comando gcloud dataproc clusters create.
| Flag | Descrizione | Massima granularità | Valore min | Valore massimo |
|---|---|---|---|---|
--max-idle1 | La durata dal momento in cui il cluster entra in stato di inattività al momento in cui inizia l'eliminazione. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (rispettivamente secondi, minuti, ore e giorni). Esempi: "30m" o "1d" (30 minuti o 1 giorno da quando il cluster diventa inattivo). | 1 secondo | 5 minuti | 14 giorni |
--expiration-time2 | L'ora di inizio dell'eliminazione del cluster in formato data/ora ISO 8601. Un modo semplice per generare dati di data e ora nel formato corretto è utilizzare il Generatore di timestamp. Ad esempio, "2017-08-22T13:31:48-08:00" specifica l'ora di scadenza 13:21:48 nel fuso orario UTC -8:00. | 1 secondo | 10 minuti dall'ora attuale | 14 giorni dall'ora attuale |
--max-age2 | Il tempo che intercorre dall'invio della richiesta di creazione del cluster a quello in cui inizia l'eliminazione del cluster. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (rispettivamente secondi, minuti, ore e giorni). Esempi: "30m" (30 minuti da adesso); "1g" (1 giorno da adesso). | 1 secondo | 10 minuti | 14 giorni |
gcloud dataproc clusters create cluster-name \ --region=region \ --max-idle=duration \ --expiration-time=time \ ... other flags ...
Puoi aggiornare un cluster creato con la funzionalità di eliminazione pianificata per modificare o rimuovere le impostazioni di eliminazione pianificata passando i seguenti flag di eliminazione pianificata al comando gcloud dataproc clusters update (altri flag di aggiornamento del cluster non possono essere combinati con quelli di eliminazione pianificata).
| Flag | Descrizione | Massima granularità | Valore min | Valore massimo |
|---|---|---|---|---|
--max-idle1 | La durata dal momento in cui il cluster entra in stato di inattività al momento in cui inizia l'eliminazione. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (rispettivamente secondi, minuti, ore e giorni). Esempi: "30m" o "1d" (30 minuti o 1 giorno da quando il cluster diventa inattivo). | 1 secondo | 5 minuti | 14 giorni |
--no-max-idle | Annulla l'eliminazione automatica del cluster in base alla durata di inattività del cluster impostata in precedenza dal flag di inattività massima | non applicabile | non applicabile | non applicabile |
--expiration-time2 | L'ora di inizio dell'eliminazione del cluster in formato data/ora ISO 8601. Un modo semplice per generare dati di data e ora nel formato corretto è utilizzare il Generatore di timestamp. Ad esempio, "2017-08-22T13:31:48-08:00" specifica l'ora di scadenza 13:21:48 nel fuso orario UTC -8:00. | 1 secondo | 10 minuti dall'ora attuale e la nuova ora non deve essere precedente all'ora impostata in precedenza. | 14 giorni dall'ora attuale |
--max-age2 | Il tempo che intercorre tra l'invio della richiesta di aggiornamento del cluster e il momento in cui inizia l'eliminazione del cluster. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (rispettivamente secondi, minuti, ore e giorni). Esempi: "30m" (30 minuti da adesso); "1g" (1 giorno da adesso). | 1 secondo | 10 minuti e la data/ora di eliminazione pianificata aggiornata (ora di aggiornamento + nuova durata massima) non deve essere precedente all'ora di eliminazione del cluster impostata in precedenza. | 14 giorni |
--no-max-age | Annulla l'eliminazione automatica del cluster in base all'età massima impostata in precedenza dal flag di età massima o di tempo di scadenza | non applicabile | non applicabile | non applicabile |
gcloud dataproc clusters update cluster-name \ --region=region \ --max-idle=duration \ --no-max-age \ ... other flags
API REST
Puoi creare un cluster con la funzionalità di eliminazione pianificata dei cluster impostando i seguenti campi ClusterLifecycleConfig nella richiesta API cluster.create o cluster.patch.
| Flag | Descrizione | Massima granularità | Valore min | Valore massimo |
|---|---|---|---|---|
idleDeleteTtl1 |
La durata dal momento in cui il cluster entra in stato di inattività al momento in cui inizia l'eliminazione. Specifica una durata in secondi con un massimo di nove cifre frazionarie, terminate da una "s". Esempio: "3.5 s". | 1 secondo | 5 minuti dal momento della creazione o dell'aggiornamento del cluster. Quando si aggiorna un cluster, il nuovo valore deve essere maggiore del valore impostato in precedenza. Invia una richiesta cluster.patch con una durata vuota per annullare un valore idleDeleteTtl impostato in precedenza. |
14 giorni |
autoDeleteTime2 |
L'ora di inizio dell'eliminazione del cluster. Fornisci un timestamp in formato UTC "Zulu" RFC 3339, preciso al nanosecondo. Esempio: "2014-10-02T15:01:23.045123456Z". | 1 secondo | 10 minuti dall'ora attuale. Quando si aggiorna un cluster, la nuova data/ora deve essere successiva a quella impostata in precedenza. | 14 giorni dall'ora attuale |
autoDeleteTtl2 |
Il tempo che intercorre dall'invio della richiesta di creazione o aggiornamento del cluster a quello in cui inizia l'eliminazione del cluster. Specifica una durata in secondi con un massimo di nove cifre frazionarie, terminate da una "s". Esempio: "3.5 s". | 1 secondo | 10 minuti. Quando si aggiorna un cluster, la nuova data/ora di eliminazione pianificata (tempo di aggiornamento + nuova durata massima) deve essere successiva all'ora di eliminazione del cluster impostata in precedenza. Invia una richiesta cluster.patch con una durata vuota per annullare un valore autoDeleteTtl impostato in precedenza. |
14 giorni |
Console
- Apri la pagina Crea un cluster di Dataproc, quindi seleziona il riquadro Personalizza cluster. Scorri verso il basso fino alla sezione Eliminazione pianificata, quindi seleziona le opzioni da applicare al cluster.
Visualizzazione delle impostazioni del cluster di eliminazione pianificata
Comando g-cloud
Puoi utilizzare il comando gcloud dataproc clusters list per confermare che in un cluster è abilitata l'eliminazione pianificata.
gcloud dataproc clusters list \ --region=region
... NAME WORKER_COUNT ... SCHEDULED_DELETE cluster-id number ... enabled ...
Puoi utilizzare il comando gcloud dataproc clusters describe per controllare le impostazioni di eliminazione pianificata LifecycleConfig di un cluster.
gcloud dataproc clusters describe cluster-name \ --region=region
... lifecycleConfig: autoDeleteTime: '2018-11-28T19:33:48.146Z' idleDeleteTtl: 1800s idleStartTime: '2018-11-28T18:33:48.146Z' ...
autoDeleteTime e idleDeleteTtl sono i
valori di configurazione dell'eliminazione pianificata precedentemente impostati dall'utente nel cluster.
Dataproc genera il valore idleStartTime, che corrisponde
all'ora di inizio di inattività del cluster più recente. Dataproc elimina il cluster se il cluster rimane inattivo a idleStartTime + idleDeleteTtl.
API REST
Puoi effettuare una richiesta clusters.list per confermare che per un cluster è abilitata l'eliminazione pianificata.
Console
Puoi visualizzare le impostazioni di eliminazione pianificata del cluster selezionando il nome del cluster dalla pagina Cluster di Dataproc nella console Google Cloud. Nella pagina dei dettagli del cluster, seleziona la scheda CONFIGURAZIONE. Scorri verso il basso l'elenco delle configurazioni del cluster per visualizzare le impostazioni di eliminazione pianificata.