Eliminazione pianificata dei cluster

Per evitare di incorrere in addebiti Google Cloud per un cluster inattivo, utilizza la funzionalità di eliminazione pianificata del cluster di Dataproc quando crei un cluster. Questa funzionalità offre opzioni per eliminare un cluster:

• dopo un periodo di inattività del cluster specificato
• in un momento futuro specificato
• dopo un determinato periodo che decorre dal momento dell'invio del richiesta di creazione del cluster

di Gemini Advanced.

Nota: i job in esecuzione su un cluster quando questo viene eliminato non riusciranno.

Calcolo del tempo di inattività del cluster

dataproc:dataproc.cluster-ttl.consider-yarn-activity proprietà cluster influisce sul calcolo del tempo di inattività del cluster, come segue:

• Questa proprietà è attiva (impostata su true) per impostazione predefinita.
• Quando questa proprietà è abilitata, sia YARN sia API Dataproc Jobs l'attività deve essere inattiva per poter iniziare e continuare a incrementare il tempo di inattività del cluster calcolo.
  • L'attività YARN include applicazioni YARN in attesa ed in esecuzione.
  • L'attività dell'API Dataproc Jobs include i job in attesa e in esecuzione inviate all'API Dataproc Jobs.
• Quando questa proprietà è impostata su false, l'attività dell'API Dataproc Jobs deve essere inattiva per avviare e continuare ad aumentare il calcolo del tempo di inattività del cluster.

Nota: questa proprietà si applica solo ai cluster creati con le versioni delle immagini rilasciate a partire dal 1.4.64, dal 1.5.39 e dal 2.0.13. Per i cluster creati con versioni dell'immagine precedenti, nel calcolo del tempo di inattività del cluster viene considerata solo l'attività dell'API Dataproc Jobs.

Limitazioni:

• Non puoi modificare un cluster in modo che sia un cluster con eliminazione pianificata. Tuttavia, puoi aggiornare un cluster di eliminazione pianificata per rimuovere i valori di eliminazione pianificata impostati in precedenza.
• Le seguenti azioni disabilitano l'eliminazione pianificata dei cluster. Se eseguire una qualsiasi di queste azioni, devi annullarla per riattivare il cluster l'eliminazione pianificata.
  • Rimozione dell'associazione IAM di "Identità del piano di controllo" al ruolo Agente di servizio Dataproc
  • Disabilitazione dell'API Dataproc durante l'esecuzione dei cluster di eliminazione pianificata
  • Attivare la protezione dell'eliminazione delle VM Compute Engine su una delle VM del cluster di eliminazione pianificata
  • Attivazione di Controlli di servizio VPC se la "identità del control plane" non rientra nei confini del perimetro

Utilizzo dell'eliminazione pianificata dei cluster

Comando g-cloud

Puoi creare un cluster con la funzionalità di eliminazione pianificata del cluster passando il parametro i seguenti flag di eliminazione pianificata gcloud dataproc clusters create .

Bandiera	Descrizione	Granularità più fine	Valore min	Valore massimo
--max-idle^1	La durata dal momento in cui il cluster entra nello stato inattivo al momento in cui inizia l'eliminazione. Specifica la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni, rispettivamente). Esempi: "30 m" o "1 g" (30 minuti o 1 giorno da quando il cluster diventa inattivo).	1 secondo	5 minuti	14 giorni
--expiration-time^2	L'ora di inizio dell'eliminazione del cluster nel formato data e ora ISO 8601. Un modo semplice per generare la data e l'ora nel formato corretto è tramite Generatore di timestamp. Ad esempio, "2017-08-22T13:31:48-08:00" specifica un'ora di scadenza di 13:21:48 nel fuso orario UTC-8:00.	1 secondo	10 minuti dopo l'ora corrente	14 giorni dall'ora attuale
--max-age^2	La durata dal momento dell'invio della richiesta di creazione del cluster al momento in cui inizia l'eliminazione del cluster. Specifica la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni, rispettivamente). Esempi: "30m" (tra 30 minuti); "1d" (tra 1 giorno).	1 secondo	10 minuti	14 giorni

¹ Puoi superare --max-idle con il flag --expiration-time o --max-age nella richiesta di creazione del cluster. Il primo che diventa true verrà applicato per arrestare il cluster.
² Puoi passare sia il --expiration-time o il flag --max-age al comando cluster create, ma non a entrambi.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --max-idle=duration \
    --expiration-time=time \
    ... other flags ...

Puoi aggiornare un cluster creato con la funzionalità di eliminazione pianificata in modifica o rimuovi le impostazioni di eliminazione pianificata passando la seguente eliminazione pianificata ai flag gcloud dataproc clusters update (gli altri flag di aggiornamento del cluster non possono essere combinati con i flag di eliminazione pianificata).

Bandiera	Descrizione	Granularità più fine	Valore min	Valore massimo
--max-idle^1	La durata dal momento in cui il cluster entra nello stato inattivo al momento in cui inizia l'eliminazione. Specifica la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (secondi, minuti, ore, giorni, rispettivamente). Esempi: "30 m" o "1 g" (30 minuti o 1 giorno da quando il cluster diventa inattivo).	1 secondo	5 minuti	14 giorni
--no-max-idle	Annullamento dell'eliminazione automatica del cluster in base alla durata di inattività del cluster impostata in precedenza dal flag max-idle	non applicabile	non applicabile	non applicabile
--expiration-time^2	Il momento di iniziare a eliminare il cluster nel formato data/ora ISO 8601. Un modo semplice per generare la data e l'ora nel formato corretto è tramite il generatore di timestamp. Ad esempio, "2017-08-22T13:31:48-08:00" specifica un'ora di scadenza di 13:21:48 nel fuso orario UTC-8:00.	1 secondo	10 minuti dall'ora attuale e il nuovo orario non deve essere antecedente a quello impostato in precedenza.	14 giorni dopo l'ora corrente
--max-age^2	La durata dal momento dell'invio della richiesta di aggiornamento del cluster al momento dell'inizio dell'eliminazione del cluster. Fornisci la durata nel formato IntegerUnit, dove l'unità può essere "s, m, h, d" (rispettivamente secondi, minuti, ore, giorni). Esempi: "30 m" (30 minuti da adesso); "1 g" (1 giorno da adesso).	1 secondo	10 minuti e la data e l'ora di eliminazione pianificata aggiornata (ora di aggiornamento + nuova durata massima) non devono essere precedenti a quella impostata in precedenza per l'eliminazione del cluster.	14 giorni
--no-max-age	Annullamento dell'eliminazione automatica del cluster in base all'età massima del cluster impostata in precedenza dal flag max-age o expiration-time	non applicabile	non applicabile	non applicabile

¹ Puoi passare il flag --max-idle con il flag --expiration-time o --max-age nella richiesta di aggiornamento del cluster. Il primo a diventare vero avranno effetto per arrestare il cluster.
² Puoi passare il --expiration-time o il --max-age al comando di aggiornamento del cluster, ma non entrambi.

gcloud dataproc clusters update cluster-name \
    --region=region \
    --max-idle=duration \
    --no-max-age \
    ... other flags

API REST

Puoi creare un cluster con la funzionalità di eliminazione pianificata dei cluster impostando quanto segue ClusterLifecycleConfig campi nel tuo cluster.create o una richiesta API cluster.patch.

Bandiera	Descrizione	Granularità più fine	Valore min	Valore max
idleDeleteTtl^1	La durata dal momento in cui il cluster entra in stato di inattività a quello in cui viene avviata l'eliminazione del cluster. Fornisci una durata in secondi con un massimo di nove cifre frazionarie, terminata da "s". Esempio: "3,5 s".	1 secondo	5 minuti dal momento della creazione o dell'aggiornamento del cluster. Quando aggiorni un cluster, il nuovo valore deve essere maggiore di quello impostato in precedenza. Invia una richiesta cluster.patch con una durata vuota per annullare un valore idleDeleteTtl impostato in precedenza.	14 giorni
autoDeleteTime^2	L'ora di inizio dell'eliminazione del cluster. Fornisci un timestamp in formato "Zulu" UTC RFC 3339, preciso al nanosecondo. Esempio: "2014-10-02T15:01:23.045123456Z".	1 secondo	a 10 minuti dall'ora attuale. Quando aggiorni un cluster, la nuova data e l'ora devono essere successive a quelle impostate in precedenza.	14 giorni dall'ora attuale
autoDeleteTtl^2	La durata dal momento dell'invio della richiesta di creazione o aggiornamento del cluster al momento in cui inizia l'eliminazione del cluster. Specifica una durata in secondi con un massimo di nove cifre frazionarie, terminate da "s". Esempio: "3,5 s".	1 secondo	10 minuti. Quando aggiorni un cluster, la nuova data e l'ora di eliminazione pianificata (ora di aggiornamento + nuova durata massima) devono essere successive a quella impostata in precedenza. Invia una richiesta cluster.patch con una durata vuota per annullare un valore autoDeleteTtl impostato in precedenza.	14 giorni

¹ Puoi impostare entrambi idleDeleteTtl e autoDeleteTime o autoDeleteTtl nella richiesta di creazione del cluster. Il primo a diventare vero avranno effetto per arrestare il cluster.
² Puoi impostare autoDeleteTime o autoDeleteTtl di creare una richiesta di creazione, ma non entrambe.

Console

• Apri la pagina Dataproc Crea un cluster e seleziona il riquadro Personalizza cluster. Scorri verso il basso fino Eliminazione pianificata, quindi seleziona le opzioni da applicare al cluster.

Visualizzazione delle impostazioni del cluster per l'eliminazione pianificata

Comando g-cloud

Puoi usare il comando gcloud dataproc clusters list per confermare che l'eliminazione pianificata sia abilitata per un cluster.

 gcloud dataproc clusters list \
     --region=region

...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
cluster-id   number       ... enabled
...

Puoi utilizzare il comando gcloud dataproc clusters describe per controllare le impostazioni di eliminazione pianificata LifecycleConfig di un cluster.

gcloud dataproc clusters describe cluster-name \
    --region=region

...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime e idleDeleteTtl sono valori di configurazione dell'eliminazione pianificata precedentemente impostati dall'utente nel cluster. Dataproc genera il valore idleStartTime, che corrisponde all'ora di inizio dell'inattività del cluster più recente. Dataproc elimina il cluster se rimane inattivo per idleStartTime + idleDeleteTtl.

API REST

Puoi creare un clusters.list per confermare che l'eliminazione pianificata è abilitata per un cluster.

Console

Puoi visualizzare le impostazioni di eliminazione pianificata del cluster selezionando il nome del cluster da Dataproc Pagina Cluster nel nella console Google Cloud. Nella pagina dei dettagli dei cluster, seleziona CONFIGURAZIONE. Scorri verso il basso l'elenco di configurazioni del cluster per visualizzarlo le impostazioni di eliminazione pianificata.