Problemi noti

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina elenca i problemi noti di Cloud Composer. Per informazioni sulle correzioni dei problemi, consulta le note di rilascio.

Alcuni problemi interessano le versioni precedenti e possono essere risolti con l'upgrade dell'ambiente.

Gli intervalli di indirizzi non RFC 1918 sono supportati parzialmente per i pod e i servizi

Cloud Composer dipende da GKE per fornire il supporto per gli indirizzi non RFC 1918 per i pod e i servizi. In Cloud Composer è supportato solo il seguente elenco di intervalli non RFC 1918:

• 100.64.0.0/10
• 192.0.0.0/24
• 192.0.2.0/24
• 192.88.99.0/24
• 198.18.0.0/15
• 198.51.100.0/24
• 203.0.113.0/24
• 240.0.0.0/4

L'interfaccia utente di Airflow non mostra i log delle attività quando la serializzazione DAG è attiva in Composer 1.10.2 e Composer 1.10.3

L'attivazione della serializzazione DAG negli ambienti che utilizzano le versioni di Composer 1.10.2 e 1.10.3 impedisce la visualizzazione dei log nel server web Airflow. Esegui l'upgrade alla versione 1.10.4 (o successiva) per risolvere il problema.

Errore intermittente dell'attività durante la pianificazione in Cloud Composer

Il problema si verifica nello scheduler Airflow per l'istanza dell'attività durante l'esecuzione di un'attività. Tuttavia, i log non spiegano la causa dell'errore dell'attività e il worker e lo scheduler di Airflow sembravano relativamente integri.

Il messaggio di errore nello scheduler Airflow potrebbe essere simile al seguente:

Executor reports task instance <TaskInstance: xx.xxxx
scheduled__2022-04-21T06:00:00+00:00 [queued]> finished (failed) although the
task says its queued. (Info: None) Was the task killed externally?

In alternativa, potrebbe verificarsi un errore nel worker Airflow simile al seguente messaggio di errore:

Log file is not found: gs://$BUCKET_NAME/logs/$DAG_NAME/$TASK_NAME/
2023-01-25T05:01:17.044759+00:00/1.log.
The task might not have been executed or worker executing it might have
finished abnormally (e.g. was evicted).

Per garantire la robustezza contro questi errori derivanti da un problema di lunga data in Airflow, è vivamente consigliato di implementare proattivamente strategie di ripetizione appropriate sia a livello di attività che di DAG. Incorporando queste misure, il sistema può attenuare efficacemente l'impatto di questi errori, migliorando così l'affidabilità e la resilienza complessiva del flusso di lavoro.

La federazione delle identità per i carichi di lavoro di GKE non è supportata

In Cloud Composer 1, non puoi attivare la federazione delle identità per i carichi di lavoro per GKE per i cluster dell'ambiente Cloud Composer. Di conseguenza, potresti visualizzare il risultato WORKLOAD_IDENTITY_DISABLED in Security Command Center.

Le etichette dell'ambiente aggiunte durante un aggiornamento non vengono propagate completamente

Quando aggiorni le etichette dell'ambiente, queste non vengono applicate alle VM Compute Engine nel cluster dell'ambiente. Come soluzione alternativa, puoi applicare le etichette manualmente.

I log delle attività Airflow non sono disponibili nel server web Airflow dopo l'upgrade da Airflow 1.9.0 ad Airflow 1.10.x

Airflow 1.10.x ha introdotto modifiche non compatibili con le versioni precedenti alla convenzione di denominazione per i file di log. Le informazioni sulle zone vengono ora aggiunte ai nomi dei log per le attività Airflow.

Airflow 1.9.0 memorizza e si aspetta che i nomi dei log siano nel seguente formato: BUCKET/logs/DAG/2020-03-30T10:29:06/1.log Airflow 1.10.x memorizza e si aspetta che i nomi dei log siano nel seguente formato: BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Di conseguenza, se esegui l'upgrade da Airflow 1.9.0 ad Airflow 1.10.x e vuoi leggere il log di un'attività eseguita con Airflow 1.9.0, il server web di Airflow mostrerà il seguente messaggio di errore: Unable to read remote log from BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Soluzione alternativa: rinomina i log generati da Airflow 1.9.0 nel bucket Cloud Storage utilizzando il formato: BUCKET/logs/DAG/2020-03-30T10:29:06+00:00/1.log

Impossibile creare ambienti Cloud Composer con i vincoli delle norme dell'organizzazione/compute.disableSerialPortLogging applicati

La creazione dell'ambiente Cloud Composer non riesce se il criterio dell'organizzazione constraints/compute.disableSerialPortLogging viene applicato al progetto di destinazione.

Nota: questo problema si verifica solo per i cluster creati prima della release di Cloud Composer del 9 novembre 2020. Gli ambienti Cloud Composer creati dopo il 9 novembre 2020 hanno tutti i nodi del cluster GKE creati con serial-logging-enable=false, il che impedisce che si verifichi questo problema.

Diagnosi

Per stabilire se il problema ti riguarda, segui questa procedura:

Vai al menu GKE nella console Google Cloud. Visita il menu GKE

Quindi, seleziona il cluster appena creato. Verifica se è presente il seguente errore:

Not all instances running in IGM after 123.45s.
Expect <number of desired instances in IGM>. Current errors:

Constraint constraints/compute.disableSerialPortLogging violated for
project <target project number>.

Soluzioni:

1. Disattiva il criterio dell'organizzazione nel progetto in cui verrà creato l'ambiente Cloud Composer.

   Un criterio dell'organizzazione può sempre essere disattivato a livello di progetto anche se è abilitato nelle risorse di primo livello (organizzazione o cartella). Per ulteriori dettagli, consulta la pagina Personalizzazione dei criteri per i vincoli booleani.

2. Utilizzare i filtri di esclusione

   L'utilizzo di un filtro di esclusione per i log della porta seriale consente di raggiungere lo stesso obiettivo della disattivazione del criterio dell'organizzazione, poiché in Logging saranno presenti i log della console seriale. Per ulteriori dettagli, consulta la pagina Filtri di esclusione.

Utilizzo di Deployment Manager per gestire le Google Cloud risorse protette dai Controlli di servizio VPC

Le versioni 2.0.x di Cloud Composer 1 e Cloud Composer 2 utilizzano Deployment Manager per creare i componenti degli ambienti Cloud Composer.

A dicembre 2020 potresti aver ricevuto informazioni che ti indicano che potresti dover eseguire un'ulteriore configurazione di Controlli di servizio VPC per poter utilizzare Deployment Manager per gestire le risorse protette da Controlli di servizio VPC.

Ci teniamo a chiarire che non è richiesta alcuna azione da parte tua se utilizzi Cloud Composer e non utilizzi Deployment Manager direttamente per gestire le risorse Google Cloud menzionate nell'annuncio di Deployment Manager.

Deployment Manager mostra informazioni su una funzionalità non supportata

Nella scheda Deployment Manager potresti visualizzare il seguente avviso:

The deployment uses actions, which are an unsupported feature. We recommend
that you avoid using actions.

Per i deployment di Deployment Manager di proprietà di Cloud Composer, puoi ignorare questo avviso.

Impossibile eliminare un ambiente dopo l'eliminazione del relativo cluster

Questo problema si applica alle versioni 2.0.x di Cloud Composer 1 e Cloud Composer 2.

Se elimini il cluster GKE dell'ambiente prima dell'ambiente stesso, i tentativi di eliminazione dell'ambiente generano il seguente errore:

 Got error "" during CP_DEPLOYMENT_DELETING [Rerunning Task. ]

Per eliminare un ambiente quando il relativo cluster è già stato eliminato:

1. Nella console Google Cloud, vai alla pagina Deployment Manager.

   Vai a Deployment Manager

2. Trova tutti i deployment contrassegnati con etichette:

   • goog-composer-environment:<environment-name>
   • goog-composer-location:<environment-location>.

   Dovresti vedere due implementazioni contrassegnate con le etichette descritte:

   • Un deployment denominato <environment-location>-<environment-name-prefix>-<hash>-sd
   • Un deployment denominato addons-<uuid>

3. Elimina manualmente le risorse ancora elencate in questi due deployment ed esistenti nel progetto (ad esempio, argomenti e sottoscrizioni Pub/Sub). Ecco come fare:

   1. Seleziona i deployment.

   2. Fai clic su Elimina.

   3. Seleziona l'opzione Elimina 2 deployment e tutte le risorse create, come VM, bilanciatori del carico e dischi e fai clic su Elimina tutto.

   L'operazione di eliminazione non riesce, ma le risorse rimanenti vengono eliminate.

4. Elimina i deployment utilizzando una delle seguenti opzioni:

   • Nella console Google Cloud, seleziona di nuovo entrambi i deployment. Fai clic su Elimina, poi seleziona l'opzione Elimina 2 deployment, ma mantieni le risorse create.

   • Esegui un comando gcloud per eliminare i deployment con il criterio ABANDON:

     gcloud deployment-manager deployments delete addons-<uuid> \
         --delete-policy=ABANDON
     
     gcloud deployment-manager deployments delete <location>-<env-name-prefix>-<hash>-sd \
         --delete-policy=ABANDON
     

5. Elimina l'ambiente Cloud Composer.

Avvisi relativi a voci duplicate dell'attività "echo" appartenente al DAG "echo-airflow_monitoring"

Nei log di Airflow potresti visualizzare la seguente voce:

in _query db.query(q) File "/opt/python3.6/lib/python3.6/site-packages/MySQLdb/
connections.py", line 280, in query _mysql.connection.query(self, query)
_mysql_exceptions.IntegrityError: (1062, "Duplicate entry
'echo-airflow_monitoring-2020-10-20 15:59:40.000000' for key 'PRIMARY'")

Puoi ignorare queste voci di log perché questo errore non influisce sull'elaborazione delle attività e dei DAG di Airflow.

Stiamo lavorando per migliorare il servizio Cloud Composer in modo da rimuovere questi avvisi dai log di Airflow.

La creazione dell'ambiente non riesce nei progetti con API Identity-Aware Proxy aggiunte al perimetro dei Controlli di servizio VPC

Nota: questo problema riguarda tutte le versioni di Cloud Composer 1.

Nei progetti in cui sono attivati i Controlli di servizio VPC, l'account [e-mail] richiede accesso esplicito nel perimetro di sicurezza per creare ambienti.

Per creare ambienti, puoi utilizzare una delle seguenti soluzioni:

• Non aggiungere l'API Cloud Identity-Aware Proxy e l'API TCP Identity-Aware Proxy al perimetro di sicurezza.

• Aggiungi l'account di servizio [e-mail] come membro del tuo perimetro di sicurezza utilizzando la seguente configurazione nel file delle condizioni YAML:

   - members:
      - serviceAccount:[e-mail]
  

La creazione dell'ambiente Cloud Composer 1 non riesce quando il criterio compute.requireOsLogin è abilitato

Se il criterio compute.requireOsLogin è impostato su true nel progetto, le operazioni di creazione dell'ambiente Cloud Composer 1 v1 non riescono.

Per creare ambienti Cloud Composer 1, disattiva questo criterio nel progetto.

Per ulteriori informazioni su questo criterio dell'organizzazione, consulta Vincoli delle policy dell'organizzazione.

La creazione o l'upgrade dell'ambiente Cloud Composer non riesce quando il criterio compute.vmExternalIpAccess è disattivato

Questo problema si applica agli ambienti Cloud Composer 1 e Cloud Composer 2.

I cluster GKE di proprietà di Cloud Composer configurati in modalità IP pubblico richiedono connettività esterna per le loro VM. Per questo motivo, la policy compute.vmExternalIpAccess non può vietare la creazione di VM con indirizzi IP esterni. Per ulteriori informazioni su questo criterio dell'organizzazione, consulta Vincoli delle policy dell'organizzazione.

La creazione dell'ambiente Cloud Composer 1 non riesce quando il criterio compute.vmCanIpForward è disattivato

Gli ambienti Cloud Composer 1 creati in modalità non VPC-native (con IP alias) richiedono questo criterio per consentire la creazione di VM con la funzionalità di inoltro IP abilitata. Per ulteriori informazioni su questo criterio dell'organizzazione, consulta Vincoli delle policy dell'organizzazione.

La prima esecuzione di un file DAG caricato presenta diverse attività non riuscite

Quando carichi un file DAG, a volte le prime attività del primo DAG eseguito non vanno a buon fine con l'errore Unable to read remote log.... Questo problema si verifica perché il file DAG è sincronizzato tra il bucket, i worker e gli scheduler di Airflow del tuo ambiente. Se lo scheduler riceve il file DAG e lo pianifica per l'esecuzione da parte di un worker e se il worker non ha ancora il file DAG, l'esecuzione dell'attività non va a buon fine.

Per mitigare il problema, gli ambienti con Airflow 2 sono configurati per eseguire per impostazione predefinita due nuovi tentativi per un'attività non riuscita. Se un'attività non va a buon fine, viene riprovata due volte con intervalli di 5 minuti.

Per attenuare questo problema in Airflow 1, esegui l'override dell'opzione di configurazione di Airflow [core]default_task_retries e impostala su un numero maggiore o uguale a 2.

L'attività non riesce con "OSError: [Errno 5] Input/output error" in Airflow 1.10.15 o versioni precedenti

Un bug nelle versioni di Airflow 1 causa l'inserimento delle attività nella coda Redis due volte in alcuni rari casi.

A volte può portare a una condizione di gara nel file di log e a un successivo fallimento della task. Le attività non riescono con OSError: [Errno 5] Input/output error in Cloud Logging e Task is in the 'running' state which is not a valid state for execution. nel log dei tentativi di attività.

Questo bug è stato corretto in Airflow 2. Se riscontri questo problema in Airflow 1 in un'attività a lungo termine, aumenta il valore dell'opzione di configurazione [celery_broker_transport_options]visibility_timeout Airflow (il valore predefinito è 604800 per Composer 1.17.0, 21600 per gli ambienti precedenti). Per le attività che richiedono poco tempo, valuta la possibilità di aggiungere ulteriori tentativi alle attività interessate o di eseguire la migrazione del tuo ambiente ad Airflow 2.

Gli operatori Dataproc e Dataflow non riescono a completare l'operazione con Negsignal.SIGSEGV

Si tratta di un problema intermittente della libreria grcpio, quando viene utilizzata da un worker di Celery. Questo problema riguarda Airflow 1.10.14 e le versioni successive.

La soluzione alternativa consiste nel modificare la strategia di polling grpcio aggiungendo la seguente variabile di ambiente al tuo ambiente: GRPC_POLL_STRATEGY=epoll1. Questa soluzione alternativa è già applicata in Cloud Composer 1.17.1 e versioni successive.

Annunci relativi alla rimozione del supporto per le API beta deprecate dalle versioni di GKE

Cloud Composer gestisce i cluster GKE di proprietà di Cloud Composer. A meno che tu non utilizzi esplicitamente queste API nei DAG e nel codice, puoi ignorare gli annunci relativi al ritiro delle API GKE. Cloud Composer si occupa di eventuali migrazioni, se necessario.

Cloud Composer non dovrebbe essere interessato dalla vulnerabilità di Apache Log4j 2 (CVE-2021-44228)

In risposta alla vulnerabilità di Apache Log4j 2 (CVE-2021-44228), Cloud Composer ha condotto un'indagine dettagliata e riteniamo che Cloud Composer non sia vulnerabile a questo exploit.

I worker o gli scheduler di Airflow potrebbero riscontrare problemi di accesso al bucket Cloud Storage dell'ambiente

Cloud Composer utilizza gcsfuse per accedere alla cartella /data nel bucket dell'ambiente e per salvare i log delle attività di Airflow nella directory /logs (se attivata). Se gcsfuse è sovraccaricato o il bucket dell'ambiente non è disponibile, potresti riscontrare errori di istanze di attività Airflow e vedere errori Transport endpoint is not connected nei log di Airflow.

Soluzioni:

• Disattiva il salvataggio dei log nel bucket dell'ambiente. Questa opzione è già disattivata per impostazione predefinita se viene creato un ambiente utilizzando Cloud Composer 2.8.0 o versioni successive.
• Esegui l'upgrade a Cloud Composer 2.8.0 o versioni successive.
• Riduci [celery]worker_concurrency e aumenta il numero di worker Airflow.
• Riduci la quantità di log prodotti nel codice del DAG.
• Segui i consigli e le best practice per l'implementazione dei DAG e abilita i tentativi di esecuzione di nuovo delle attività.

A volte l'interfaccia utente di Airflow potrebbe non ricaricare un plug-in dopo averlo modificato

Se un plug-in è costituito da molti file che importano altri moduli, l'interfaccia utente di Airflow potrebbe non essere in grado di riconoscere che un plug-in deve essere caricato di nuovo. In questo caso, riavvia il server web di Airflow del tuo ambiente.

Problemi intermittenti durante la comunicazione con il database dell'ambiente

Questo problema noto si applica solo a Cloud Composer 1.

Alcuni ambienti Cloud Composer 1 precedenti (1.16.3 o versioni precedenti) creati prima del 12 agosto 2021 potrebbero riscontrare problemi temporanei relativi alla comunicazione con il database Airflow.

Se si verifica questo problema, nei log delle attività Airflow viene visualizzato il seguente messaggio di errore:

"Can't connect to MySQL server on 'airflow-sqlproxy-service.default.svc.cluster.local' (104)"

Il team di Cloud Composer si sta adoperando per risolvere il problema. Nel frattempo, se ritieni di essere fortemente interessato da questo problema, puoi svolgere le seguenti operazioni per mitigarlo:

1. Nella console Google Cloud, vai alla pagina Configurazione dell'ambiente degli ambienti Cloud Composer interessati.

2. Segui il link Visualizza i dettagli del cluster per accedere al cluster GKE sottostante dell'ambiente.

3. Vai alla scheda Nodi e fai clic su default-pool visibile nella sezione Pool di nodi.

   

   Figura 1. default-pool nell'elenco dei pool di nodi (fai clic per ingrandire)

4. Fai clic su Modifica nella parte superiore della pagina.

5. Modifica il tipo di immagine in Container-Optimized OS con containerd e salvate la configurazione:

   

   Figura 2. Cambia il tipo di immagine del pool di nodi da Docker a containerd (fai clic per ingrandire)

6. Una volta inviata la modifica, il pool di nodi default-pool verrà riconfigurato per utilizzare containerd come runtime dei container. Alcune delle attività di Airflow potrebbero non riuscire durante la riconfigurazione del pool di nodi. Se per queste attività sono configurati i tentativi di nuovo esecuzione, Airflow le eseguirà di nuovo al termine dell'operazione sul pool di nodi.

Errore 504 durante l'accesso all'interfaccia utente di Airflow

Puoi ricevere l'errore 504 Gateway Timeout quando accedi all'interfaccia utente di Airflow. Questo errore può avere diverse cause:

• Problema di comunicazione transitorio. In questo caso, prova ad accedere all'interfaccia utente di Airflow in un secondo momento. Puoi anche riavviare il server web Airflow.

• (Solo Cloud Composer 3) Problema di connettività. Se l'interfaccia utente di Airflow non è più disponibile e vengono generati errori di timeout o 504, assicurati che il tuo ambiente possa accedere a *.composer.googleusercontent.com.

• (Solo Cloud Composer 2) Problema di connettività. Se l'interfaccia utente di Airflow non è più disponibile e vengono generati errori di timeout o 504, assicurati che il tuo ambiente possa accedere a *.composer.cloud.google.com. Se utilizzi Accesso privato Google e invii traffico tramite IP virtuali private.googleapis.com o Controlli di servizio VPC e invii traffico tramite IP virtuali restricted.googleapis.com, assicurati che Cloud DNS sia configurato anche per i nomi di dominio *.composer.cloud.google.com.

• Server web Airflow non risponde. Se l'errore 504 persiste, ma riesci comunque ad accedere all'interfaccia utente di Airflow in determinati momenti, il server web di Airflow potrebbe non rispondere perché è sovraccaricato. Prova a aumentare i parametri di scalabilità e prestazioni del server web.

Errore 502 durante l'accesso all'interfaccia utente di Airflow

L'errore 502 Internal server exception indica che l'interfaccia utente di Airflow non può gestire le richieste in arrivo. Questo errore può avere diverse cause:

• Problema di comunicazione transitorio. Prova ad accedere all'interfaccia utente di Airflow in un secondo momento.

• Impossibile avviare il server web. Per iniziare, il server web richiede prima di sincronizzare i file di configurazione. Controlla i log del server web per verificare la presenza di voci simili a: GCS sync exited with 1: gcloud storage cp gs://<bucket-name>/airflow.cfg /home/airflow/gcs/airflow.cfg.tmp o GCS sync exited with 1: gcloud storage cp gs://<bucket-name>/env_var.json.cfg /home/airflow/gcs/env_var.json.tmp. Se visualizzi questi errori, controlla se i file menzionati nei messaggi di errore sono ancora presenti nel bucket dell'ambiente.

  In caso di rimozione accidentale (ad esempio perché è stata configurata una norma di conservazione), puoi ripristinarle:

  1. Imposta una nuova variabile di ambiente nel tuo ambiente. Puoi utilizzare qualsiasi nome e valore della variabile.

  2. Esegui l'override di un'opzione di configurazione di Airflow. Puoi utilizzare un'opzione di configurazione di Airflow non esistente.

L'interfaccia utente di Airflow in Airflow 2.2.3 o versioni precedenti è vulnerabile a CVE-2021-45229

Come indicato in CVE-2021-45229, la schermata "Attiva DAG con configurazione" era soggetta ad attacchi XSS tramite l'argomento di query origin.

Consiglio: esegui l'upgrade alla versione più recente di Cloud Composer che supporta Airflow 2.2.5.

Attivazione dei DAG tramite reti private utilizzando le funzioni Cloud Run

L'attivazione di DAG con funzioni Cloud Run tramite reti private con l'utilizzo di VPC Connector non è supportata da Cloud Composer.

Consiglio: utilizza le funzioni Cloud Run per pubblicare messaggi su Pub/Sub. Questi eventi possono attivare i sensori Pub/Sub per attivare i DAG di Airflow o implementare un approccio basato su operatori differibili.

Cartelle vuote in Scheduler e Workers

Cloud Composer non rimuove attivamente le cartelle vuote dai worker e dagli scheduler di Airflow. Queste entità potrebbero essere state create a seguito della procedura di sincronizzazione del bucket dell'ambiente quando queste cartelle esistevano nel bucket e sono state eventualmente rimosse.

Consiglio: modifica i DAG in modo che siano pronti a saltare queste directory vuote.

Queste entità vengono eventualmente rimosse dagli spazi di archiviazione locali degli pianificatori e dei worker di Airflow quando questi componenti vengono riavviati (ad esempio a seguito di operazioni di ridimensionamento o manutenzione nel cluster dell'ambiente).

Supporto di Kerberos

Cloud Composer non supporta la configurazione Kerberos di Airflow.

Supporto per gli operatori di Google Campaign Manager 360

Gli operatori Google Campaign Manager nelle versioni di Cloud Composer precedenti alla 2.1.13 si basano sull'API Campaign Manager 360 v3.5, che è deprecata e la cui data di ritiro è il 1° maggio 2023.

Se utilizzi gli operatori di Google Campaign Manager, esegui l'upgrade dell'ambiente alla versione 2.1.13 o successiva di Cloud Composer.

Supporto per gli operatori di Google Display & Video 360

Gli operatori Google Display & Video 360 nelle versioni di Cloud Composer precedenti alla 2.1.13 si basano sull'API Display & Video 360 v1.1, ritirata e la cui data di ritiro è il 27 aprile 2023.

Se utilizzi gli operatori Google Display & Video 360, esegui l'upgrade dell'ambiente alla versione 2.1.13 o successiva di Cloud Composer. Inoltre, potrebbe essere necessario modificare i DAG perché alcuni degli operatori di Google Display & Video 360 sono stati ritirati e sostituiti da nuovi.

• GoogleDisplayVideo360CreateReportOperator è stato deprecato. Utilizza invece GoogleDisplayVideo360CreateQueryOperator. Questo operatore restituisce query_id anziché report_id.
• GoogleDisplayVideo360RunReportOperator è stato deprecato. Utilizza invece GoogleDisplayVideo360RunQueryOperator. Questo operatore restituisce query_id e report_id anziché solo report_id e richiede query_id anziché report_id come parametro.
• Per verificare se un report è pronto, utilizza il nuovo sensore GoogleDisplayVideo360RunQuerySensor che utilizza i parametri query_id e report_id. Il sensore GoogleDisplayVideo360ReportSensor dismesso richiedeva solo report_id.
• GoogleDisplayVideo360DownloadReportV2Operator ora richiede sia i parametri query_id che report_id.
• In GoogleDisplayVideo360DeleteReportOperator non sono presenti modifiche che possono influire sui DAG.

Restrizioni relative al nome dell'intervallo secondario

Nota: la convenzione di denominazione gke-.*-(pods|services)-.* è riservata agli intervalli secondari dei cluster GKE creati automaticamente. Non puoi utilizzare i nomi degli intervalli secondari in questo formato durante la creazione di istanze Cloud Composer.

CVE-2023-29247 (la pagina dei dettagli dell'istanza dell'attività nell'interfaccia utente è vulnerabile a un XSS memorizzato)

L'interfaccia utente di Airflow nelle versioni da 2.0.x a 2.5.x è vulnerabile a CVE-2023-29247.

Nota: la versione 2.4.2 di Cloud Composer risolve questo problema nelle versioni 2.4.3 e 2.5.3 di Airflow. Ti consigliamo di aggiornare l'ambiente a Cloud Composer 2.4.2 o a una versione successiva. Questo problema non riguarda Airflow 2.6.x e le versioni successive.

Se utilizzi una versione precedente a 2.4.2 di Cloud Composer e sospetti che il tuo ambiente possa essere vulnerabile all'exploit, consulta la descrizione seguente e le possibili soluzioni.

In Cloud Composer, l'accesso all'interfaccia utente di Airflow è protetto con IAM e il controllo dell'accesso all'interfaccia utente di Airflow.

Ciò significa che, per sfruttare la vulnerabilità dell'interfaccia utente di Airflow, gli attaccanti devono prima ottenere l'accesso al progetto, nonché le autorizzazioni e i ruoli IAM necessari.

Soluzione:

• Verifica le autorizzazioni e i ruoli IAM nel progetto, inclusi i ruoli Cloud Composer assegnati ai singoli utenti. Assicurati che solo gli utenti approvati possano accedere all'interfaccia utente di Airflow.

• Verifica i ruoli assegnati agli utenti tramite il meccanismo di controllo dell'accesso all'interfaccia utente di Airflow (si tratta di un meccanismo separato che fornisce un accesso più granulare all'interfaccia utente di Airflow). Assicurati che solo gli utenti approvati possano accedere all'interfaccia utente di Airflow e che tutti i nuovi utenti siano registrati con un ruolo appropriato.

• Valuta la possibilità di applicare ulteriori misure di rafforzamento con i Controlli di servizio VPC.

Non è possibile ridurre lo spazio di archiviazione di Cloud SQL

Cloud Composer utilizza Cloud SQL per eseguire il database Airflow. Nel tempo, lo spazio di archiviazione del disco per l'istanza Cloud SQL potrebbe aumentare perché il disco viene scalato in base ai dati archiviati dalle operazioni Cloud SQL quando il database Airflow cresce.

Non è possibile ridurre le dimensioni del disco Cloud SQL.

Come soluzione alternativa, se vuoi utilizzare la dimensione del disco Cloud SQL più piccola, puoi ricreare gli ambienti Cloud Composer con gli snapshot.

La metrica Utilizzo del disco del database non si riduce dopo la rimozione dei record da Cloud SQL

I database relazionali, come Postgres o MySQL, non rimuovono fisicamente le righe quando vengono eliminate o aggiornate. Le contrassegna come "tuple non attive" per mantenere la coerenza dei dati ed evitare di bloccare le transazioni concorrenti.

Sia MySQL che Postgres implementano meccanismi di recupero dello spazio dopo l'eliminazione delle record.

Sebbene sia possibile forzare il database a recuperare lo spazio su disco inutilizzato, si tratta di un'operazione che richiede molte risorse e che blocca inoltre il database rendendo Cloud Composer non disponibile. Pertanto, è consigliabile fare affidamento sui meccanismi di compilazione per recuperare lo spazio inutilizzato.

Istanze di attività riuscite in passato contrassegnate come NON RIUSSITE

In alcuni casi e in rari scenari, le istanze di attività Airflow andate a buon fine in passato possono essere contrassegnate come FAILED.

In genere, questo evento viene attivato da un'operazione di aggiornamento o upgrade dell'ambiente o dalla manutenzione di GKE.

Nota:il problema in sé non indica alcun problema nell'ambiente e non causa errori effettivi nell'esecuzione delle attività.

Il problema è stato risolto in Cloud Composer versione 2.6.5 o successive.

I componenti Airflow hanno problemi di comunicazione con altre parti della configurazione di Cloud Composer

In casi molto rari, la lentezza della comunicazione con il server di metadati di Compute Engine potrebbe causare il malfunzionamento dei componenti di Airflow. Ad esempio, lo scheduler di Airflow potrebbe essere riavviato, le attività di Airflow potrebbero dover essere ripetute o il tempo di avvio delle attività potrebbe essere più lungo.

Sintomi:

Nei log dei componenti di Airflow (ad esempio gli scheduler, i worker o il server web di Airflow) vengono visualizzati i seguenti errori:

Authentication failed using Compute Engine authentication due to unavailable metadata server

Compute Engine Metadata server unavailable on attempt 1 of 3. Reason: timed out
...
Compute Engine Metadata server unavailable on attempt 2 of 3. Reason: timed out
...
Compute Engine Metadata server unavailable on attempt 3 of 3. Reason: timed out

Soluzione:

Imposta la seguente variabile di ambiente: GCE_METADATA_TIMEOUT=30.

Tempi di analisi dei DAG non continui e diagrammi delle dimensioni dei bag DAG nel monitoraggio

I tempi di analisi DAG non continui e i diagrammi delle dimensioni dei bag DAG nella dashboard di monitoraggio indicano problemi con tempi di analisi DAG lunghi (più di 5 minuti).

Figura 3. Grafici dei tempi di analisi dei DAG non continui e delle dimensioni dei bag DAG (fai clic per ingrandire)

Soluzione: consigliamo di mantenere il tempo di analisi totale del DAG inferiore a 5 minuti. Per ridurre il tempo di analisi del DAG, segui le linee guida per la scrittura del DAG.

Il passaggio del cluster dell'ambiente alla versione GKE Enterprise non è supportato

Questa nota si applica a Cloud Composer 1 e Cloud Composer 2.

Il cluster GKE dell'ambiente Cloud Composer viene creato all'interno di GKE Standard Edition.

A partire da dicembre 2024, il servizio Cloud Composer non supporta la creazione di ambienti Cloud Composer con cluster nella versione Enterprise.

Gli ambienti Cloud Composer non sono stati testati con GKE Enterprise Edition e hanno un modello di fatturazione diverso.

Attenzione: non eseguire l'upgrade dei cluster Cloud Composer all'edizione Enterprise. Gli ambienti Cloud Composer non sono stati sottoposti a test con la versione Enterprise e potresti incorrere in costi aggiuntivi dopo l'upgrade. Se esegui l'upgrade del cluster del tuo ambiente alla versione Enterprise, questo non sarà supportato da Google.

Ulteriori comunicazioni relative alla versione GKE Standard rispetto alla versione Enterprise verranno fornite nel secondo trimestre del 2025.

L'ambiente è in stato ERROR dopo che l'account di fatturazione del progetto è stato eliminato o disattivato oppure l'API Cloud Composer è stata disattivata

Gli ambienti Cloud Composer interessati da questi problemi non sono recuperabili:

• Dopo che l'account di fatturazione del progetto è stato eliminato o disattivato, anche se successivamente è stato collegato un altro account.
• Dopo che l'API Cloud Composer è stata disattivata nel progetto, anche se è stata abilitata in un secondo momento.

Per risolvere il problema:

• Puoi comunque accedere ai dati archiviati nei bucket del tuo ambiente, ma gli ambienti stessi non sono più utilizzabili. Puoi creare un nuovo ambiente Cloud Composer e poi trasferire i DAG e i dati.

• Se vuoi eseguire una delle operazioni che rendono i tuoi ambienti non recuperabili, assicurati di eseguire il backup dei dati, ad esempio creando uno snapshot di un ambiente. In questo modo, puoi creare un altro ambiente e trasferirne i dati caricando questo snapshot.

Avvisi sul budget di interruzione dei pod per i cluster di ambienti

Nell'interfaccia utente di GKE puoi vedere i seguenti avvisi per i cluster dell'ambiente Cloud Composer:

GKE can't perform maintenance because the Pod Disruption Budget allows
for 0 Pod evictions. Update the Pod Disruption Budget.

A StatefulSet is configured with a Pod Disruption Budget but without readiness
probes, so the Pod Disruption Budget isn't as effective in gauging application
readiness. Add one or more readiness probes.

Non è possibile eliminare questi avvisi. Stiamo lavorando per impedire la generazione di questi avvertimenti.

Possibili soluzioni:

• Ignora questi avvisi finché il problema non viene risolto.

Passaggi successivi

• Risoluzione dei problemi di creazione dell'ambiente
• Risoluzione dei problemi dei DAG
• Risolvere i problemi dello scheduler Airflow