Instradare gli eventi Dataflow a Google Kubernetes Engine (GKE)

Un trigger Eventarc dichiara il tuo interesse per un determinato evento o insieme di eventi. Puoi configurare il routing degli eventi specificando i filtri per il trigger, tra cui l'origine dell'evento e il servizio Google Kubernetes Engine di destinazione in esecuzione in un cluster GKE. Tieni presente che i target possono includere gli endpoint pubblici di servizi privati e pubblici in esecuzione in un cluster GKE.

Eventarc consegna gli eventi al ricevitore di eventi in un formato CloudEvents tramite una richiesta HTTP.

Queste istruzioni mostrano come configurare il routing degli eventi al servizio GKE che viene attivato da un evento Dataflow diretto. Per ulteriori dettagli, consulta l'elenco degli eventi diretti supportati.

Prima di iniziare

Devi abilitare Workload Identity sul cluster GKE su cui è in esecuzione il servizio di destinazione. Workload Identity è necessario per configurare correttamente lo speditore di eventi ed è il metodo consigliato per accedere ai servizi Google Cloud dalle applicazioni in esecuzione all'interno di GKE, grazie alle sue migliori proprietà di sicurezza e gestibilità.

Eventi Eventarc nell'architettura dei target GKE

Workload Identity

Le applicazioni in esecuzione su GKE potrebbero richiedere l'accesso alle API Google Cloud. Workload Identity consente a un account di servizio Kubernetes nel tuo cluster GKE di agire come account di servizio IAM. I pod che utilizzano l'account di servizio Kubernetes configurato si autenticano automaticamente come account di servizio IAM quando accedono alle API Google Cloud. L'utilizzo di Workload Identity ti consente di assegnare autorizzazioni e identità distinte e granulari per ogni applicazione nel tuo cluster. Tieni presente che è necessario concedere autorizzazioni specifiche all'account di servizio del trigger Eventarc. In questo documento, vedi i passaggi per creare un account di servizio.

Workload Identity è necessario anche per inoltrare gli eventi di Cloud Run for Anthos utilizzando Eventarc. Per ulteriori informazioni su come abilitare e configurare Workload Identity sui tuoi cluster GKE, consulta Utilizzare Workload Identity.

Speditore di eventi

Il forwarding di eventi di Eventarc estrae nuovi eventi da Eventarc e li inoltra alla destinazione GKE. Questo componente agisce da mediatore tra il livello di trasporto Pub/Sub e il servizio GKE. Funziona sui servizi esistenti e supporta anche i servizi di segnalazione (inclusi quelli non esposti al di fuori del cluster completamente gestito) semplificando la configurazione e la manutenzione. A livello di networking, per ricevere eventi in un servizio GKE, non è necessario aprire il servizio al traffico esterno poiché tutti gli eventi vengono consegnati da un'origine che risiede all'interno dello stesso cluster GKE.

Tieni presente che il ciclo di vita del forwarding di eventi è gestito da Eventarc e, se lo elimini accidentalmente, Eventarc ripristinerà questo componente.

Per ciascun trigger che punta a una destinazione GKE, il forwarding di eventi (un pod gke-forwarder configurato in modo specifico) esegue le seguenti operazioni:

  1. Utilizza l'API Pub/Sub per aprire una connessione StreamingPull al trasportatore del trigger (un argomento e una sottoscrizione Pub/Sub) e riceve gli eventi non appena diventano disponibili.

  2. Trasforma gli eventi nel formato CloudEvents corretto, li codifica e li fornisce come richiesta HTTP POST al servizio GKE di destinazione.

L'agente di servizio Eventarc richiede l'autorizzazione per eseguire e aggiornare regolarmente l'istanza gke-forwarder. Questa autorizzazione deve essere concessa una volta per progetto. Per maggiori dettagli, in questo documento, vedi Abilitare le destinazioni GKE.

Prepararsi a creare un trigger

Per ogni trigger che ha come target un servizio GKE, Eventarc crea un componente di forwarding di eventi. Eventarc richiede le autorizzazioni per installare il componente e gestire le risorse nel cluster GKE. Prima di creare un trigger Eventarc per le destinazioni GKE, assicurati di completare le attività seguenti.

Console

  1. Nella console Google Cloud, nella pagina del selettore dei progetti, seleziona o crea un progetto Google Cloud.

    Vai al selettore di progetti

  2. Abilitare le API Eventarc, Eventarc Publishing, Google Kubernetes Engine e Resource Manager.

    Abilita le API

  3. Se applicabile, abilita l'API relativa agli eventi. Ad esempio, per gli eventi di Cloud Functions, abilita cloudfunctions.googleapis.com.

  4. Se non ne hai già uno, crea un account di servizio gestito dall'utente, quindi concedigli i ruoli e le autorizzazioni necessari in modo che Eventarc possa gestire gli eventi per il tuo servizio di destinazione.

    1. Nella console Google Cloud, vai alla pagina Crea account di servizio.

      Vai a Crea account di servizio

    2. Seleziona il progetto.

    3. Inserisci un nome nel campo Nome account di servizio. La console Google Cloud compila il campo ID account di servizio in base a questo nome.

      Nel campo Descrizione account di servizio, inserisci una descrizione. Ad esempio, Service account for event trigger.

    4. Fai clic su Crea e continua.

    5. Per fornire l'accesso appropriato, nell'elenco Seleziona un ruolo seleziona i ruoli Identity and Access Management (IAM) richiesti da concedere al tuo account di servizio. Per ulteriori informazioni, consulta Ruoli e autorizzazioni per le destinazioni GKE.

      Per ulteriori ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni altro ruolo.

    6. Fai clic su Continua.

    7. Per completare la creazione dell'account, fai clic su Fine.

gcloud

  1. Nella console Google Cloud, attiva Cloud Shell.

    Attiva Cloud Shell

    Nella parte inferiore della console Google Cloud viene avviata una sessione di Cloud Shell che mostra un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installato e con valori già impostati per il progetto attuale. L'inizializzazione della sessione può richiedere alcuni secondi.

  2. Abilitare le API Eventarc, Eventarc Publishing, Google Kubernetes Engine e Resource Manager.

    gcloud services enable eventarc.googleapis.com \
        eventarcpublishing.googleapis.com \
        container.googleapis.com \
        cloudresourcemanager.googleapis.com
  3. Se applicabile, abilita l'API relativa agli eventi diretti. Ad esempio, per gli eventi di Cloud Functions, abilita cloudfunctions.googleapis.com.

  4. Se non ne hai già uno, crea un account di servizio gestito dall'utente, quindi concedigli i ruoli e le autorizzazioni necessari in modo che Eventarc possa gestire gli eventi per la destinazione GKE di destinazione.

    1. Crea l'account di servizio:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
      

      Sostituisci SERVICE_ACCOUNT_NAME con il nome dell'account di servizio. Deve essere compreso tra 6 e 30 caratteri e può contenere caratteri alfanumerici minuscoli e trattini. Dopo aver creato un account di servizio, non puoi modificarne il nome.

    2. Concedi le autorizzazioni o i ruoli Identity and Access Management (IAM) richiesti. Per saperne di più, consulta Ruoli e autorizzazioni per le destinazioni GKE.

Abilita le destinazioni GKE

Per consentire a Eventarc di gestire le risorse nel cluster GKE, abilita le destinazioni GKE e associa l'agente di servizio Eventarc con i ruoli richiesti.

  1. Abilita le destinazioni GKE per Eventarc:

    gcloud eventarc gke-destinations init
    
  2. Alla richiesta di associare i ruoli richiesti, inserisci y.

    Sono associati i seguenti ruoli:

    • roles/compute.viewer
    • roles/container.developer
    • roles/iam.serviceAccountAdmin

Crea un trigger

Puoi creare un trigger Eventarc utilizzando Google Cloud CLI o la console Google Cloud.

Console

  1. Nella console Google Cloud, vai alla pagina Trigger di Eventarc.

    Vai ai trigger

  2. Fai clic su Crea trigger.
  3. Digita un Nome trigger.

    Si tratta dell'ID dell'attivatore e deve iniziare con una lettera. Può contenere fino a 63 lettere minuscole, numeri o trattini.

  4. Per il Tipo di attivatore, seleziona Origini Google.
  5. Nell'elenco Provider di eventi, seleziona Dataflow.

    Tieni presente che il nome del provider di eventi utilizzato nella documentazione di Google Cloud associata potrebbe non avere un prefisso di Cloud o Google Cloud. Ad esempio, nella console, Memorystore per Redis viene chiamato Google Cloud Memorystore for Redis.

  6. Nell'elenco Evento, seleziona un evento per il tipo di evento Diretto.
  7. Per specificare la codifica del payload dell'evento, nell'elenco Tipo di contenuto dei dati sugli eventi, seleziona application/json o application/protobuf.

    Tieni presente che un payload di evento in formato JSON è più grande di uno formattato in Protobuf. Questo potrebbe influire sull'affidabilità a seconda della destinazione e dei limiti delle dimensioni dell'evento. Per ulteriori informazioni, consulta la pagina Problemi noti.

  8. Nell'elenco Regione, seleziona la stessa regione del servizio Google Cloud che genera eventi.

    Per ulteriori informazioni, consulta le località Eventarc.

  9. Se applicabile al provider di eventi, fai clic su Aggiungi filtro e specifica quanto segue:
    1. Nel campo Attributo 1, a seconda dell'evento diretto che hai scelto, seleziona un ID risorsa che possa fungere da filtro di eventi.
    2. Seleziona un operatore:
    3. Nel campo Valore attributo 1, a seconda dell'operatore che hai scelto, digita il valore esatto o applica un pattern del percorso.
    4. Se è applicabile un campo Attributo 2, specifica i valori appropriati.
  10. Seleziona l'account di servizio che richiama il servizio o il flusso di lavoro.

    In alternativa, puoi creare un nuovo account di servizio.

    Specifica l'indirizzo email dell'account di servizio Identity and Access Management (IAM) associato al trigger e a cui hai precedentemente concesso i ruoli specifici richiesti da Eventarc.

  11. Nell'elenco Destinazione evento, seleziona Kubernetes Engine.
  12. Seleziona un servizio.

    Si tratta del nome del servizio che riceve gli eventi per il trigger. Il servizio deve trovarsi nello stesso progetto del trigger e riceverà eventi come richieste HTTP POST inviate al percorso dell'URL principale (/), ogni volta che viene generato l'evento.

  13. Facoltativamente, puoi specificare il percorso dell'URL del servizio a cui inviare la richiesta in entrata.

    Questo è il percorso relativo del servizio di destinazione a cui devono essere inviati gli eventi per il trigger. Ad esempio: /, /route, route, route/subroute.

  14. Fai clic su Crea.
  15. Una volta creato un attivatore, i filtri dell'origine evento non possono essere modificati. Crea invece un nuovo attivatore ed elimina quello precedente. Per ulteriori informazioni, consulta Gestire i trigger.

gcloud

Puoi creare un trigger eseguendo un comando gcloud eventarc triggers create insieme ai flag obbligatori e facoltativi.

  gcloud eventarc triggers create TRIGGER \
      --location=LOCATION \
      --destination-gke-cluster=DESTINATION_GKE_CLUSTER \
      --destination-gke-location=DESTINATION_GKE_LOCATION \
      --destination-gke-namespace=DESTINATION_GKE_NAMESPACE \
      --destination-gke-service=DESTINATION_GKE_SERVICE \
      --destination-gke-path=DESTINATION_GKE_PATH \
      --event-filters="type=EVENT_FILTER_TYPE" \
      --event-filters="COLLECTION_ID=RESOURCE_ID" \
      --event-filters-path-pattern="COLLECTION_ID=PATH_PATTERN" \
      --event-data-content-type="EVENT_DATA_CONTENT_TYPE" \
      --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Sostituisci quanto segue:

  • TRIGGER: l'ID dell'attivatore o un identificatore completo
  • LOCATION: la località del trigger Eventarc. In alternativa, puoi impostare la proprietà eventarc/location, ad esempio gcloud config set eventarc/location us-central1.

    Per evitare problemi di prestazioni e localizzazione dei dati, la località deve corrispondere a quella del servizio Google Cloud che sta generando eventi. Per maggiori informazioni, consulta la sezione Località Eventarc.

  • DESTINATION_GKE_CLUSTER: il nome del cluster GKE in cui è in esecuzione il servizio GKE di destinazione che riceve eventi.
  • DESTINATION_GKE_LOCATION: (facoltativo) la località in cui si trova il servizio GKE di destinazione. Se non specificata, si presume che il servizio si trovi nella stessa regione del trigger. Per ulteriori informazioni, consulta Località di Cloud Run for Anthos su Google Cloud.
  • DESTINATION_GKE_NAMESPACE: (facoltativo) lo spazio dei nomi in cui è in esecuzione il servizio GKE di destinazione. Se non specificato, viene utilizzato lo spazio dei nomi default.
  • DESTINATION_GKE_SERVICE: il nome del servizio GKE che riceve gli eventi per il trigger. Il servizio può trovarsi in una qualsiasi delle località supportate da GKE e non deve necessariamente trovarsi nella stessa località del trigger. Tuttavia, il servizio deve trovarsi nello stesso progetto del trigger e riceverà eventi come richieste HTTP POST inviate al percorso dell'URL principale (/), ogni volta che l'evento viene generato.
  • DESTINATION_GKE_PATH: (facoltativo) il percorso relativo specificato nel servizio GKE di destinazione a cui devono essere inviati gli eventi per il trigger. Ad esempio: /, /route, route, route/subroute.
  • EVENT_FILTER_TYPE: l'identificatore dell'evento. Quando una chiamata API per il metodo ha esito positivo, viene generato un evento. Per le operazioni a lunga esecuzione, l'evento viene generato solo al termine dell'operazione e solo se l'azione viene eseguita correttamente. Per un elenco dei tipi di eventi supportati, vedi Tipi di eventi supportati da Eventarc.
  • COLLECTION_ID (facoltativo): il componente resource che può fungere da filtro di eventi; questo è job.
  • RESOURCE_ID: l'identificatore della risorsa utilizzata come valore di filtro per la raccolta associata. Per ulteriori informazioni, consulta ID risorsa.
  • PATH_PATTERN: il pattern del percorso da applicare quando filtri la risorsa.
  • EVENT_DATA_CONTENT_TYPE: (facoltativo) la codifica del payload dell'evento. Il valore può essere application/json o application/protobuf. La codifica predefinita è application/json.

    Tieni presente che un payload di evento in formato JSON è più grande di uno formattato in Protobuf. Questo potrebbe influire sull'affidabilità a seconda della destinazione dell'evento e dei limiti relativi alle dimensioni degli eventi. Per maggiori informazioni, consulta la pagina Problemi noti.

  • SERVICE_ACCOUNT_NAME: il nome del tuo account di servizio gestito dall'utente.
  • PROJECT_ID: il tuo ID progetto Google Cloud.

Note:

  • Il flag --event-filters="type=EVENT_FILTER_TYPE" è obbligatorio. Se non è impostato nessun altro filtro di eventi, vengono abbinati gli eventi per tutte le risorse.
  • Impossibile modificare EVENT_FILTER_TYPE dopo la creazione. Per modificare EVENT_FILTER_TYPE, crea un nuovo trigger ed elimina quello precedente.
  • Ogni attivatore può avere più filtri evento, delimitati da virgole in un flag --event-filters=[ATTRIBUTE=VALUE,...] oppure ripetere il flag per aggiungere altri filtri. Solo gli eventi che corrispondono a tutti i filtri vengono inviati alla destinazione. I caratteri jolly e le espressioni regolari non sono supportati; tuttavia, quando utilizzi il flag --event-filters-path-pattern, puoi definire un pattern del percorso della risorsa.
  • Il flag --service-account viene utilizzato per specificare l'indirizzo email dell'account di servizio Identity and Access Management (IAM) associato all'attivatore.

Esempio:

  gcloud eventarc triggers create helloworld-trigger \
      --location=us-central1 \
      --destination-gke-cluster=gke-events-cluster \
      --destination-gke-location=us-central1-a \
      --destination-gke-namespace=default \
      --destination-gke-service=helloworld-events \
      --destination-gke-path=/ \
      --event-filters="type=google.cloud.dataflow.job.v1beta3.statusChanged" \
      --event-filters-path-pattern="job=my-job-*" \
      --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Questo comando crea un trigger denominato helloworld-trigger per l'evento identificato come google.cloud.dataflow.job.v1beta3.statusChanged e abbina gli eventi per gli ID job che iniziano con my-job-.

Terraform

Puoi creare un trigger per una destinazione GKE utilizzando Terraform. Per maggiori dettagli, consulta Creare un trigger utilizzando Terraform.

Elenca un trigger

Puoi confermare la creazione di un trigger elencando i trigger Eventarc utilizzando Google Cloud CLI o la console Google Cloud.

Console

  1. Nella console Google Cloud, vai alla pagina Trigger di Eventarc.

    Vai ai trigger

    Questa pagina elenca i tuoi trigger in tutte le località e include dettagli come nomi, regioni, fornitori di eventi, destinazioni e altro ancora.

  2. Per filtrare gli attivatori:

    1. Fai clic su Filtro o sul campo Attivatori filtro.
    2. Nell'elenco Proprietà, seleziona un'opzione per filtrare gli attivatori.

    Puoi selezionare una singola proprietà o utilizzare l'operatore logico OR per aggiungerne altre.

  3. Per ordinare gli attivatori, accanto a qualsiasi intestazione di colonna supportata, fai clic su Ordina.

gcloud

Esegui questo comando per elencare i trigger:

gcloud eventarc triggers list --location=-

Questo comando elenca i trigger in tutte le località e include dettagli come nomi, tipi, destinazioni e stati.

Passaggi successivi