Instradare eventi Datastream a Google Kubernetes Engine (GKE)

Anteprima — Destinazioni Eventarc per GKE e Cloud Run for Anthos; eventi diretti di Datastream

Questa funzionalità è regolata dai Termini delle offerte pre-GA dei Termini di servizio di Google Cloud. Le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche a queste funzionalità potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Un trigger Eventarc dichiara il tuo interesse per un determinato evento o set di eventi. Puoi configurare il routing degli eventi specificando filtri per il trigger, tra cui l'origine evento e il servizio Google Kubernetes Engine di destinazione in esecuzione in un cluster GKE. Tieni presente che le destinazioni possono includere gli endpoint pubblici dei servizi privati e pubblici in esecuzione in un cluster GKE.

Queste istruzioni mostrano come configurare il routing degli eventi al tuo servizio GKE che viene attivato da un evento Datastream diretto. Per maggiori dettagli, consulta l'elenco degli eventi diretti supportati.

Nota: se sia per un provider Google che gli eventi del log diretti e di controllo sono supportati, ti consigliamo di creare un trigger che filtri per l'evento diretto. Gli eventi diretti offrono una serie di vantaggi rispetto agli eventi dei log di controllo. Per saperne di più, consulta Route eventi.

Prima di iniziare

Devi abilitare Workload Identity nel cluster GKE su cui è in esecuzione il servizio di destinazione. Workload Identity è necessario per configurare correttamente lo forwarder degli eventi ed è il metodo consigliato per accedere ai servizi Google Cloud dalle applicazioni in esecuzione all'interno di GKE grazie alle sue proprietà di sicurezza migliorate e alla sua gestibilità.

Workload Identity

Le applicazioni in esecuzione su GKE potrebbero dover accedere alle API Google Cloud. Workload Identity consente a un account di servizio Kubernetes nel tuo cluster GKE di agire come account di servizio IAM. I pod che utilizzano l'account di servizio Kubernetes configurato autenticano automaticamente come account di servizio IAM quando accedono alle API Google Cloud. Grazie a Workload Identity, puoi assegnare identità e autorizzazione distinte e granulari per ogni applicazione nel tuo cluster. Tieni presente che devi concedere autorizzazioni specifiche all'account di servizio del trigger Eventarc. In questo documento, consulta la sezione Creare un account di servizio.

Workload Identity è inoltre necessario per inoltrare gli eventi Cloud Run for Anthos utilizzando Eventarc. Per saperne di più sull'attivazione e la configurazione di Workload Identity nei tuoi cluster GKE, consulta Utilizzo di Workload Identity.

Inoltro dell'evento

Lo strumento di inoltro eventi di Eventarc estrae i nuovi eventi da Eventarc e li inoltra alla destinazione GKE. Questo componente funge da mediatore tra il livello di trasporto Pub/Sub e il servizio GKE. Funziona sui servizi esistenti e supporta anche i servizi di segnalazione (inclusi quelli non esposti all'esterno del cluster completamente gestito) semplificando la configurazione e la manutenzione. A livello di rete, per ricevere eventi in un servizio GKE non è necessario aprire il servizio per il traffico esterno poiché tutti gli eventi vengono pubblicati da un'origine che si trova nello stesso cluster GKE.

Tieni presente che il ciclo di vita dell'inoltro dell'evento è gestito da Eventarc e, se lo elimini accidentalmente, Eventarc ripristinerà questo componente.

Per ogni trigger che rimanda a una destinazione GKE, l'inoltro evento (un pod gke-forwarder configurato in modo specifico) si comporta come segue:

1. Utilizza l'API Pub/Sub per aprire una connessione StreamingPull al trasportatore di trigger (argomento e sottoscrizione Pub/Sub) e riceve gli eventi non appena diventano disponibili.

2. Trasforma gli eventi nel formato CloudEvents corretto e li codifica e li invia come richiesta HTTP POST al servizio GKE di destinazione.

L'agente di servizio Eventarc ha bisogno dell'autorizzazione per eseguire e aggiornare regolarmente l'istanza gke-forwarder. Questa autorizzazione deve essere concessa una volta per progetto. Per maggiori dettagli, consulta Abilitare le destinazioni GKE in questo documento.

Preparati a creare un trigger

Per ogni trigger che ha come target un servizio GKE, Eventarc crea un componente parametro di inoltro degli eventi. Eventarc richiede le autorizzazioni per installare il componente e gestire le risorse nel cluster GKE. Prima di creare un trigger Eventarc per le destinazioni GKE, assicurati di completare le attività seguenti.

Console

1. Nella pagina del selettore dei progetti, nella console Google Cloud, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

2. Abilitare le API Eventarc, Eventarc Publishing, Google Kubernetes Engine e Resource Manager.

   Abilitare le API

3. Se applicabile, abilita l'API relativa agli eventi diretti. Ad esempio, per gli eventi Cloud Functions, abilita cloudfunctions.googleapis.com.

4. Se non ne hai già uno, crea un account di servizio gestito dall'utente, quindi assegnagli i ruoli e le autorizzazioni necessari in modo che Eventarc possa gestire gli eventi per il servizio di destinazione.

   1. Nella console Google Cloud, vai alla pagina Crea account di servizio.

      Vai a Crea account di servizio

   2. Seleziona il progetto.

   3. Inserisci un nome nel campo Service account name (Nome account di servizio). La console Google Cloud viene compilata nel campo ID account di servizio in base a questo nome.

      Nel campo Descrizione account di servizio, inserisci una descrizione. Ad esempio, Service account for event trigger.

   4. Fai clic su Crea e continua.

   5. Per fornire l'accesso appropriato, nell'elenco Seleziona un ruolo, seleziona i ruoli seguenti da concedere al tuo account di servizio:

      • Eventarc > Ricevitore eventi Eventarc per ricevere eventi da tutti i provider di eventi.
      • Monitoraggio > Monitor Writer metriche per fornire l'accesso di sola scrittura alle metriche; è necessario per i sistemi che inviano metriche.
      • Pub/Sub > Iscritto Pub/Sub per consumare messaggi da una sottoscrizione, collegare sottoscrizioni a un argomento e cercare uno snapshot.

      Per altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo aggiuntivo.

      Nota: il campo Ruolo influisce sulle risorse a cui il tuo account di servizio può accedere nel tuo progetto. Puoi revocare questi ruoli o concedere ruoli aggiuntivi in un secondo momento. Negli ambienti di produzione, non concedere i ruoli Proprietario, Editor o Visualizzatore. Concedi invece un ruolo predefinito o un ruolo personalizzato che soddisfi le tue esigenze.

   6. Fai clic su Continua.

   7. Per completare la creazione dell'account, fai clic su Fine.

gcloud

1. In Google Cloud Console, attiva Cloud Shell.

   Attiva Cloud Shell

   Nella parte inferiore di Google Cloud Console, viene avviata una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installato e con valori già impostati per il progetto corrente. L'inizializzazione della sessione può richiedere alcuni secondi.

2. Abilitare le API Eventarc, Eventarc Publishing, Google Kubernetes Engine e Resource Manager.

   gcloud services enable eventarc.googleapis.com \
       eventarcpublishing.googleapis.com \
       container.googleapis.com \
       cloudresourcemanager.googleapis.com

3. Se applicabile, abilita l'API relativa agli eventi diretti. Ad esempio, per gli eventi Cloud Functions, abilita cloudfunctions.googleapis.com.

4. Se non ne hai già uno, crea un account di servizio gestito dall'utente, quindi assegnagli i ruoli e le autorizzazioni necessari in modo che Eventarc possa gestire gli eventi per la destinazione GKE di destinazione.

   1. Crea l'account di servizio:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
      

      Sostituisci SERVICE_ACCOUNT_NAME con il nome dell'account di servizio. Deve essere compreso tra 6 e 30 caratteri e può contenere caratteri alfanumerici minuscoli e trattini. Dopo aver creato un account di servizio, non puoi modificare il nome.

   2. Concedi i seguenti ruoli all'account di servizio:

      • Destinatario Eventarc (roles/eventarc.eventReceiver) per ricevere eventi da tutti i provider di eventi:

        gcloud projects add-iam-policy-binding PROJECT_ID \
            --member "serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
            --role="roles/eventarc.eventReceiver"
        

      • Monitoraggio del sistema di scrittura delle metriche (roles/monitoring.metricWriter) per fornire l'accesso di sola scrittura alle metriche; è necessario ai sistemi che inviano le metriche:

        gcloud projects add-iam-policy-binding PROJECT_ID \
            --member "serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
            --role="roles/monitoring.metricWriter"
        

      • Sottoscrittore Pub/Sub (roles/pubsub.subscriber) per utilizzare i messaggi di una sottoscrizione, collegare le sottoscrizioni a un argomento e cercare uno snapshot:

        gcloud projects add-iam-policy-binding PROJECT_ID \
            --member "serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
            --role="roles/pubsub.subscriber"
        

   Sostituisci PROJECT_ID con il tuo ID progetto Google Cloud. Puoi trovare l'ID progetto nella pagina Dashboard della console Google Cloud.

   Nota: il flag --role influisce sulle risorse a cui il tuo account di servizio può accedere nel tuo progetto. Puoi revocare questi ruoli o concedere ruoli aggiuntivi in un secondo momento. Negli ambienti di produzione, non concedere i ruoli Proprietario, Editor o Visualizzatore. Concedi invece un ruolo predefinito o ruolo personalizzato adatto alle tue esigenze.

Abilita destinazioni GKE

Per consentire a Eventarc di gestire le risorse nel cluster GKE, abilita le destinazioni GKE e associa l'agente di servizio Eventarc con i ruoli richiesti.

1. Abilita le destinazioni GKE per Eventarc:

   gcloud eventarc gke-destinations init
   

2. Al prompt per associare i ruoli richiesti, inserisci y.

   Sono associati i seguenti ruoli:

   • roles/compute.viewer
   • roles/container.developer
   • roles/iam.serviceAccountAdmin

Crea un trigger

Puoi creare un trigger Eventarc utilizzando Google Cloud CLI o tramite la console Google Cloud.

Nota: i filtri vengono eseguiti attraverso una corrispondenza esatta e non supportano i caratteri jolly o le espressioni regolari. Tuttavia, puoi utilizzare il flag --event-filters-path-pattern nel seguente comando dell'interfaccia a riga di comando gcloud o definire un pattern di percorso tramite la console. Per saperne di più, consulta Comprendere i pattern del percorso.

Console

1. Nella console Google Cloud, vai alla pagina Trigger di Eventarc.

   Vai a Trigger

2. Fai clic su Crea trigger.
3. Digita un Nome trigger.

   Si tratta dell'ID dell'attivatore e deve iniziare con una lettera. Può contenere fino a 63 lettere minuscole, numeri o trattini.

4. Per Tipo di trigger, seleziona Origini Google.
5. Nell'elenco Provider di eventi, seleziona Datastream.
6. Nell'elenco Evento, in Diretto, seleziona un evento.
7. Nell'elenco Regione, seleziona una regione. Se possibile, seleziona la stessa regione del servizio Google Cloud che genera gli eventi.

   Per ulteriori informazioni, consulta Località Eventarc.

8. Se applicabile al provider di eventi, fai clic su Aggiungi filtro e specifica quanto segue:
   1. Nel campo Attributo 1, a seconda dell'evento diretto che hai scelto, seleziona un ID risorsa che può fungere da filtro di evento.
   2. Seleziona un operatore:
      • Uguale
      • Pattern del percorso

        Per saperne di più, consulta Informazioni sui pattern dei percorsi.

   3. Nel campo Valore attributo 1, a seconda dell'operatore che hai scelto, digita il valore esatto o applica un pattern del percorso.
   4. Se è applicabile un campo Attributo 2, specifica i valori appropriati.
9. Seleziona l'account di servizio che richiami il servizio o il flusso di lavoro.

   In alternativa, puoi creare un nuovo account di servizio.

   Specifica l'indirizzo email dell'account di servizio Identity and Access Management (IAM) associato al trigger e a cui in precedenza hai concesso ruoli specifici richiesti da Eventarc.

10. Nell'elenco Destinazione evento, seleziona Kubernetes Engine.
11. Seleziona un servizio.
    

    Si tratta del nome del servizio che riceve gli eventi per il trigger. Il servizio deve trovarsi nello stesso progetto del trigger e riceverà gli eventi come richieste POST HTTP inviate al relativo percorso dell'URL principale (/), ogni volta che l'evento viene generato.

12. Facoltativamente, puoi specificare il percorso dell'URL del servizio a cui inviare la richiesta in entrata.

    Si tratta del percorso relativo del servizio di destinazione a cui devono essere inviati gli eventi per il trigger. Ad esempio: /, /route, route, route/subroute.

13. Fai clic su Crea.

Una volta creato un attivatore, i filtri dell'origine evento non possono essere modificati. Crea invece un nuovo attivatore ed elimina quello precedente. Per saperne di più, consulta Gestire i trigger.

gcloud

Puoi creare un trigger eseguendo un comando gcloud eventarc triggers create insieme ai flag obbligatori e facoltativi.

  gcloud eventarc triggers create TRIGGER \
      --location=LOCATION \
      --destination-gke-cluster=DESTINATION_GKE_CLUSTER \
      --destination-gke-location=DESTINATION_GKE_LOCATION \
      --destination-gke-namespace=DESTINATION_GKE_NAMESPACE \
      --destination-gke-service=DESTINATION_GKE_SERVICE \
      --destination-gke-path=DESTINATION_GKE_PATH \
      --event-filters="type=EVENT_FILTER_TYPE" \
      --event-filters="COLLECTION_ID=RESOURCE_ID" \
      --event-filters-path-pattern="COLLECTION_ID=PATH_PATTERN" \
      --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"

Sostituisci quanto segue:

• TRIGGER: l'ID del trigger o un identificatore completo.
• LOCATION: la posizione del trigger Eventarc. In alternativa, puoi impostare la proprietà eventarc/location, ad esempio gcloud config set eventarc/location us-central1.

  Per evitare problemi di prestazioni e localizzazione dei dati, se possibile, devono corrispondere alla località del servizio Google Cloud che genera gli eventi. Per ulteriori informazioni, consulta la pagina Località di Eventarc.

• DESTINATION_GKE_CLUSTER: il nome del cluster GKE in cui è in esecuzione il servizio GKE di destinazione che riceve gli eventi.
• DESTINATION_GKE_LOCATION: la località in cui si trova il servizio GKE di destinazione. Se non specificato, si presume che il servizio si trovi nella stessa regione del trigger. Per saperne di più, consulta Cloud Run for Anthos sulle località di Google Cloud.
• DESTINATION_GKE_NAMESPACE: lo spazio dei nomi in cui è in esecuzione il servizio GKE di destinazione. Se non specificato, viene utilizzato lo spazio dei nomi default.
• DESTINATION_GKE_SERVICE: il nome del servizio GKE che riceve gli eventi per il trigger. Il servizio può trovarsi in una qualsiasi delle località supportate da GKE e non deve trovarsi nella stessa località del trigger. Tuttavia, il servizio deve trovarsi nello stesso progetto del trigger e riceverà gli eventi come richieste POST HTTP inviate al relativo percorso dell'URL principale (/), ogni volta che viene generato l'evento.
• (Facoltativo) DESTINATION_GKE_PATH: il percorso relativo che specifichi nel servizio GKE di destinazione a cui devono essere inviati gli eventi per il trigger. Ad esempio: /, /route, route e route/subroute.
• EVENT_FILTER_TYPE: identificatore dell'evento. Viene generato un evento quando una chiamata API per il metodo ha esito positivo. Per le operazioni a lunga esecuzione, l'evento viene generato solo al termine dell'operazione e solo se l'azione viene eseguita correttamente. Per un elenco dei tipi di eventi supportati, consulta la pagina Tipi di eventi supportati da Eventarc.

• COLLECTION_ID (facoltativo): il componente resource che può fungere da filtro evento ed è uno dei seguenti:
  • connectionprofile
  • privateconnection
  • route
  • stream
• RESOURCE_ID: l'identificatore della risorsa utilizzata come valore di filtro per la raccolta associata. Per saperne di più, consulta ID risorsa.
• PATH_PATTERN: il pattern del percorso da applicare quando si filtra la risorsa.
• SERVICE_ACCOUNT_NAME: il nome dell'account di servizio gestito dall'utente.
• PROJECT_ID: il tuo ID progetto Google Cloud.

Note:

• Il flag --event-filters="type=EVENT_FILTER_TYPE" è obbligatorio. Se non è impostato alcun altro filtro di eventi, gli eventi di tutte le risorse vengono abbinati.
• Impossibile modificare EVENT_FILTER_TYPE dopo la creazione. Per modificare EVENT_FILTER_TYPE, crea un nuovo trigger ed elimina quello precedente.
• Ogni attivatore può avere più filtri eventi, delimitati da virgole in un flag --event-filters =ATTRIBUTE=VALUE,...] oppure puoi ripetere il flag per aggiungere altri filtri. Solo gli eventi che corrispondono a tutti i filtri vengono inviati alla destinazione. I caratteri jolly e le espressioni regolari non sono supportati. Tuttavia, quando utilizzi il flag --event-filters-path-pattern, puoi definire un pattern del percorso della risorsa.
• Il flag --service-account viene utilizzato per specificare l'indirizzo email dell'account di servizio Identity and Access Management (IAM) associato al trigger.

Esempio:

  gcloud eventarc triggers create helloworld-trigger \
      --location=us-central1 \
      --destination-gke-cluster=gke-events-cluster \
      --destination-gke-location=us-central1-a \
      --destination-gke-namespace=default \
      --destination-gke-service=helloworld-events \
      --destination-gke-path=/ \
      --event-filters="type=google.cloud.datastream.connectionProfile.v1.updated" \
      --event-filters-path-pattern="connectionprofile=my-connectionprofile-*" \
      --service-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Questo comando crea un trigger denominato helloworld-trigger per l'evento identificato come google.cloud.datastream.connectionProfile.v1.updated e associa gli eventi per gli ID connectionprofile a partire da my-connectionprofile-.

Nota: anche se il trigger viene creato immediatamente, la propagazione e il filtro degli eventi possono richiedere fino a due minuti.

Elenca un attivatore

Puoi confermare la creazione di un trigger elencando i trigger Eventarc utilizzando Google Cloud CLI o tramite la console Google Cloud.

Console

1. Nella console Google Cloud, vai alla pagina Trigger di Eventarc.

   Vai a Trigger

   Questa pagina elenca i tuoi trigger in tutte le località e include dettagli quali nomi, aree geografiche, provider di eventi, destinazioni e altro ancora.

2. Per filtrare i trigger:

   1. Fai clic su Filtro o sul campo Filtra attivatori.
   2. Nell'elenco Proprietà, seleziona un'opzione per filtrare i trigger.

   Puoi selezionare una singola proprietà o utilizzare l'operatore logico OR per aggiungerne altre.

3. Per ordinare gli attivatori, fai clic su Ordina accanto a qualsiasi intestazione di colonna supportata.

gcloud

Esegui il comando seguente per elencare i trigger:

gcloud eventarc triggers list --location=-

Questo comando elenca i tuoi trigger in tutte le località e include dettagli quali nomi, tipi, destinazioni e stati.

Passaggi successivi

• Scopri di più su Eventarc.
• Prova le guide rapide di Eventarc.
• Scopri come gestire i trigger.