Apache Kafka

Il connettore Apache Kafka consente di eseguire operazioni di inserimento, eliminazione, aggiornamento e lettura sul database Apache Kafka.

Versioni supportate

Il connettore Apache Kafka sfrutta le librerie client native per stabilire una connessione a un determinato cluster Kafka, mentre il connettore funziona con la versione client 3.3.1. Tuttavia, il connettore può stabilire la connettività ai cluster Kafka dalle versioni 3.0 alla 3.3.1.

Prima di iniziare

Prima di utilizzare il connettore Apache Kafka, esegui queste attività:

  • Nel tuo progetto Google Cloud:
    • Concedi il ruolo IAM roles/connectors.admin all'utente che configura il connettore.
    • Concedi i seguenti ruoli IAM all'account di servizio che vuoi utilizzare per il connettore:
      • roles/secretmanager.viewer
      • roles/secretmanager.secretAccessor

      Un account di servizio è un tipo speciale di Account Google destinato a rappresentare un utente "non umano" che deve autenticarsi ed essere autorizzato ad accedere ai dati nelle API di Google. Se non hai un account di servizio, devi crearne uno. Per saperne di più, consulta la pagina sulla creazione di un account di servizio.

    • Abilita i seguenti servizi:
      • secretmanager.googleapis.com (API Secret Manager)
      • connectors.googleapis.com (API Connectors)

      Per informazioni su come abilitare i servizi, vedi Abilitazione dei servizi.

    Se questi servizi o queste autorizzazioni non sono stati abilitati per il tuo progetto in precedenza, ti verrà chiesto di abilitarli durante la configurazione del connettore.

Configura il connettore

Per configurare il connettore è necessario creare una connessione all'origine dati (sistema di backend). Una connessione è specifica per un'origine dati. Ciò significa che se disponi di molte origini dati, devi creare una connessione separata per ciascuna. Per creare una connessione, segui questi passaggi:

  1. Nella console Cloud, vai alla pagina Connettori di integrazione > Connessioni, quindi seleziona o crea un progetto Google Cloud.

    Vai alla pagina Connessioni

  2. Fai clic su + CREA NUOVO per aprire la pagina Crea connessione.
  3. Nel passaggio Posizione, scegli la località per la nuova connessione Apache Kafka:
    1. Regione:seleziona una regione dall'elenco.
    2. Tocca Avanti.
  4. Nel passaggio Dettagli connessione, fornisci i dettagli sulla nuova connessione Apache Kafka:
    1. Versione connettore:scegli dall'elenco una versione disponibile del connettore Apache Kafka.
    2. Nome connessione:inserisci un nome per la connessione Apache Kafka.
    3. (Facoltativo) Descrizione: inserisci una descrizione per la connessione.
    4. (Facoltativo) Abilita Cloud Logging: seleziona questa casella di controllo per archiviare tutti i dati di log della connessione.
    5. Account di servizio: seleziona un account di servizio con i ruoli IAM richiesti per la connessione Apache Kafka.
    6. Per impostazione predefinita, l'opzione Abilita sottoscrizione agli eventi, entità e azioni è selezionata per la connessione Apache Kafka.
    7. Schema di rilevamento tipi: seleziona MessageOnly.
    8. Servizio di registro: il servizio del registro di schema utilizzato per lavorare con gli schemi di argomenti.
    9. Tipo di registro: il tipo dello schema specificato per un argomento specifico.
    10. Versione del registro: la versione dello schema letta da RegistryUrl per l'argomento specificato.
    11. Utente del registro: valore del nome utente o della chiave di accesso da autorizzare con il server specificato in RegistryUrl.
    12. Password del registro: il secret di Secret Manager contenente il valore della password/della chiave segreta da autorizzare con il server specificato in RegistryUrl.
    13. Facoltativamente, configura le impostazioni del nodo di connessione:

      • Numero minimo di nodi: inserisci il numero minimo di nodi di connessione.
      • Numero massimo di nodi: inserisci il numero massimo di nodi di connessione.

      Un nodo è un'unità (o una replica) di una connessione che elabora le transazioni. Sono necessari più nodi per elaborare più transazioni per una connessione e, al contrario, sono necessari meno nodi per elaborare un numero minore di transazioni. Per capire in che modo i nodi influiscono sui prezzi del connettore, consulta Prezzi dei nodi di connessione. Se non inserisci alcun valore, per impostazione predefinita il numero minimo di nodi è impostato su 2 (per una migliore disponibilità) e il numero massimo di nodi è impostato su 50.

    14. Facoltativamente, fai clic su + AGGIUNGI ETICHETTA per aggiungere un'etichetta alla connessione sotto forma di coppia chiave-valore.
    15. Abilita SSL: questo campo indica se SSL è abilitato o meno.
    16. Tocca Avanti.
  5. Nella sezione Destinazioni, inserisci i dettagli dell'host remoto (sistema di backend) a cui vuoi connetterti.
    1. Tipo di destinazione: seleziona un Tipo di destinazione.
      1. Nel campo Indirizzo host, specifica il nome host o l'indirizzo IP della destinazione.
        1. Se vuoi stabilire una connessione privata ai sistemi di backend, segui questi passaggi:
          1. Crea un collegamento al servizio PSC.
          2. Crea un collegamento endpoint e inserisci i relativi dettagli nel campo Indirizzo host.
        2. Se vuoi stabilire una connessione pubblica ai tuoi sistemi di backend con maggiore sicurezza, puoi configurare indirizzi IP statici in uscita per le tue connessioni, quindi configurare le regole firewall in modo da inserire nella lista consentita solo indirizzi IP statici specifici.

      Per inserire altre destinazioni, fai clic su +AGGIUNGI DESTINAZIONE.

    2. Tocca Avanti.
  6. Nella sezione Autenticazione, inserisci i dettagli di autenticazione.
    1. Seleziona un Tipo di autenticazione e inserisci i dettagli pertinenti.

      La connessione Apache Kafka supporta i seguenti tipi di autenticazione:

      • Nome utente e password
        • Nome utente: il nome utente di Apache Kafka da utilizzare per la connessione.
        • Password: il secret di Secret Manager contenente la password associata al nome utente Apache Kafka.
        • Schema di autenticazione: lo schema utilizzato per l'autenticazione.

          La connessione Apache Kafka supporta il seguente schema di autenticazione:

          • Semplice
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • Non disponibile

        Se vuoi utilizzare l'accesso anonimo, seleziona Non disponibile.

    2. Tocca Avanti.
  7. Inserisci la configurazione messaggi non recapitabili. Se configuri i messaggi non recapitabili, la connessione scrive gli eventi non elaborati nell'argomento Pub/Sub specificato. Inserisci i seguenti dettagli:
    1. ID progetto messaggi non recapitabili: l'ID progetto Google Cloud in cui hai configurato l'argomento Pub/Sub messaggi non recapitabili.
    2. Argomento messaggi non recapitabili: l'argomento Pub/Sub in cui vuoi scrivere i dettagli dell'evento non elaborato.
  8. Tocca Avanti.
  9. Verifica: controlla i dettagli di connessione e autenticazione.
  10. Fai clic su Crea.

Entità, operazioni e azioni

Tutti i connettori di integrazione forniscono un livello di astrazione per gli oggetti dell'applicazione connessa. Puoi accedere agli oggetti di un'applicazione solo tramite questa astrazione. L'astrazione è esposta come entità, operazioni e azioni.

  • Entità: un'entità può essere considerata come un oggetto o una raccolta di proprietà nell'applicazione o nel servizio collegato. La definizione di un'entità è diversa da un connettore a un connettore. Ad esempio, in un connettore di database, le tabelle sono le entità, in un connettore di file server, le cartelle sono le entità e in un connettore di sistema di messaggistica le code sono le entità.

    Tuttavia, è possibile che un connettore non supporti o non abbia entità, nel qual caso l'elenco Entities sarà vuoto.

  • Operazione : un'operazione è l'attività che puoi eseguire su un'entità. Su un'entità puoi eseguire una qualsiasi delle seguenti operazioni:

    Se selezioni un'entità dall'elenco disponibile, viene generato un elenco di operazioni disponibili per l'entità. Per una descrizione dettagliata delle operazioni, consulta le operazioni delle entità dell'attività Connettori. Tuttavia, se un connettore non supporta nessuna delle operazioni delle entità, queste operazioni non supportate non sono elencate nell'elenco Operations.

  • Azione: un'azione è una funzione di prima classe resa disponibile per l'integrazione attraverso l'interfaccia del connettore. Un'azione consente di apportare modifiche a una o più entità e di variare da connettore a connettore. Tuttavia, è possibile che un connettore non supporti alcuna azione, nel qual caso l'elenco Actions sarà vuoto.

Limitazioni di sistema

Il connettore Apache Kafka può elaborare un massimo di 50 transazioni al secondo per nodo e limitare qualsiasi transazione oltre questo limite. Per impostazione predefinita, Integration Connectors alloca 2 nodi (per una migliore disponibilità) per una connessione.

Per informazioni sui limiti applicabili a Integration Connectors, consulta Limiti.

Azioni

Azione PubblicaMessage

Questa azione pubblica un messaggio in un argomento Apache Kafka. Le seguenti tabelle descrivono i parametri di input e di output dell'azione PublishMessage.

Parametri di input

Nome parametro Obbligatorio Tipo di dati Descrizione
Argomento Sì Stringa Nome dell'argomento in cui vuoi pubblicare il messaggio.
Partizione No Stringa La partizione a cui è assegnato il messaggio. Il valore deve essere valido per l'argomento specificato. Se non imposti questo valore, verrà impostato automaticamente dal client nativo.
Chiave No Stringa La chiave del messaggio.
Messaggio Sì Stringa Il messaggio che vuoi pubblicare. Il messaggio deve essere in formato JSON con stringa e la dimensione massima supportata del messaggio è 10 MB.
HasBytes No Booleano Specifica se il messaggio è in formato binario.
MessageBytes No Stringa Il messaggio sotto forma di stringa codificata Base64.
Convalida No Booleano Specifica se il messaggio da pubblicare deve essere convalidato in base allo schema dei messaggi definito nel registro degli schemi per l'argomento. Se hai specificato il registro degli schemi durante la creazione di una connessione, la definizione dello schema dell'argomento nel registro viene utilizzata ai fini della convalida. Il valore predefinito di questo campo è false.

Parametri di output

Nome parametro Tipo di dati Descrizione
PartitionWritten Numero intero La partizione in cui è stato scritto il messaggio.
OffsetWritten Lungo La posizione nella partizione in cui è stato scritto il messaggio.
TimestampWritten Lungo L'ora (timestamp Unix) in cui è stato eseguito il commit del messaggio nella partizione.
KeyWritten Stringa Il valore della chiave del messaggio che è stata scritta. Il valore è NULL se non è stata fornita alcuna chiave del messaggio durante la scrittura del messaggio.
Operazione riuscita Booleano Specifica se il messaggio è stato pubblicato.

Di seguito è riportata una risposta di esempio all'azione PublishMessage:

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Configurazione per Confluent Cloud

La configurazione per Confluent Cloud è leggermente diversa dai passaggi documentati in precedenza per Apache Kafka. Considera i seguenti punti durante la creazione di una connessione per Confluent Cloud:

  • La chiave API del cluster Confluent Cloud viene utilizzata come nome utente e il secret di Secret Manager della chiave viene utilizzato come password per la connessione ai server di bootstrap. Devi creare una chiave API in Confluent Cloud, se non l'hai già.
  • Seleziona Usa SSL nella sezione Connection Details.
  • Se utilizzi il registro degli schemi, configura i seguenti valori:
    • Nella sezione Connection Details:
      • Versione del registro: inserisci il numero di versione del registro. Se vuoi utilizzare la versione più recente, inserisci latest.
      • Utente del registro: inserisci la chiave API del registro di schema. Devi creare una chiave API del registro di schema, se non l'hai già.
      • Password del registro: inserisci il segreto di Secret Manager della password del registro.
      • Secret Version: seleziona il numero di versione del secret.
      • Tipo di registro: seleziona Confluent.
      • Schema di rilevamento tipi: seleziona MessageOnly
    • Nella sezione Destinations, inserisci l'URL del registro nel campo del nome host.

    Utilizzare Terraform per creare connessioni

    Puoi utilizzare la risorsa Terraform per creare una nuova connessione.

    Per scoprire come applicare o rimuovere una configurazione Terraform, consulta Comandi Terraform di base.

    Per visualizzare un modello Terraform di esempio per la creazione delle connessioni, guarda il modello di esempio.

    Quando crei questa connessione utilizzando Terraform, devi impostare le seguenti variabili nel file di configurazione Terraform:

    Nome parametro Tipo di dati Obbligatorio Descrizione
    type_detection_scheme ENUM Vero Lo schema utilizzato per l'autenticazione con il broker Apache Kafka. I valori supportati sono: MessageOnly
    registry_service ENUM Falso Il servizio del registro di schemi utilizzato per lavorare con gli schemi di argomenti. I valori supportati sono: Confluent
    registry_type ENUM Falso Tipo dello schema specificato per un argomento specifico. I valori supportati sono: AVRO, JSON
    registry_version STRING Falso Versione dello schema letta da RegistryUrl per l'argomento specificato. I valori validi per la versione del Registro di sistema sono compresi tra [1,2^31-1] o la stringa "più recente", che restituisce l'ultimo schema registrato.
    registry_user STRING Falso Nome utente da autorizzare con il server specificato in RegistryUrl .
    registry_password SECRET Falso Secret di Secret Manager contenente il valore della password/chiave segreta da autorizzare con il server specificato in RegistryUrl.
    Usesl BOOLEANO Falso Questo campo consente di specificare se SSL è abilitato o meno.

    Utilizza la connessione Apache Kafka in un'integrazione

    Dopo aver creato la connessione, diventa disponibile sia in Apigee Integration che in Application Integration. Puoi usare la connessione in un'integrazione tramite l'attività Connettori.

    • Per capire come creare e utilizzare l'attività Connettori in Apigee Integration, consulta Attività Connettori.
    • Per capire come creare e utilizzare l'attività Connettori in Application Integration, consulta Attività Connettori.

    Ricevi assistenza dalla community Google Cloud

    Puoi pubblicare le tue domande e discutere di questo connettore nella community Google Cloud sui forum Cloud.

    Passaggi successivi