Un argomento di importazione di Amazon Kinesis Data Streams ti consente di importare continuamente dati da Amazon Kinesis Data Streams come origine esterna e in Pub/Sub. Poi puoi trasmettere i dati in streaming a una qualsiasi delle destinazioni supportate da Pub/Sub.
Per saperne di più sugli argomenti di importazione, consulta Informazioni sugli argomenti di importazione.
Prima di iniziare
Scopri di più sulla procedura di pubblicazione Pub/Sub.
Configura i ruoli e le autorizzazioni richiesti per gestire gli argomenti di importazione di Amazon Kinesis Data Streams, tra cui:
Configura la federazione delle identità per i workload in modo che Google Cloud possa accedere al servizio di streaming esterno.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni
necessarie per creare e gestire argomenti di importazione Amazon Kinesis Data Streams,
chiedi all'amministratore di concederti il
ruolo IAM Pub/Sub Editor (roles/pubsub.editor
)
nell'argomento o nel progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per creare e gestire gli argomenti di importazione di Amazon Kinesis Data Streams. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per creare e gestire gli argomenti di importazione di Amazon Kinesis Data Streams sono necessarie le seguenti autorizzazioni:
-
Crea un argomento di importazione:
pubsub.topics.create
-
Elimina un argomento di importazione:
pubsub.topics.delete
-
Recupera un argomento di importazione:
pubsub.topics.get
-
Elenca un argomento di importazione:
pubsub.topics.list
-
Pubblica in un argomento di importazione:
pubsub.topics.publish and pubsub.serviceAgent
-
Aggiorna un argomento di importazione:
pubsub.topics.update
-
Recupera il policy IAM per un argomento di importazione:
pubsub.topics.getIamPolicy
-
Configura la policy IAM per un argomento di importazione:
pubsub.topics.setIamPolicy
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Puoi configurare il controllo dell'accesso a livello di progetto e a livello di singola risorsa.
Configurare l'identità federata per accedere ad Amazon Kinesis Data Streams
La federazione delle identità per i workload consente ai servizi di accedere ai workload in esecuzione al di fuori di Google Cloud. Google Cloud Con la federazione delle identità, non devi mantenere o trasmettere le credenziali a Google Cloud per accedere alle tue risorse in altri cloud. Puoi invece utilizzare le identità dei carichi di lavoro stessi per autenticarti su Google Cloud e accedere alle risorse.
Crea un account di servizio in Google Cloud
Questo passaggio è facoltativo. Se hai già un account di servizio, puoi utilizzarlo in questa procedura anziché crearne uno nuovo. Se utilizzi un account di servizio esistente, vai a Registra l'ID univoco del service account per il passaggio successivo.
Per gli argomenti di importazione di Amazon Kinesis Data Streams, Pub/Sub utilizza l'account di servizio come identità per accedere alle risorse di AWS.
Per ulteriori informazioni sulla creazione di un account di servizio, inclusi prerequisiti, ruoli e autorizzazioni richiesti e linee guida per la denominazione, consulta Creare service account. Dopo aver creato un account di servizio, potresti dover attendere 60 secondi o più prima di account di servizio utilizzare. Questo comportamento si verifica perché le operazioni di lettura sono alla fine coerenti; potrebbe essere necessario del tempo prima che il nuovoaccount di serviziot diventi visibile.
Registra l'ID univoco del account di servizio
Per configurare un ruolo in AWS, devi disporre di un ID univoco del account di servizio.
Nella Google Cloud console, vai alla pagina dei dettagli del service account.
Fai clic sul account di servizio che hai appena creato o su quello che intendi utilizzare.
Nella pagina Dettagli del service account, annota il numero dell'ID univoco.
L'ID è necessario come parte del flusso di lavoro per configurare un ruolo in AWS.
Aggiungi il ruolo di creatore token account di servizio al account di servizio Pub/Sub
Il ruolo Creatore token service account (roles/iam.serviceAccountTokenCreator
)
consente ai principal di creare credenziali di breve durata
per un account di servizio. Questi token o credenziali vengono utilizzati per simulare l'identità
delaccount di serviziot.
Per ulteriori informazioni sull'impersonificazione dei account di servizio, vedi Impersonificazione dei service account.
Puoi anche aggiungere il ruolo Pub/Sub Publisher (roles/pubsub.publisher
)
durante questa procedura. Per saperne di più sul ruolo e sul motivo per cui lo stai aggiungendo,
consulta Aggiungi il ruolo Pub/Sub Publisher al service account Pub/Sub.
Nella console Google Cloud , vai alla pagina IAM.
Fai clic sulla casella di controllo Includi concessioni di ruoli fornite da Google.
Cerca il account di servizio con il formato
service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com
.Per questo service account, fai clic sul pulsante Modifica entità.
Se necessario, fai clic su Aggiungi un altro ruolo.
Cerca e fai clic sul ruolo Creatore token service account (
roles/iam.serviceAccountTokenCreator
).Fai clic su Salva.
Crea una policy in AWS
In AWS è necessaria una policy per consentire l'autenticazione di Pub/Sub in AWS, in modo che Pub/Sub possa importare dati da Amazon Kinesis Data Streams.
- Per altri metodi e informazioni su come creare una policy in AWS, consulta Creazione di policy IAM.
Per creare una policy in AWS, segui questi passaggi:
Accedi alla Console di gestione AWS e apri la console IAM.
Nel riquadro di navigazione della console per IAM, fai clic su Gestione accessi > Policy.
Fai clic su Crea criterio.
Per Seleziona un servizio, fai clic su Kinesis.
Per Azione consentita, fai clic su:
List > ListShards.
Questa azione concede l'autorizzazione a elencare gli shard in uno stream e fornisce informazioni su ciascun shard.
Read > SubscribeToShard.
Questa azione concede l'autorizzazione ad ascoltare uno shard specifico con una distribuzione avanzata.
Leggi > DescribeStreamConsumer.
Questa azione concede l'autorizzazione per ottenere la descrizione di un consumer di stream registrato.
Queste autorizzazioni riguardano la lettura dallo stream. Pub/Sub supporta la lettura da un flusso Kinesis solo con Enhanced Fan-Out utilizzando l'API streaming SubscribeToShard.
Per Risorse, se vuoi limitare il criterio a un flusso o a un consumatore specifico (consigliato), specifica l'ARN del consumatore e l'ARN del flusso.
Fai clic su Aggiungi altre autorizzazioni.
Per Seleziona un servizio, fai clic su STS.
Per Azione consentita, fai clic su Scrittura > AssumeRoleWithWebIdentity.
Questa azione concede l'autorizzazione per ottenere un insieme di credenziali di sicurezza temporanee per Pub/Sub per l'autenticazione ad Amazon Kinesis Data Streams utilizzando il federazione delle identità.
Fai clic su Avanti.
Inserisci un nome e una descrizione per la norma.
Fai clic su Crea criterio.
Creare un ruolo in AWS utilizzando una policy di attendibilità personalizzata
Devi creare un ruolo in AWS in modo che Pub/Sub possa autenticarsi in AWS per importare i dati da Amazon Kinesis Data Streams.
Accedi alla Console di gestione AWS e apri la console IAM.
Nel riquadro di navigazione della console per IAM, fai clic su Ruoli.
Fai clic su Crea ruolo.
In Seleziona entità attendibile, fai clic su Policy di attendibilità personalizzata.
Nella sezione Norma di attendibilità personalizzata, inserisci o incolla quanto segue:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Federated": "accounts.google.com" }, "Action": "sts:AssumeRoleWithWebIdentity", "Condition": { "StringEquals": { "accounts.google.com:sub": "<SERVICE_ACCOUNT_UNIQUE_ID>" } } } ] }
Sostituisci
<SERVICE_ACCOUNT_UNIQUE_ID>
con l'ID univoco del account di servizio che hai registrato in Registra l'ID univoco del account di servizio account.Fai clic su Avanti.
Per Aggiungi autorizzazioni, cerca e fai clic sul criterio personalizzato che hai appena creato.
Fai clic su Avanti.
Inserisci un nome e una descrizione per il ruolo.
Fai clic su Crea ruolo.
Aggiungi il ruolo Publisher Pub/Sub al principal Pub/Sub
Per attivare la pubblicazione, devi assegnare un ruolo Publisher al account di servizio Pub/Sub in modo che Pub/Sub possa pubblicare nell'argomento di importazione di Amazon Kinesis Data Streams.
Aggiungi il ruolo di agente di servizio Pub/Sub al account di servizio Pub/Sub
Per consentire a Pub/Sub di utilizzare la quota di pubblicazione del progetto dell'argomento di importazione, l'agente di servizio Pub/Sub richiede l'autorizzazione serviceusage.services.use
per il progetto dell'argomento di importazione.
Per fornire questa autorizzazione, ti consigliamo di aggiungere il ruolo di agente di servizio Pub/Sub all'account di servizio Pub/Sub.
Se l'account di servizio Pub/Sub non dispone del ruolo Agente di servizio Pub/Sub, può essere concesso nel seguente modo:
Nella console Google Cloud , vai alla pagina IAM.
Fai clic sulla casella di controllo Includi concessioni di ruoli fornite da Google.
Cerca il account di servizio con il formato
service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com
.Per questo account di servizio, fai clic sul pulsante Modifica entità.
Se necessario, fai clic su Aggiungi un altro ruolo.
Cerca e fai clic sul ruolo Agente di servizio Pub/Sub (
roles/pubsub.serviceAgent
).Fai clic su Salva.
Attivare la pubblicazione da tutti gli argomenti
Utilizza questo metodo se non hai creato argomenti di importazione di Amazon Kinesis Data Streams.
Nella console Google Cloud , vai alla pagina IAM.
Fai clic sulla casella di controllo Includi concessioni di ruoli fornite da Google.
Cerca il account di servizio con il formato
service-{PROJECT_NUMBER}@gcp-sa-pubsub.iam.gserviceaccount.com
.Per questo account di servizio, fai clic sul pulsante Modifica entità.
Se necessario, fai clic su Aggiungi un altro ruolo.
Cerca e fai clic sul ruolo Pub/Sub Publisher (
roles/pubsub.publisher
).Fai clic su Salva.
Abilita la pubblicazione da un singolo argomento
Utilizza questo metodo solo se l'argomento di importazione di Amazon Kinesis Data Streams esiste già.
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Esegui il comando
gcloud pubsub topics add-iam-policy-binding
:gcloud pubsub topics add-iam-policy-binding TOPIC_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com" \ --role="roles/pubsub.publisher"
Sostituisci quanto segue:
TOPIC_ID
: l'ID argomento dell'argomento di importazione di Amazon Kinesis Data Streams.PROJECT_NUMBER
: il numero di progetto. Per visualizzare il numero del progetto, consulta Identifica i progetti.
Nella console Google Cloud , vai alla pagina IAM.
Per l'entità che effettua le chiamate di creazione o aggiornamento dell'argomento, fai clic sul pulsante Modifica entità.
Se necessario, fai clic su Aggiungi un altro ruolo.
Cerca e fai clic sul ruolo Utente service account (
roles/iam.serviceAccountUser
).Fai clic su Salva.
- La creazione separata dell'argomento e della sottoscrizione, anche se eseguita in rapida successione, può comportare la perdita di dati. Esiste una breve finestra in cui l'argomento esiste senza una sottoscrizione. Se durante questo periodo vengono inviati dati all'argomento, questi vengono persi. Se crei prima l'argomento, poi la sottoscrizione e infine converti l'argomento in un argomento di importazione, garantisci che nessun messaggio venga perso durante il processo di importazione.
Configurare l'identità federata per accedere a Kinesis Data Streams
Aggiungi il ruolo Pub/Sub Publisher al service account Pub/Sub
Aggiungere il ruolo Utente account di servizio al service account
Nella console Google Cloud , vai alla pagina Argomenti.
Fai clic su Crea argomento.
Nel campo ID argomento, inserisci un ID per l'argomento di importazione di Amazon Kinesis Data Streams.
Per ulteriori informazioni sulla denominazione degli argomenti, consulta le linee guida per la denominazione.
Seleziona Aggiungi una sottoscrizione predefinita.
Seleziona Abilita importazione.
Per l'origine di importazione, seleziona Amazon Kinesis Data Streams.
Inserisci i seguenti dettagli:
ARN del flusso Kinesis: l'ARN del flusso di dati Kinesis che prevedi di importare in Pub/Sub. Il formato ARN è il seguente:
arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}
.ARN del consumer Kinesis: l'ARN della risorsa consumer registrata nel flusso di dati AWS Kinesis. Il formato ARN è il seguente:
arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}
.ARN del ruolo AWS: l'ARN del ruolo AWS. Il formato ARN del ruolo è il seguente:
arn:aws:iam::${Account}:role/${RoleName}
Service account: il account di servizio che hai creato in Creare un account di servizio in Google Cloud.
Fai clic su Crea argomento.
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Esegui il comando
gcloud pubsub topics create
:gcloud pubsub topics create TOPIC_ID \ --kinesis-ingestion-stream-arn KINESIS_STREAM_ARN \ --kinesis-ingestion-consumer-arn KINESIS_CONSUMER_ARN \ --kinesis-ingestion-role-arn KINESIS_ROLE_ARN \ --kinesis-ingestion-service-account PUBSUB_SERVICE_ACCOUNT
Sostituisci quanto segue:
TOPIC_ID
: l'ID argomento.KINESIS_STREAM_ARN
: l'ARN di Kinesis Data Streams che prevedi di importare in Pub/Sub. Il formato dell'ARN è il seguente:arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}
.KINESIS_CONSUMER_ARN
: l'ARN della risorsa consumer registrata in AWS Kinesis Data Streams. Il formato ARN è il seguente:arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}
.KINESIS_ROLE_ARN
: l'ARN del ruolo AWS. Il formato dell'ARN del ruolo è il seguente:arn:aws:iam::${Account}:role/${RoleName}
.PUBSUB_SERVICE_ACCOUNT
: l'account di servizio che hai creato in Creare un service account in Google Cloud.
-
Nella console Google Cloud , vai alla pagina Argomenti.
-
Fai clic sull'argomento di importazione di Amazon Kinesis Data Streams.
-
Nella pagina dei dettagli dell'argomento, fai clic su Modifica.
-
Aggiorna i campi che vuoi modificare.
-
Fai clic su Aggiorna.
-
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Per evitare di perdere le impostazioni dell'argomento di importazione, assicurati di includerle tutte ogni volta che aggiorni l'argomento. Se ometti qualcosa, Pub/Sub reimposta l'impostazione sul valore predefinito originale.
Esegui il comando
gcloud pubsub topics update
con tutti i flag menzionati nel seguente esempio:gcloud pubsub topics update TOPIC_ID
--kinesis-ingestion-stream-arn KINESIS_STREAM_ARN
--kinesis-ingestion-consumer-arn KINESIS_CONSUMER_ARN
--kinesis-ingestion-role-arn KINESIS_ROLE_ARN
--kinesis-ingestion-service-account PUBSUB_SERVICE_ACCOUNTSostituisci quanto segue:
-
TOPIC_ID è l'ID argomento. Questo campo non può essere aggiornato.
-
KINESIS_STREAM_ARN è l'ARN di Kinesis Data Streams che prevedi di importare in Pub/Sub. Il formato dell'ARN è il seguente:
arn:${Partition}:kinesis:${Region}:${Account}:stream/${StreamName}
. -
KINESIS_CONSUMER_ARN è l'ARN della risorsa consumer registrata in AWS Kinesis Data Streams. Il formato ARN è il seguente:
arn:${Partition}:kinesis:${Region}:${Account}:${StreamType}/${StreamName}/consumer/${ConsumerName}:${ConsumerCreationTimestamp}
. -
KINESIS_ROLE_ARN è l'ARN del ruolo AWS. Il formato ARN del ruolo è il seguente:
arn:aws:iam::${Account}:role/${RoleName}
. -
PUBSUB_SERVICE_ACCOUNT è il account di servizio che hai creato in Creare un account di servizio in Google Cloud.
-
Scegli il tipo di abbonamento per l'argomento.
Scopri come pubblicare un messaggio in un argomento.
Crea o modifica un argomento con gcloud CLI, API REST o librerie client.
Risolvi i problemi relativi a un argomento di importazione di Amazon Kinesis Data Streams.
Aggiungi il ruolo Utente account di servizio al account di servizio
Il ruolo Utente service account (roles/iam.serviceAccountUser
) include l'autorizzazione
iam.serviceAccounts.actAs
che consente a un'entità di collegare un service
account alle impostazioni di importazione dell'argomento di importazione di Amazon Kinesis Data Streams e
utilizzare questo account di servizio per l'identità federata.
Utilizzare gli argomenti Amazon Kinesis Data Streams
Puoi creare un nuovo argomento di importazione o modificarne uno esistente.
Considerazioni
Crea un argomento di importazione Amazon Kinesis Data Streams
Per saperne di più sulle proprietà associate a un argomento, consulta Proprietà di un argomento.
Assicurati di aver completato le seguenti procedure:
Per creare un argomento di importazione Amazon Kinesis Data Streams:
Console
gcloud
C++
Prima di provare questo esempio, segui le istruzioni di configurazione di C++ nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API C++ di Pub/Sub.
Go
L'esempio seguente utilizza la versione principale della libreria client Go Pub/Sub (v2). Se utilizzi ancora la libreria v1, consulta la guida alla migrazione alla v2. Per visualizzare un elenco di esempi di codice della versione 1, consulta gli esempi di codice deprecati.
Prima di provare questo esempio, segui le istruzioni di configurazione di Go nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Go.
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Java di Pub/Sub.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Node.js.
Node.ts
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Node.js.
Python
Prima di provare questo esempio, segui le istruzioni di configurazione di Python nella guida rapida all'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API Pub/Sub Python.
Per saperne di più sugli ARN, consulta Amazon Resource Names (ARN) e Identificatori IAM.
Se riscontri problemi, consulta l'articolo Risolvi i problemi relativi all'importazione da Amazon Kinesis Data Streams.
Modificare un argomento di importazione Amazon Kinesis Data Streams
Puoi modificare le impostazioni dell'origine dati di importazione di un argomento di importazione di Amazon Kinesis Data Streams. Segui questi passaggi:
Console
gcloud
Quote e limiti per gli argomenti di importazione di Amazon Kinesis Data Streams
Il throughput del publisher per gli argomenti di importazione è vincolato alla quota di pubblicazione dell'argomento. Per maggiori informazioni, consulta Quote e limiti di Pub/Sub.