Gli host on-premise possono raggiungere Generative AI su Vertex AI tramite la rete internet pubblica o privatamente tramite un'architettura di rete ibrida che utilizza Private Service Connect (PSC) su Cloud VPN o Cloud Interconnect. Entrambe le opzioni offrono la crittografia SSL/TLS. Tuttavia, l'opzione privata offre prestazioni di gran lunga migliori ed è pertanto consigliata per le applicazioni critiche.
In questo tutorial utilizzerai la VPN ad alta disponibilità (VPN ad alta disponibilità) per accedere all'AI generativa su Vertex AI sia pubblicamente, tramite Cloud NAT, sia in privato, tra due reti Virtual Private Cloud (VPC) che possono fungere da base per la connettività privata multi-cloud e on-premise.
Questo tutorial è destinato agli amministratori di rete aziendali, ai data scientist e ai ricercatori che hanno familiarità con Vertex AI, VPC, la console Google Cloud e Cloud Shell. La familiarità con l'IA generativa su Vertex AI è utile ma non obbligatoria.
Obiettivi
- Crea due reti VPC, come illustrato nel diagramma precedente:
- Uno (
onprem-vpc
) rappresenta una rete on-premise. - L'altro (
vertex-networking-vpc
) è per accedere all'API REST per Generative AI su Vertex AI.
- Uno (
- Esegui il deployment di gateway VPN ad alta disponibilità, tunnel
Cloud VPN e router Cloud per connettere
vertex-networking-vpc
eonprem-vpc
. - Creare un endpoint Private Service Connect (PSC) per inoltrare le richieste all'API REST GenAI.
- Configura una route annunciata personalizzata del router Cloud in
vertex-networking-vpc
per annunciare le route per l'endpoint Private Service Connect versoonprem-vpc
. - Crea un'istanza VM di Compute Engine in
onprem-vpc
per rappresentare un'applicazione client che invia richieste all'API REST GenAI tramite VPN ad alta disponibilità.
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il Calcolatore prezzi.
Una volta completate le attività descritte in questo documento, puoi evitare la fatturazione continua eliminando le risorse che hai creato. Per ulteriori informazioni, consulta la pagina Pulizia.
Prima di iniziare
-
In the Google Cloud console, go to the project selector page.
-
Select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
- Se non sei il proprietario del progetto, è quest'ultimo che ti deve concedere il ruolo IAM
roles/resourcemanager.projectIamAdmin
. Devi avere questo ruolo per concedere ruoli e autorizzazioni IAM a te stesso e agli account di servizio. - Apri Cloud Shell per eseguire i comandi elencati in questo tutorial. Cloud Shell è un ambiente shell interattivo per Google Cloud che ti consente di gestire progetti e risorse dal tuo browser web.
- In Cloud Shell, imposta il progetto attuale sul tuo
ID progetto Google Cloud e archivia lo stesso
ID progetto nella variabile shell
projectid
:projectid="PROJECT_ID" gcloud config set project ${projectid}
Sostituisci PROJECT_ID con il tuo ID progetto. Se necessario, puoi individuare il tuo ID progetto nella console Google Cloud. Per maggiori informazioni, consulta Trovare l'ID progetto. -
Concedi i ruoli al tuo Account Google. Esegui questo comando una volta per ciascuno dei seguenti ruoli IAM:
roles/compute.instanceAdmin.v1, roles/compute.networkAdmin, roles/compute.securityAdmin, roles/dns.admin, roles/iap.tunnelResourceAccessor, roles/iam.serviceAccountCreator, roles/iam.serviceAccountUser, roles/iam.serviceAccountDeleter, roles/resourcemanager.projectIamAdmin, roles/servicedirectory.editor, roles/servicemanagement.quotaAdmin, roles/aiplatform.user
gcloud projects add-iam-policy-binding PROJECT_ID --member="user:EMAIL_ADDRESS" --role=ROLE
- Sostituisci
PROJECT_ID
con l'ID progetto. - Sostituisci
EMAIL_ADDRESS
con il tuo indirizzo email. - Sostituisci
ROLE
con ogni singolo ruolo.
- Sostituisci
-
Abilita le API DNS, IAM, Compute Engine, Service Usage, and Vertex AI.
gcloud services enable dns.googleapis.com
iam.googleapis.com compute.googleapis.com serviceusage.googleapis.com aiplatform.googleapis.com
Crea due reti VPC: vertex-networking-vpc
e onprem-vpc
In questa sezione creerai due reti VPC: una come rete principale per accedere all'API Vertex AI di AI generativa (nota anche come GenAI) e l'altra per simulare la rete on-premise.
crea le reti VPC
Crea la rete VPC per accedere all'API GenAI (
vertex-networking-vpc
):gcloud compute networks create vertex-networking-vpc --subnet-mode custom
Crea la rete VPC per simulare la rete on-premise (
onprem-vpc
):gcloud compute networks create onprem-vpc --subnet-mode custom
Nella rete
onprem-vpc
, crea una subnet denominataonprem-vpc-subnet1
, con un intervallo IPv4 principale pari a172.16.10.0/24
:gcloud compute networks subnets create onprem-vpc-subnet1 \ --range 172.16.10.0/24 \ --network onprem-vpc \ --region us-central1
Nella console Google Cloud, vai alla scheda Reti nel progetto attuale nella pagina Rete VPC.
Nell'elenco delle reti VPC, verifica che le due reti siano state create:
vertex-networking-vpc
eonprem-vpc
.Nella pagina Rete VPC, fai clic sulla scheda Subnet nel progetto attuale.
Nell'elenco delle subnet VPC, verifica che la subnet
onprem-vpc-subnet1
sia stata creata nella reteonprem-vpc
.
Configura la connettività ibrida
In questa sezione creerai due gateway
VPN ad alta disponibilità collegati tra loro. Uno risiede nella rete VPC vertex-networking-vpc
. L'altro risiede nella rete VPC onprem-vpc
.
Ogni gateway contiene un router Cloud
e una coppia di tunnel VPN.
Crea i gateway VPN ad alta disponibilità
In Cloud Shell, crea il gateway VPN ad alta disponibilità per la rete VPC
vertex-networking-vpc
:gcloud compute vpn-gateways create vertex-networking-vpn-gw1 \ --network vertex-networking-vpc \ --region us-central1
Crea il gateway VPN ad alta disponibilità per la rete VPC
onprem-vpc
:gcloud compute vpn-gateways create onprem-vpn-gw1 \ --network onprem-vpc \ --region us-central1
Nella console Google Cloud, vai alla scheda Gateway Cloud VPN nella pagina VPN.
Nell'elenco dei gateway VPN, verifica che i due gateway (
vertex-networking-vpn-gw1
eonprem-vpn-gw1
) siano stati creati e che ciascuno abbia due indirizzi IP.
Creazione di router Cloud
In Cloud Shell, crea un router Cloud per la rete VPC
vertex-networking-vpc
:gcloud compute routers create vertex-networking-vpc-router1 \ --region us-central1\ --network vertex-networking-vpc \ --asn 65001
Crea un router Cloud per la rete VPC
onprem-vpc
:gcloud compute routers create onprem-vpc-router1 \ --region us-central1\ --network onprem-vpc\ --asn 65002
Aggiungi un gateway Cloud NAT alla rete VPC onprem-vpc
In questo passaggio, aggiungerai un gateway Cloud NAT al router Cloud per la rete VPC onprem-vpc
.
Un gateway Cloud NAT fornisce la connettività in uscita per le istanze di macchine virtuali (VM) Compute Engine che non hanno indirizzi IP esterni.
In Cloud Shell, aggiungi un gateway Cloud NAT al router Cloud
onprem-vpc-router1
:gcloud compute routers nats create us-central-cloudnat-onprem \ --router=onprem-vpc-router1 \ --auto-allocate-nat-external-ips \ --nat-all-subnet-ip-ranges \ --region us-central1
Nella console Google Cloud, vai alla pagina Router Cloud.
Nell'elenco dei router Cloud, verifica che
vertex-networking-vpc-router1
eonprem-vpc-router1
siano stati creati. Potresti dover aggiornare la scheda del browser della console Google Cloud per visualizzare i nuovi valori.Nell'elenco Router Cloud, fai clic su
onprem-vpc-router1
.Nella pagina Dettagli router, verifica che sia stato creato il gateway Cloud NAT
us-central-cloudnat-onprem
.
Crea tunnel VPN
Nella rete
vertex-networking-vpc
, crea un tunnel VPN denominatovertex-networking-vpc-tunnel0
:gcloud compute vpn-tunnels create vertex-networking-vpc-tunnel0 \ --peer-gcp-gateway onprem-vpn-gw1 \ --region us-central1 \ --ike-version 2 \ --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \ --router vertex-networking-vpc-router1 \ --vpn-gateway vertex-networking-vpn-gw1 \ --interface 0
Nella rete
vertex-networking-vpc
, crea un tunnel VPN denominatovertex-networking-vpc-tunnel1
:gcloud compute vpn-tunnels create vertex-networking-vpc-tunnel1 \ --peer-gcp-gateway onprem-vpn-gw1 \ --region us-central1 \ --ike-version 2 \ --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \ --router vertex-networking-vpc-router1 \ --vpn-gateway vertex-networking-vpn-gw1 \ --interface 1
Nella rete
onprem-vpc
, crea un tunnel VPN denominatoonprem-vpc-tunnel0
:gcloud compute vpn-tunnels create onprem-vpc-tunnel0 \ --peer-gcp-gateway vertex-networking-vpn-gw1 \ --region us-central1\ --ike-version 2 \ --shared-secret [ZzTLxKL8fmRykwNDfCvEFIjmlYLhMucH] \ --router onprem-vpc-router1 \ --vpn-gateway onprem-vpn-gw1 \ --interface 0
Nella rete
onprem-vpc
, crea un tunnel VPN denominatoonprem-vpc-tunnel1
:gcloud compute vpn-tunnels create onprem-vpc-tunnel1 \ --peer-gcp-gateway vertex-networking-vpn-gw1 \ --region us-central1\ --ike-version 2 \ --shared-secret [bcyPaboPl8fSkXRmvONGJzWTrc6tRqY5] \ --router onprem-vpc-router1 \ --vpn-gateway onprem-vpn-gw1 \ --interface 1
Nella console Google Cloud, vai alla pagina VPN.
Nell'elenco dei tunnel VPN, verifica che siano stati creati i quattro tunnel VPN.
Definizione di sessioni BGP
Il router Cloud utilizza il protocollo BGP (Border Gateway Protocol) per scambiare le route tra la rete VPC (in questo caso, vertex-networking-vpc
) e la rete on-premise (rappresentata da onprem-vpc
). Sul router Cloud devi configurare un'interfaccia e un peer BGP per il router on-premise.
L'interfaccia e la configurazione dei peer BGP formano insieme una sessione BGP.
In questa sezione creerai due sessioni BGP per vertex-networking-vpc
e due per onprem-vpc
.
Dopo aver configurato le interfacce e i peer BGP tra i router, questi inizieranno automaticamente a scambiare le route.
Stabilisci sessioni BGP per vertex-networking-vpc
In Cloud Shell, nella rete
vertex-networking-vpc
, crea un'interfaccia BGP pervertex-networking-vpc-tunnel0
:gcloud compute routers add-interface vertex-networking-vpc-router1 \ --interface-name if-tunnel0-to-onprem \ --ip-address 169.254.0.1 \ --mask-length 30 \ --vpn-tunnel vertex-networking-vpc-tunnel0 \ --region us-central1
Nella rete
vertex-networking-vpc
, crea un peer BGP perbgp-onprem-tunnel0
:gcloud compute routers add-bgp-peer vertex-networking-vpc-router1 \ --peer-name bgp-onprem-tunnel0 \ --interface if-tunnel0-to-onprem \ --peer-ip-address 169.254.0.2 \ --peer-asn 65002 \ --region us-central1
Nella rete
vertex-networking-vpc
, crea un'interfaccia BGP pervertex-networking-vpc-tunnel1
:gcloud compute routers add-interface vertex-networking-vpc-router1 \ --interface-name if-tunnel1-to-onprem \ --ip-address 169.254.1.1 \ --mask-length 30 \ --vpn-tunnel vertex-networking-vpc-tunnel1 \ --region us-central1
Nella rete
vertex-networking-vpc
, crea un peer BGP perbgp-onprem-tunnel1
:gcloud compute routers add-bgp-peer vertex-networking-vpc-router1 \ --peer-name bgp-onprem-tunnel1 \ --interface if-tunnel1-to-onprem \ --peer-ip-address 169.254.1.2 \ --peer-asn 65002 \ --region us-central1
Stabilisci sessioni BGP per onprem-vpc
Nella rete
onprem-vpc
, crea un'interfaccia BGP peronprem-vpc-tunnel0
:gcloud compute routers add-interface onprem-vpc-router1 \ --interface-name if-tunnel0-to-vertex-networking-vpc \ --ip-address 169.254.0.2 \ --mask-length 30 \ --vpn-tunnel onprem-vpc-tunnel0 \ --region us-central1
Nella rete
onprem-vpc
, crea un peer BGP perbgp-vertex-networking-vpc-tunnel0
:gcloud compute routers add-bgp-peer onprem-vpc-router1 \ --peer-name bgp-vertex-networking-vpc-tunnel0 \ --interface if-tunnel0-to-vertex-networking-vpc \ --peer-ip-address 169.254.0.1 \ --peer-asn 65001 \ --region us-central1
Nella rete
onprem-vpc
, crea un'interfaccia BGP peronprem-vpc-tunnel1
:gcloud compute routers add-interface onprem-vpc-router1 \ --interface-name if-tunnel1-to-vertex-networking-vpc \ --ip-address 169.254.1.2 \ --mask-length 30 \ --vpn-tunnel onprem-vpc-tunnel1 \ --region us-central1
Nella rete
onprem-vpc
, crea un peer BGP perbgp-vertex-networking-vpc-tunnel1
:gcloud compute routers add-bgp-peer onprem-vpc-router1 \ --peer-name bgp-vertex-networking-vpc-tunnel1 \ --interface if-tunnel1-to-vertex-networking-vpc \ --peer-ip-address 169.254.1.1 \ --peer-asn 65001 \ --region us-central1
Convalida la creazione di una sessione BGP
Nella console Google Cloud, vai alla pagina VPN.
Nell'elenco dei tunnel VPN, verifica che il valore nella colonna Stato sessione BGP per ciascuno dei tunnel sia cambiato da Configura sessione BGP a BGP stabilito. Potresti dover aggiornare la scheda del browser della console Google Cloud per visualizzare i nuovi valori.
Crea l'endpoint Private Service Connect (PSC)
In questa sezione creerai un endpoint Private Service Connect (PSC)
per le API di Google che verrà utilizzato dalle istanze VM nella rete onprem-vpc
per
accedere all'API GenAI dalla tua rete onprem-vpc
.
Un endpoint Private Service Connect (PSC) è un indirizzo IP interno nella rete onprem-vpc
a cui i client possono accedere direttamente. Questo endpoint viene creato eseguendo il deployment di una regola di forwarding che indirizza il traffico di rete corrispondente all'indirizzo IP dell'endpoint PSC a un bundle di API di Google, in particolare al bundle all-apis.
L'indirizzo IP dell'endpoint PSC (192.168.0.1
) verrà pubblicizzato dal
router Cloud vertex-networking-vpc-router
come route annunciata personalizzata
alla rete onprem-vpc
in un passaggio successivo.
Prenota un indirizzo IP interno globale da assegnare all'endpoint:
gcloud compute addresses create psc-googleapi-ip \ --global \ --purpose=PRIVATE_SERVICE_CONNECT \ --addresses=192.168.0.1 \ --network=vertex-networking-vpc
Crea l'endpoint, insieme a una regola di forwarding che collega l'endpoint alle API e ai servizi Google:
gcloud compute forwarding-rules create pscvertex \ --global \ --network=vertex-networking-vpc\ --address=psc-googleapi-ip \ --target-google-apis-bundle=all-apis
Elenca gli endpoint PSC configurati e verifica che l'endpoint
pscvertex
sia stato creato:gcloud compute forwarding-rules list \ --filter target="(all-apis OR vpc-sc)" --global
Visualizza i dettagli dell'endpoint PSC configurato e verifica che l'indirizzo IP sia
192.168.0.1
:gcloud compute forwarding-rules describe \ pscvertex --global
Crea annunci di route personalizzati per vertex-networking-vpc
In questa sezione creerai una
route annunciata personalizzata
per vertex-networking-vpc-router1
(il router Cloud per
vertex-networking-vpc
) al fine di pubblicizzare l'indirizzo IP dell'endpoint PSC
alla rete onprem-vpc
.
Nella console Google Cloud, vai alla pagina Router Cloud.
Nell'elenco Router Cloud, fai clic su
vertex-networking-vpc-router1
.Nella pagina Dettagli router, fai clic su
Modifica.Nella sezione Route annunciate, per Route, seleziona Crea route personalizzate.
Seleziona la casella di controllo Pubblicizza tutte le subnet visibili al router Cloud per continuare ad pubblicizzare le subnet disponibili per il router Cloud. L'attivazione di questa opzione riproduce il comportamento del router Cloud in modalità pubblicitaria predefinita.
Fai clic su Aggiungi una route personalizzata.
Per Origine, seleziona Intervallo IP personalizzato.
In Intervallo di indirizzi IP, inserisci il seguente indirizzo IP:
192.168.0.1
In Descrizione, inserisci il seguente testo:
Custom route to advertise Private Service Connect endpoint IP address
Fai clic su Fine e poi su Salva.
Verifica che onprem-vpc
abbia appreso le route annunciate
Nella console Google Cloud, vai alla pagina Route.
Nella scheda Route operative, procedi nel seguente modo:
- In corrispondenza di Rete, scegli
onprem-vpc
. - In corrispondenza di Regione, scegli
us-central1 (Iowa)
. - Fai clic su Visualizza.
Nell'elenco delle route, verifica che siano presenti voci i cui nomi iniziano con
onprem-vpc-router1-bgp-vertex-networking-vpc-tunnel0
eonprem-vpc-router1-bgp-vfertex-networking-vpc-tunnel1
e che entrambi abbiano un intervallo IP di destinazione pari a192.168.0.1/32
. (192.168.0.1
è l'indirizzo IP dell'endpoint PSC).Se queste voci non vengono visualizzate immediatamente, attendi qualche minuto e poi aggiorna la scheda del browser della console Google Cloud.
- In corrispondenza di Rete, scegli
Configura un'istanza VM nella rete on-premise
In questa sezione creerai un'istanza VM di Compute Engine nella rete VPC onprem-vpc
. Questa istanza VM simula un client on-premise che si connette all'endpoint PSC e accede all'API GenAI.
Crea un account di servizio gestito dall'utente
In questo tutorial creerai un account di servizio gestito dall'utente seguendo le best practice di Compute Engine e IAM.
In Cloud Shell, esegui questi comandi, sostituendo PROJECT_ID con il tuo ID progetto:
projectid=PROJECT_ID gcloud config set project ${projectid}
Crea l'account di servizio:
gcloud iam service-accounts create user-managed-sa
Assegna il ruolo IAM Utente Vertex AI (
roles/aiplatform.user
) all'account di servizio:gcloud projects add-iam-policy-binding $projectid \ --member="serviceAccount:user-managed-sa@$projectid.iam.gserviceaccount.com" \ --role="roles/aiplatform.user"
Crea l'istanza VM on-prem-client
In questo passaggio creerai l'istanza VM, che utilizza l'indirizzo IP di Private Service Connect (192.168.0.1
) per accedere alle API di Google tramite la VPN ad alta disponibilità.
Per consentire a Identity-Aware Proxy (IAP) di connettersi alle tue istanze VM, devi creare una regola firewall che:
- Si applica a tutte le istanze VM che vuoi rendere accessibili tramite IAP. In questo caso, lo stato è solo
on-prem-client
. - Consente il traffico TCP attraverso la porta 22 dall'intervallo IP
35.235.240.0/20
. Questo intervallo contiene tutti gli indirizzi IP utilizzati da IAP per l'inoltro TCP.
Crea l'istanza VM
on-prem-client
. Il seguente comando installa anche i pacchettitcpdump
ednsutils
, che contengono le utilitàtcpdump
edig
che utilizzerai in seguito per convalidare le tue richieste API:gcloud compute instances create on-prem-client \ --zone=us-central1-a \ --image-family=debian-11 \ --image-project=debian-cloud \ --subnet=onprem-vpc-subnet1 \ --scopes=https://www.googleapis.com/auth/cloud-platform \ --no-address \ --shielded-secure-boot \ --service-account=user-managed-sa@$projectid.iam.gserviceaccount.com \ --metadata startup-script="#! /bin/bash sudo apt-get update sudo apt-get install tcpdump dnsutils -y"
Crea una regola firewall IAP denominata
ssh-iap-on-prem-vpc
:gcloud compute firewall-rules create ssh-iap-on-prem-vpc \ --network onprem-vpc \ --allow tcp:22 \ --source-ranges=35.235.240.0/20
Convalida l'accesso a internet pubblico per l'AI generativa su Vertex AI
In questa sezione accedi all'istanza VM on-prem-client
utilizzando Identity-Aware Proxy, quindi convaliderai la connettività pubblica alle API Vertex AI (inclusa GenAI) eseguendo il comando dig
sul dominio Vertex AI pubblico (us-central1-aiplatform.googleapis.com
).
In Cloud Shell (Tab Uno), esegui questi comandi, sostituendo PROJECT_ID con il tuo ID progetto:
projectid=PROJECT_ID gcloud config set project ${projectid}
Accedi all'istanza VM
on-prem-client
utilizzando IAP:gcloud compute ssh on-prem-client --project=$projectid --zone=us-central1-a --tunnel-through-iap
Esegui il comando
dig
:dig us-central1-aiplatform.googleapis.com
Dovresti vedere un output
dig
simile al seguente, in cui gli indirizzi IP nella sezione della risposta sono indirizzi IP pubblici:; <<>> DiG 9.16.44-Debian <<>> us-central1.aiplatfom.googleapis.com ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 42506 ;; flags: qr rd ra; QUERY: 1, ANSWER: 16, AUTHORITY: 0, ADDITIONAL: 1 ;; OPT PSEUDOSECTION: ; EDNS: version: 0, flags:; udp: 512 ;; QUESTION SECTION: ;us-central1.aiplatfom.googleapis.com. IN A ;; ANSWER SECTION: us-central1.aiplatfom.googleapis.com. 300 IN A 173.194.192.95 us-central1.aiplatfom.googleapis.com. 300 IN A 142.250.152.95 us-central1.aiplatfom.googleapis.com. 300 IN A 172.217.219.95 us-central1.aiplatfom.googleapis.com. 300 IN A 209.85.146.95 us-central1.aiplatfom.googleapis.com. 300 IN A 209.85.147.95 us-central1.aiplatfom.googleapis.com. 300 IN A 142.250.125.95 us-central1.aiplatfom.googleapis.com. 300 IN A 142.250.136.95 us-central1.aiplatfom.googleapis.com. 300 IN A 142.250.148.95 us-central1.aiplatfom.googleapis.com. 300 IN A 209.85.200.95 us-central1.aiplatfom.googleapis.com. 300 IN A 209.85.234.95 us-central1.aiplatfom.googleapis.com. 300 IN A 142.251.171.95 us-central1.aiplatfom.googleapis.com. 300 IN A 108.177.112.95 us-central1.aiplatfom.googleapis.com. 300 IN A 142.250.128.95 us-central1.aiplatfom.googleapis.com. 300 IN A 142.251.6.95 us-central1.aiplatfom.googleapis.com. 300 IN A 172.217.212.95 us-central1.aiplatfom.googleapis.com. 300 IN A 74.125.124.95 ;; Query time: 8 msec ;; SERVER: 169.254.169.254#53(169.254.169.254) ;; WHEN: Wed Sep 27 04:10:16 UTC 2023 ;; MSG SIZE rcvd: 321
Configura e convalida l'accesso privato all'AI generativa su Vertex AI
In questa sezione configurerai l'accesso privato a Generative AI su Vertex AI in modo che, quando invii le richieste all'endpoint di servizio pubblico (us-central1-aiplatform.googleapis.com
), queste vengano reindirizzate al tuo endpoint PSC. L'endpoint PSC a sua volta inoltra la richiesta all'indirizzo
Aggiorna il file /etc/hosts
in modo che punti all'endpoint PSC
In questo passaggio, aggiungerai al file /etc/hosts
una riga per far sì che le richieste inviate all'endpoint di servizio pubblico (us-central1-aiplatform.googleapis.com
) vengano reindirizzate all'endpoint PSC (192.168.0.1
).
Nell'istanza VM
on-prem-client
(scheda Uno), utilizza un editor di testo comevim
onano
per aprire il file/etc/hosts
:sudo vim /etc/hosts
Aggiungi la seguente riga al file:
192.168.0.1 us-central1-aiplatform.googleapis.com
Questa riga assegna l'indirizzo IP dell'endpoint PSC (
192.168.0.1
) al nome di dominio completo per l'API Vertex AI Google (us-central1-aiplatform.googleapis.com
).Il file modificato dovrebbe avere il seguente aspetto:
127.0.0.1 localhost ::1 localhost ip6-localhost ip6-loopback ff02::1 ip6-allnodes ff02::2 ip6-allrouters 192.168.0.1 us-central1-aiplatform.googleapis.com # Added by you 172.16.10.6 on-prem-client.us-central1-a.c.vertex-genai-400103.internal on-prem-client # Added by Google 169.254.169.254 metadata.google.internal # Added by Google
Salva il file come segue:
- Se utilizzi
vim
, premi il tastoEsc
, quindi digita:wq
per salvare il file e uscire. - Se utilizzi
nano
, digitaControl+O
e premiEnter
per salvare il file, quindi digitaControl+X
per uscire.
- Se utilizzi
Invia un ping all'endpoint Vertex AI come segue:
ping us-central1-aiplatform.googleapis.com
Il comando
ping
dovrebbe restituire il seguente output.192.168.0.1
è l'indirizzo IP dell'endpoint PSC:PING us-central1-aiplatform.googleapis.com (192.168.0.1) 56(84) bytes of data.
Digita
Control+C
per uscire daping
.Esegui questo comando
tcpdump
per convalidare la risoluzione DNS e il percorso dei dati IP quando invii una richiesta di previsione online all'endpoint:sudo tcpdump -i any port 53 -n or host 192.168.0.1
Crea la richiesta privata
In questo passaggio creerai un file di testo denominato request.json
contenente il payload per una richiesta curl
di esempio che invii all'API REST GenAI.
Per ulteriori informazioni sulle richieste di esempio, consulta
Richiesta di esempio.
Mantenendo in esecuzione il comando
tcpdump
nella scheda 1, apri una nuova sessione di Cloud Shell (scheda 2) facendo clic su apri una nuova scheda in Cloud Shell.Nella nuova sessione di Cloud Shell (scheda 2), esegui questi comandi, sostituendo PROJECT_ID con il tuo ID progetto:
projectid=PROJECT_ID gcloud config set project ${projectid}
Accedi all'istanza VM
on-prem-client
utilizzando IAP:gcloud compute ssh on-prem-client --project=$projectid --zone=us-central1-a --tunnel-through-iap
Esegui questi comandi, sostituendo PROJECT_ID con il tuo ID progetto:
projectid=PROJECT_ID gcloud config set project ${projectid}
Usa un editor di testo come
vim
onano
per creare un nuovo file denominatorequest.json
contenente il seguente testo:{ "instances": [ { "prompt": "Give me ten interview questions for the role of program manager."} ], "parameters": { "temperature": 0.2, "maxOutputTokens": 256, "topK": 40, "topP": 0.95 } }
Esegui questo comando per inviare una richiesta all'endpoint PSC, che inoltra la richiesta all'API GenAI. Quando l'endpoint riceve la risposta, la inoltra alla VM
on-prem-client
:curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ -d @request.json \ "https://us-central1-aiplatform.googleapis.com/v1/projects/$projectid/locations/us-central1/publishers/google/models/text-bison:predict"
Dovresti vedere una risposta simile al seguente esempio:
{ "predictions": [ { "content": " 1. **What is your experience in managing programs?**\n2. **What are your strengths and weaknesses as a program manager?**\n3. **What is your approach to managing a program?**\n4. **How do you handle risks and challenges in a program?**\n5. **How do you communicate with stakeholders in a program?**\n6. **How do you measure the success of a program?**\n7. **What is your experience in working with cross-functional teams?**\n8. **What is your experience in managing budgets and resources?**\n9. **What is your experience in managing change in a program?**\n10. **What are your career goals as a program manager?**", "citationMetadata": { "citations": [] }, "safetyAttributes": { "categories": [ "Finance", "Health" ], "blocked": false, "scores": [ 0.6, 0.1 ] } } ], "metadata": { "tokenMetadata": { "outputTokenCount": { "totalBillableCharacters": 505, "totalTokens": 153 }, "inputTokenCount": { "totalBillableCharacters": 54, "totalTokens": 12 } } } }
Nella scheda uno, verifica che l'indirizzo IP dell'endpoint PSC (
192.168.0.1
) sia stato utilizzato per accedere alle API Vertex AI dall'istanza VMon-prem-client
(subnet172.16.10.0/28
).Dal terminale
tcpdump
nella scheda uno di Cloud Shell, puoi vedere che non è necessaria una ricerca DNS perus-central1-aiplatform.googleapis.com
, perché la riga aggiunta al file/etc/hosts
ha la precedenza e l'indirizzo IP dell'endpoint PSC (192.168.0.1
) viene utilizzato nel percorso dei dati.Dovresti vedere un output
tcpdump
simile al seguente:23:48:49.938797 ens4 Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [P.], seq 2054:2093, ack 6264, win 501, options [nop,nop,TS val 2943864305 ecr 2340789954], length 39 23:48:49.938947 ens4 Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [P.], seq 2093:2117, ack 6264, win 501, options [nop,nop,TS val 2943864305 ecr 2340789954], length 24 23:48:49.939839 ens4 Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [F.], seq 2117, ack 6264, win 501, options [nop,nop,TS val 2943864306 ecr 2340789954], length 0 23:48:49.940292 ens4 In IP 192.168.0.1.443 > 172.16.10.9.38578: Flags [.], ack 2117, win 272, options [nop,nop,TS val 2340789958 ecr 2943864305], length 0 23:48:49.940437 ens4 In IP 192.168.0.1.443 > 172.16.10.9.38578: Flags [F.], seq 6264, ack 2117, win 272, options [nop,nop,TS val 2340789958 ecr 2943864305], length 0 23:48:49.940442 ens4 Out IP 172.16.10.9.38578 > 192.168.0.1.443: Flags [.], ack 6265, win 501, options [nop,nop,TS val 2943864307 ecr 2340789958], length 0 23:48:49.941193 ens4 In IP 192.168.0.1.443 > 172.16.10.9.38578: Flags [.], ack 2118, win 272, options [nop,nop,TS val 2340789959 ecr 2943864306], length 0
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Puoi eliminare le singole risorse nel progetto eseguendo questi comandi in Cloud Shell:
projectid=PROJECT_ID
gcloud config set project ${projectid}
gcloud compute firewall-rules delete ssh-iap-on-prem-vpc --quiet
gcloud compute instances delete on-prem-client --zone=us-central1-a --quiet
gcloud iam service-accounts delete user-managed-sa@$projectid.iam.gserviceaccount.com --quiet
gcloud compute forwarding-rules delete pscvertex --global --quiet
gcloud compute addresses delete psc-googleapi-ip --global --quiet
gcloud compute vpn-tunnels delete vertex-networking-vpc-tunnel0 vertex-networking-vpc-tunnel1 onprem-vpc-tunnel0 onprem-vpc-tunnel1 --region=us-central1 --quiet
gcloud compute routers nats delete us-central-cloudnat-onprem --router=onprem-vpc-router1 --region=us-central1 --quiet
gcloud compute routers delete vertex-networking-vpc-router1 onprem-vpc-router1 --region=us-central1 --quiet
gcloud compute vpn-gateways delete vertex-networking-vpn-gw1 onprem-vpn-gw1 --region=us-central1 --quiet
gcloud compute networks subnets delete onprem-vpc-subnet1 --region=us-central1 --quiet
gcloud compute networks delete onprem-vpc --quiet
gcloud compute networks delete vertex-networking-vpc --quiet
Passaggi successivi
- Scopri di più sulle opzioni di networking aziendali per accedere agli endpoint e ai servizi Vertex AI
- Scopri come accedere ai servizi pubblicati tramite endpoint.
- Scopri come funziona Private Service Connect e perché offre significativi vantaggi in termini di prestazioni.
- Scopri di più sull'accesso alle API di Google tramite endpoint.
- Scopri come e perché
utilizzare una zona di forwarding DNS
anziché aggiornare il file
/etc/hosts
in ambienti di produzione su larga scala. - Scopri di più sulle route annunciate personalizzate.