Questo tutorial mostra come eseguire il deployment e la pubblicazione di un Gemma 2 utilizzando GPU su Google Kubernetes Engine (GKE) con il framework di pubblicazione vLLM. Questo fornisce una base per comprendere ed esplorare il deployment pratico di LLM per l'inferenza in un ambiente Kubernetes gestito. Esegui il deployment di un container predefinito che esegue vLLM in GKE. Inoltre, configuri GKE per caricare i pesi di Gemma 2B, 9B e 27B da Hugging Face.
Questo tutorial è rivolto a ingegneri del machine learning (ML), amministratori e operatori della piattaforma e a specialisti di dati e IA interessati a utilizzare le funzionalità di orchestrazione dei container Kubernetes per l'erogazione di carichi di lavoro di AI/ML su hardware GPU H100, A100 e L4. Per scoprire di più su ruoli comuni e attività di esempio a cui facciamo riferimento nei contenuti di Google Cloud, consulta Ruoli e attività comuni degli utenti di GKE Enterprise.
Se hai bisogno di una piattaforma di IA gestita unificata per creare e pubblicare rapidamente modelli ML in modo economicamente vantaggioso, ti consigliamo di provare la nostra soluzione di deployment Vertex AI.
Prima di leggere questa pagina, assicurati di conoscere quanto segue:
Sfondo
Questa sezione descrive le tecnologie chiave utilizzate in questa guida.
Gemma
Gemma è un insieme di modelli di intelligenza artificiale (AI) generativa leggeri e disponibili pubblicamente, rilasciati con una licenza aperta. Questi modelli di IA possono essere eseguiti nelle tue applicazioni, nel tuo hardware, sui tuoi dispositivi mobili o nei tuoi servizi ospitati. Puoi utilizzare i modelli Gemma per la generazione di testo, ma puoi anche ottimizzarli per attività specializzate.
Per saperne di più, consulta la documentazione di Gemma.
GPU
Le GPU ti consentono di accelerare carichi di lavoro specifici in esecuzione sui tuoi nodi, come il machine learning e l'elaborazione di dati. GKE offre una gamma di opzioni di tipo di macchina per la configurazione dei nodi, inclusi i tipi di macchina con GPU NVIDIA H100, L4 e A100.
vLLM
vLLM è un framework di pubblicazione di modelli LLM open source altamente ottimizzato che può aumentare il throughput di pubblicazione sulle GPU, con funzionalità come:
- Implementazione ottimizzata del transformer con PagedAttention
- Raggruppamento continuo per migliorare la velocità effettiva complessiva della pubblicazione
- Parallelismo tensoriale e pubblicazione distribuita su più GPU
Per scoprire di più, consulta la documentazione vLLM.
Obiettivi
- Prepara l'ambiente con un cluster GKE in modalità Autopilot o Standard.
- Esegui il deployment di un contenitore vLLM nel tuo cluster.
- Utilizza vLLM per pubblicare il modello Gemma 2 tramite curl e un'interfaccia di chat web.
Prima di iniziare
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
Make sure that you have the following role or roles on the project: roles/container.admin, roles/iam.serviceAccountAdmin
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Vai a IAM - Seleziona il progetto.
- Fai clic su Concedi accesso.
-
Nel campo Nuove entità, inserisci il tuo identificatore utente. In genere si tratta dell'indirizzo email di un Account Google.
- Nell'elenco Seleziona un ruolo, seleziona un ruolo.
- Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo aggiuntivo.
- Fai clic su Salva.
-
- Crea un account Hugging Face, se non ne hai già uno.
- Assicurati che il tuo progetto disponga di una quota sufficiente per le GPU. Per scoprire di più, consulta Informazioni sulle GPU e Quote di allocazione.
Ottieni l'accesso al modello
Per accedere ai modelli Gemma per il deployment in GKE, devi prima firmare il contratto di consenso per la licenza e poi generare un token di accesso a Hugging Face.
Firmare il contratto di consenso per la licenza
Per utilizzare Gemma, devi firmare il contratto di consenso. Segui queste istruzioni:
- Accedi alla pagina del consenso per i modelli su Kaggle.com.
- Verifica il consenso utilizzando il tuo account Hugging Face.
- Accetta i termini del modello.
Genera un token di accesso
Per accedere al modello tramite Hugging Face, devi disporre di un token Hugging Face.
Se non ne hai già uno, segui questi passaggi per generare un nuovo token:
- Fai clic su Il tuo profilo > Impostazioni > Token di accesso.
- Seleziona Nuovo token.
- Specifica un nome a tua scelta e un ruolo di almeno "Lettura".
- Seleziona Genera un token.
- Copia il token generato negli appunti.
prepara l'ambiente
In questo tutorial utilizzerai Cloud Shell per gestire le risorse ospitate su Google Cloud. Cloud Shell include il software di cui avrai bisogno per questo tutorial, tra cui kubectl
e
gcloud CLI.
Per configurare l'ambiente con Cloud Shell:
Nella console Google Cloud, avvia una sessione Cloud Shell facendo clic su Attiva Cloud Shell nella console Google Cloud. Viene avviata una sessione nel riquadro inferiore della console Google Cloud.
Imposta le variabili di ambiente predefinite:
gcloud config set project PROJECT_ID export PROJECT_ID=$(gcloud config get project) export REGION=REGION export CLUSTER_NAME=vllm export HF_TOKEN=HF_TOKEN
Sostituisci i seguenti valori:
- PROJECT_ID: il tuo ID progetto Google Cloud.
- REGION: una regione che supporta il tipo di acceleratore che vuoi utilizzare, ad esempio
us-central1
per la GPU L4. - HF_TOKEN: il token Hugging Face che hai generato in precedenza.
Creare e configurare risorse Google Cloud
Segui queste istruzioni per creare le risorse richieste.
Crea un cluster GKE e un pool di nodi
Puoi eseguire Gemma su GPU in un cluster GKE Autopilot o Standard. Ti consigliamo di utilizzare un cluster Autopilot per un'esperienza Kubernetes completamente gestita. Per scegliere la modalità operativa di GKE più adatta ai tuoi carichi di lavoro, consulta Scegliere una modalità operativa GKE.
Autopilot
In Cloud Shell, esegui questo comando:
gcloud container clusters create-auto ${CLUSTER_NAME} \
--project=${PROJECT_ID} \
--region=${REGION} \
--release-channel=rapid
GKE crea un cluster Autopilot con nodi CPU e GPU come richiesto dai carichi di lavoro di cui è stato eseguito il deployment.
Standard
In Cloud Shell, esegui il comando seguente per creare un cluster standard:
gcloud container clusters create ${CLUSTER_NAME} \ --project=${PROJECT_ID} \ --region=${REGION} \ --workload-pool=${PROJECT_ID}.svc.id.goog \ --release-channel=rapid \ --num-nodes=1
La creazione del cluster potrebbe richiedere diversi minuti.
Esegui il comando seguente per creare un pool di nodi per il cluster:
Gemma 2 2B
gcloud container node-pools create gpupool \ --accelerator type=nvidia-l4,count=1,gpu-driver-version=latest \ --project=${PROJECT_ID} \ --location=${REGION} \ --node-locations=${REGION}-a \ --cluster=${CLUSTER_NAME} \ --machine-type=g2-standard-8 \ --num-nodes=1
GKE crea un singolo pool di nodi contenente una GPU L4 per ogni nodo.
Gemma 2 9B
gcloud container node-pools create gpupool \ --accelerator type=nvidia-l4,count=2,gpu-driver-version=latest \ --project=${PROJECT_ID} \ --location=${REGION} \ --node-locations=${REGION}-a \ --cluster=${CLUSTER_NAME} \ --machine-type=g2-standard-24 \ --num-nodes=1
GKE crea un singolo pool di nodi contenente due GPU L4 per ogni nodo.
Gemma 2 27B
gcloud container node-pools create gpupool \ --accelerator type=nvidia-l4,count=4,gpu-driver-version=latest \ --project=${PROJECT_ID} \ --location=${REGION} \ --node-locations=${REGION}-a \ --cluster=${CLUSTER_NAME} \ --machine-type=g2-standard-48 \ --num-nodes=1
GKE crea un singolo pool di nodi contenente quattro GPU L4 per ogni nodo.
Crea un secret di Kubernetes per le credenziali di Hugging Face
In Cloud Shell:
Configura
kubectl
per comunicare con il cluster:gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${REGION}
Crea un secret di Kubernetes contenente il token di Hugging Face:
kubectl create secret generic hf-secret \ --from-literal=hf_api_token=$HF_TOKEN \ --dry-run=client -o yaml | kubectl apply -f -
Esegui il deployment di vLLM
In questa sezione esegui il deployment del contenitore vLLM per pubblicare il modello Gemma che vuoi utilizzare.
Gemma 2 2B-it
Segui queste istruzioni per eseguire il deployment del modello ottimizzato per le istruzioni Gemma 2 2B.
Crea il seguente manifest
vllm-2-2b-it.yaml
:Applica il manifest:
kubectl apply -f vllm-2-2b-it.yaml
Gemma 2 9B-it
Segui queste istruzioni per implementare il modello ottimizzato per le istruzioni Gemma 2 9B.
Crea il seguente manifest
vllm-2-9b-it.yaml
:Applica il manifest:
kubectl apply -f vllm-2-9b-it.yaml
Gemma 2 27B-it
Segui queste istruzioni per eseguire il deployment del modello ottimizzato per le istruzioni Gemma 2 27B.
Crea il seguente manifest
vllm-2-27b-it.yaml
:Applica il manifest:
kubectl apply -f vllm-2-27b-it.yaml
Un pod nel cluster scarica i pesi del modello da Hugging Face e avvia il motore di pubblicazione.
Attendi che il deployment sia disponibile:
kubectl wait --for=condition=Available --timeout=700s deployment/vllm-gemma-deployment
Visualizza i log del deployment in esecuzione:
kubectl logs -f -l app=gemma-server
La risorsa Deployment scarica i dati del modello. Questa operazione può richiedere alcuni minuti. L'output è simile al seguente:
INFO 01-26 19:02:54 model_runner.py:689] Graph capturing finished in 4 secs.
INFO: Started server process [1]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
Assicurati che il modello sia stato scaricato completamente prima di procedere alla sezione successiva.
Pubblica il modello
In questa sezione interagisci con il modello.
Configurare il port forwarding
Esegui il seguente comando per configurare il port forwarding al modello:
kubectl port-forward service/llm-service 8000:8000
L'output è simile al seguente:
Forwarding from 127.0.0.1:8000 -> 8000
Interagire con il modello utilizzando curl
Questa sezione mostra come eseguire un test di base per verificare i modelli preaddestrati o ottimizzati per istruzioni di cui è stato eseguito il deployment. Per semplicità, questa sezione descrive l'approccio di test utilizzando solo il modello di istruzioni Gemma 2 ottimizzato (2-2B-it).
In una nuova sessione del terminale, utilizza curl
per chattare con il tuo modello:
USER_PROMPT="I'm new to coding. If you could only recommend one programming language to start with, what would it be and why?"
curl -X POST http://localhost:8000/generate \
-H "Content-Type: application/json" \
-d @- <<EOF
{
"prompt": "<start_of_turn>user\n${USER_PROMPT}<end_of_turn>\n",
"temperature": 0.90,
"top_p": 1.0,
"max_tokens": 128
}
EOF
Il seguente output mostra un esempio di risposta del modello:
{"predictions":["Prompt:\n<start_of_turn>user\nI'm new to coding. If you could only recommend one programming language to start with, what would it be and why?<end_of_turn>\nOutput:\n**Python** is an excellent choice for beginners due to the following reasons:\n\n* **Clear and simple syntax:** Python boasts a simple and straightforward syntax that makes it easy to learn the fundamentals of programming.\n* **Extensive libraries and modules:** Python comes with a vast collection of libraries and modules that address various programming tasks, including data manipulation, machine learning, and web development.\n* **Large and supportive community:** Python has a vibrant and active community that offers resources, tutorials, and support to help you along your journey.\n* **Cross-platform compatibility:** Python can be run on various platforms, including Windows, macOS, and"]}
(Facoltativo) Interagire con il modello tramite un'interfaccia di chat di Gradio
In questa sezione, crei un'applicazione di chat web che ti consente di interagire con il tuo modello ottimizzato per le istruzioni. Per semplicità, questa sezione descrive solo l'approccio di test che utilizza il modello 2B-it.
Gradio è una libreria Python con un wrapperChatInterface
che crea interfacce utente per i chatbot.
Esegui il deployment dell'interfaccia di Chat
In Cloud Shell, salva il seguente manifest come
gradio.yaml
:Applica il manifest:
kubectl apply -f gradio.yaml
Attendi che il deployment sia disponibile:
kubectl wait --for=condition=Available --timeout=300s deployment/gradio
Utilizzare l'interfaccia di Chat
In Cloud Shell, esegui questo comando:
kubectl port-forward service/gradio 8080:8080
Viene creato un port forwarding da Cloud Shell al servizio Gradio.
Fai clic sul pulsante Anteprima web in alto a destra nella barra delle app di Cloud Shell. Fai clic su Anteprima sulla porta 8080. Nel browser si apre una nuova scheda.
Interagisci con Gemma utilizzando l'interfaccia di chat di Gradio. Aggiungi un prompt e fai clic su Invia.
Risoluzione dei problemi
- Se viene visualizzato il messaggio
Empty reply from server
, è possibile che il contenitore non abbia completato il download dei dati del modello. Controlla di nuovo i log del pod per verificare la presenza del messaggioConnected
che indica che il modello è pronto per essere pubblicato. - Se vedi
Connection refused
, verifica che l'inoltro delle porte sia attivo.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Elimina le risorse di cui è stato eseguito il deployment
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse che hai creato in questa guida, esegui il seguente comando:
gcloud container clusters delete ${CLUSTER_NAME} \
--region=${REGION}
Passaggi successivi
- Scopri di più sulle GPU in GKE.
- Scopri come utilizzare Gemma con vLLM su altri acceleratori, tra cui le GPU A100 e H100, visualizzando il codice campione su GitHub.
- Scopri come eseguire il deployment dei carichi di lavoro GPU in Autopilot.
- Scopri come eseguire il deployment dei carichi di lavoro GPU in Standard.
- Consulta il repository GitHub e la documentazione di vLLM.
- Esplora Vertex AI Model Garden.
- Scopri come eseguire carichi di lavoro di AI/ML ottimizzati con le funzionalità di orchestrazione della piattaforma GKE.