HuggingFace fornisce modelli preaddestrati, script per il perfezionamento e API di sviluppo che semplificano il processo di creazione e scoperta degli LLM. Model Garden supporta tutti i modelli supportati da Text Generation Inference in HuggingFace.
Opzioni di relative al deployment
Puoi eseguire il deployment dei modelli supportati da Text Generation Inference in Vertex AI o Google Kubernetes Engine (GKE). Per implementare un modello di generazione del testo di una faccina che abbraccia, vai a Model Garden e fai clic su Deploy from Hugging Face.
Esegui il deployment in Vertex AI
Vertex AI offre una piattaforma gestita per la creazione e la scalabilità di progetti di machine learning senza competenze MLOps interne. Puoi utilizzare Vertex AI come applicazione downstream che gestisce i modelli Huugging Face. Ti consigliamo di utilizzare Vertex AI se vuoi funzionalità MLOps end-to-end, funzionalità ML a valore aggiunto e un'esperienza serverless per uno sviluppo semplificato.
Per iniziare, guarda i seguenti esempi:
- Alcuni modelli hanno schede dettagliate dei modelli e impostazioni di deployment verificate, ad esempio google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf e mistralai/Mistral-7B-v0.1.
- Alcuni modelli hanno impostazioni di deployment verificate, ma non sono presenti schede dettagliate del modello, ad esempio NousResearch/Genstruct-7B.
- Alcuni modelli hanno impostazioni di deployment non verificate, calcolate automaticamente, ad esempio ai4bharat/Airavata.
Esegui il deployment in GKE
Google Kubernetes Engine (GKE) è la soluzione Google Cloud per Kubernetes gestito che offre scalabilità, sicurezza, resilienza ed efficienza in termini di costi. Ti consigliamo questa opzione se disponi di investimenti Kubernetes esistenti, se la tua organizzazione dispone di competenze MLOps interne o se hai bisogno di un controllo granulare su carichi di lavoro AI/ML complessi con requisiti esclusivi di sicurezza, pipeline dei dati e gestione delle risorse.
Per iniziare, guarda i seguenti esempi:
- Alcuni modelli hanno schede dettagliate dei modelli e impostazioni di deployment verificate, ad esempio google/gemma-7b-it, meta-llama/Llama-2-7b-chat-hf e mistralai/Mistral-7B-v0.1.
- Alcuni modelli hanno impostazioni di deployment verificate, ma non sono presenti schede dettagliate del modello, ad esempio NousResearch/Genstruct-7B.