Panoramica dei modelli di cui è stato eseguito il deployment

Model Garden offre modelli aperti, partner e personalizzati con deployment autonomo che puoi distribuire e pubblicare su Vertex AI. Questi modelli sono diversi dalle offerte model-as-a-service (MaaS), che sono serverless e non richiedono il deployment manuale.

Quando esegui il deployment autonomo dei modelli, li esegui in modo sicuro all'interno del tuo progetto Google Cloud e della tua rete VPC.

Modelli open con deployment autonomo

I modelli aperti forniscono funzionalità preaddestrate per varie attività di AI, inclusi i modelli Gemini, che eccellono nell'elaborazione multimodale. Un modello Open è disponibile, sei libero di pubblicare i suoi output e può essere utilizzato ovunque a condizione che tu rispetti i termini di licenza. Vertex AI offre modelli aperti (noti anche come open weight) e open source.

Quando utilizzi un modello aperto con Vertex AI, usi Vertex AI per la tua infrastruttura. Puoi anche utilizzare i modelli open con altri prodotti di infrastruttura, come PyTorch o Jax.

Modelli con pesi aperti

Molti modelli aperti sono considerati modelli linguistici di grandi dimensioni (LLM) con pesi aperti. I modelli aperti offrono maggiore trasparenza rispetto a quelli che non sono open weight. I pesi di un modello sono i valori numerici archiviati nell'architettura della rete neurale del modello che rappresentano i pattern e le relazioni appresi dai dati su cui viene addestrato un modello. Vengono rilasciati i parametri o i pesi preaddestrati dei modelli con pesi aperti. Puoi utilizzare un modello con pesi aperti per l'inferenza e l'ottimizzazione, mentre non vengono forniti dettagli come il set di dati originale, l'architettura del modello e il codice di addestramento.

Modelli open source

I modelli aperti differiscono dai modelli di AI open source. Sebbene i modelli open espongano spesso i pesi e la rappresentazione numerica principale dei pattern appresi, non forniscono necessariamente il codice sorgente completo o i dettagli dell'addestramento. Fornire i pesi offre un livello di trasparenza del modello di AI, consentendoti di comprendere le funzionalità del modello senza doverlo creare autonomamente.

Modelli di partner con deployment autonomo

Model Garden ti aiuta ad acquistare e gestire le licenze dei modelli dei partner che offrono modelli proprietari come opzione di autodeploy. Dopo aver acquistato l'accesso a un modello da Cloud Marketplace, puoi scegliere di eseguire il deployment su hardware on demand o utilizzare le prenotazioni di Compute Engine e gli sconti per impegno di utilizzo per soddisfare i requisiti di budget. Ti vengono addebitati i costi per l'utilizzo del modello e per l'infrastruttura Vertex AI che utilizzi.

Per richiedere l'utilizzo di un modello partner autogestito, trova il modello pertinente nella console Model Garden, fai clic su Contatta il team di vendita e poi compila il modulo, che avvia il contatto con un Google Cloud rappresentante del team di vendita.

Per saperne di più sul deployment e sull'utilizzo dei modelli partner, consulta Eseguire il deployment di un modello partner ed effettuare richieste di previsione.

Considerazioni

Tieni presenti le seguenti limitazioni quando utilizzi i modelli di partner con deployment autonomo:

  • A differenza dei modelli aperti, non puoi esportare i pesi.
  • Se hai configurato i Controlli di servizio VPC per il tuo progetto, non puoi caricare modelli, il che ti impedisce di eseguire il deployment dei modelli partner.
  • Per gli endpoint, è supportato solo il tipo endpoint pubblico condiviso.

Scopri di più sui modelli di cui è stato eseguito il deployment autonomo in Vertex AI