Vertex AI supporta un elenco selezionato di modelli sviluppati da partner di Google. I modelli partner possono essere utilizzati con Vertex AI as a Service (MaaS) e sono offerti come API gestita. Quando utilizzi un modello partner, continui a per inviare le richieste agli endpoint Vertex AI. I modelli dei partner sono serverless senza dover eseguire il provisioning o gestire l'infrastruttura.
I modelli partner possono essere scoperti utilizzando Model Garden. Puoi anche il deployment dei modelli usando Model Garden. Per ulteriori informazioni, vedi Esplora i modelli di IA in Model Garden. Sebbene le informazioni su ogni modello partner disponibile siano disponibili nel relativo modello di Model Garden, solo i modelli di terze parti che funzionano come MaaS con Vertex AI è documentato in questa guida.
I modelli antropici di Claude e Mistral sono esempi di modelli gestiti da terze parti disponibili su Vertex AI.
Prestazioni prevedibili con garanzia della capacità
Google offre la velocità effettiva sottoposta a provisioning per alcuni modelli dei partner che prenotano per i tuoi modelli a una tariffa fissa. Sei tu a decidere di velocità effettiva elevata e in quali regioni riservarla. Poiché le richieste di velocità effettiva di cui è stato eseguito il provisioning hanno la priorità rispetto alle richieste di velocità effettiva standard con pagamento a consumo la velocità effettiva di cui è stato eseguito il provisioning offre maggiore disponibilità. Quando se il sistema è sovraccarico, le tue richieste potranno comunque essere completate a condizione che rimane al di sotto della capacità di velocità effettiva prenotata. Per ulteriori informazioni o per abbonarti al servizio, contatta il team di vendita.
Abilita modelli partner per gli utenti
Per abilitare i modelli dei partner ed effettuare una richiesta di prompt, un Google Cloud L'amministratore deve impostare le autorizzazioni richieste e verificare il criterio dell'organizzazione consente l'uso dei di terze parti.
Imposta le autorizzazioni richieste
Per utilizzare i modelli dei partner, sono necessari i ruoli e le autorizzazioni seguenti:
Devi avere il Gestore entitlement di approvvigionamento consumer Ruolo IAM (Identity and Access Management). Chiunque abbia ricevuto questo ruolo può abilitare i modelli partner in Model Garden.
Devi disporre dell'autorizzazione
aiplatform.endpoints.predict
. Questo sia inclusa nel ruolo IAM Utente Vertex AI. Per ulteriori informazioni, consulta Vertex AI Utente e Accesso di controllo.
Console
Per concedere IAM al Gestore entitlement di approvvigionamento consumer ruoli a un utente, vai alla pagina IAM.
Nella colonna Entità, individua l'utente. principal per cui hai attivare l'accesso ai modelli dei partner e fare clic su Modifica entità nella riga corrispondente.
Nel riquadro Modifica accesso, fai clic su
Aggiungi un altro ruolo.In Seleziona un ruolo, seleziona Gestore diritti approvvigionamento consumer.
Nel riquadro Modifica accesso, fai clic su
Aggiungi un altro ruolo.In Seleziona un ruolo, seleziona Utente Vertex AI.
Fai clic su Salva.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
Concedi il ruolo Gestore entitlement di approvvigionamento consumer necessario per abilitare i modelli dei partner in Model Garden
gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager
Concedi il ruolo Vertex AI User che include
aiplatform.endpoints.predict
autorizzazione necessaria per rendere richieste di prompt:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/aiplatform.user
Sostituisci
PRINCIPAL
con l'identificatore di l'entità. L'identificatore assume la formauser|group|serviceAccount:email
odomain:domain
, per ad esempiouser:cloudysanfrancisco@gmail.com
,group:admins@example.com
,serviceAccount:test123@example.domain.com
odomain:example.domain.com
,L'output è un elenco di associazioni di criteri che include quanto segue:
- members: - user:PRINCIPAL role: roles/roles/consumerprocurement.entitlementManager
Per ulteriori informazioni, vedi Assegna un singolo ruolo e
gcloud projects add-iam-policy-binding
Imposta il criterio dell'organizzazione
Per abilitare i modelli dei partner, i criteri dell'organizzazione devono consentire quanto segue API:
- Cloud Commerce Consumer Procurement API -
cloudcommerceconsumerprocurement.googleapis.com
- API Commerce Agreement -
commerceagreement.googleapis.com
Se la tua organizzazione imposta un criterio dell'organizzazione su
limitare l'utilizzo del servizio,
un amministratore dell'organizzazione
deve verificare
cloudcommerceconsumerprocurement.googleapis.com
e
commerceagreement.googleapis.com
consentiti da
l'impostazione del criterio dell'organizzazione.