Modelli di partner Vertex AI per MaaS

Vertex AI supporta un elenco selezionato di modelli sviluppati dai partner di Google. I modelli dei partner possono essere utilizzati con Vertex AI come servizio di modelli come servizio (MaaS) e sono offerti come API gestite. Quando utilizzi un modello di un partner, continui a inviare le richieste agli endpoint Vertex AI. I modelli del partner sono serverless, quindi non è necessario eseguire il provisioning o gestire l'infrastruttura.

I modelli dei partner possono essere scoperti utilizzando Model Garden. Puoi anche eseguire il deployment dei modelli utilizzando Model Garden. Per ulteriori informazioni, consulta Esplora i modelli di IA in Model Garden. Sebbene le informazioni su ciascun modello partner disponibile siano disponibili nella relativa scheda in Model Garden, in questa guida sono documentati solo i modelli di terze parti che funzionano come MaaS con Vertex AI.

I modelli Claude e Mistral di Anthropic sono esempi di modelli gestiti di terze parti che possono essere utilizzati su Vertex AI.

Prezzi dei modelli partner di Vertex AI con garanzia della capacità

Google offre il throughput riservato per alcuni modelli di partner che riserva la capacità di throughput per i tuoi modelli a una tariffa fissa. Sei tu a decidere la capacità di throughput e in quali regioni prenotarla. Poiché le richieste di throughput provisionato hanno la priorità sulle richieste con pagamento a consumo standard, il throughput provisionato offre una maggiore disponibilità. Quando il sistema è sovraccaricato, le richieste possono comunque essere completate purché il throughput rimanga al di sotto della capacità di throughput riservata. Per ulteriori informazioni o per abbonarti al servizio, contatta il team di vendita.

Concedere l'accesso degli utenti ai modelli di partner

Per attivare i modelli di partner ed effettuare una richiesta di prompt, un amministratore Google Clouddeve impostare le autorizzazioni richieste e verificare che i criteri dell'organizzazione consentano l'utilizzo delle API richieste.

Impostare le autorizzazioni necessarie per utilizzare i modelli di partner

Per utilizzare i modelli dei partner sono richiesti i seguenti ruoli e autorizzazioni:

  • Devi disporre del ruolo IAM (Identity and Access Management) Gestore entitlement approvvigionamento consumer. Chiunque abbia ricevuto questo ruolo può attivare i modelli di partner in Model Garden.

  • Devi disporre dell'autorizzazione aiplatform.endpoints.predict. Questa autorizzazione è inclusa nel ruolo IAM Utente Vertex AI. Per ulteriori informazioni, consulta Utente Vertex AI e Controllo accessi.

Console

  1. Per concedere a un utente i ruoli IAM Gestore entitlement approvvigionamento consumer, vai alla pagina IAM.

    Vai a IAM

  2. Nella colonna Principale, individua l'entità utente per cui vuoi attivare l'accesso ai modelli di partner e fai clic su Modifica entità nella riga corrispondente.

  3. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  4. In Seleziona un ruolo, seleziona Consumer Procurement Entitlement Manager.

  5. Nel riquadro Modifica accesso, fai clic su Aggiungi un altro ruolo.

  6. In Seleziona un ruolo, seleziona Utente Vertex AI.

  7. Fai clic su Salva.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Concedi il ruolo Gestore entitlement approvvigionamento consumer necessario per attivare i modelli di partner in Model Garden

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Concedi il ruolo Utente Vertex AI che include l'autorizzazioneaiplatform.endpoints.predict necessaria per effettuare richieste di prompt:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Sostituisci PRINCIPAL con l'identificatore per l'entità. L'identificatore ha la forma user|group|serviceAccount:email o domain:domain, ad esempio user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com o domain:example.domain.com.

    L'output è un elenco di associazioni di criteri che include quanto segue:

    - members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Per ulteriori informazioni, consulta Concedere un singolo ruolo e gcloud projects add-iam-policy-binding.

Impostare il criterio dell'organizzazione per l'accesso al modello di partner

Per attivare i modelli di partner, le norme dell'organizzazione devono consentire le seguenti API:

  • Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
  • API Commerce Agreement - commerceagreement.googleapis.com

Se la tua organizzazione imposta un criterio per limitare l'utilizzo dei servizi, un amministratore dell'organizzazione deve verificare che cloudcommerceconsumerprocurement.googleapis.com e commerceagreement.googleapis.com siano consentiti impostando il criterio dell'organizzazione.

Inoltre, se hai un criterio dell'organizzazione che limita l'utilizzo dei modelli in Model Garden, il criterio deve consentire l'accesso ai modelli dei partner. Per ulteriori informazioni, consulta Controllare l'accesso al modello.

Conformità alle normative del modello di partner

Le certificazioni per l'AI generativa su Vertex AI continuano a essere applicate quando i modelli dei partner vengono utilizzati come API gestite utilizzando Vertex AI. Se hai bisogno di dettagli sui modelli stessi, puoi trovare ulteriori informazioni nella rispettiva scheda del modello o contattare il rispettivo editore del modello.

I tuoi dati vengono archiviati in modalità at-rest all'interno della regione o della regione multipla selezionata per i modelli partner su Vertex AI, ma la regionalizzazione dell'elaborazione dei dati può variare. Per un elenco dettagliato degli impegni relativi al trattamento dei dati dei modelli partner, consulta Residenza dei dati per i modelli partner.

I prompt dei clienti e le risposte del modello non vengono condivisi con terze parti quando si utilizza l'API Vertex AI, inclusi i modelli dei partner. Google tratta i Dati del cliente solo in base alle istruzioni del Cliente, come descritto in maggiore dettaglio nel nostro Addendum per il trattamento dei dati Cloud.