Teste os modelos do Gemini 1.5, os modelos multimodais mais recentes na Vertex AI, e veja o que é possível criar com uma janela de contexto de até 2 milhões de tokens . Teste os modelos do Gemini 1.5, os modelos multimodais mais recentes na Vertex AI, e veja o que é possível criar com uma janela de contexto de até 2 milhões de tokens.

Modelos de parceiros da Vertex AI para MaaS

A Vertex AI oferece suporte a uma lista selecionada de modelos desenvolvidos por parceiros do Google. Os modelos de parceiros podem ser usados com a Vertex AI como modelo como serviço (MaaS, na sigla em inglês) e são oferecidos como uma API gerenciada. Ao usar um modelo de parceiro, você continua enviando solicitações para endpoints da Vertex AI. Os modelos de parceiros não têm servidor, então não é necessário provisionar nem gerenciar infraestrutura.

Os modelos de parceiros podem ser descobertos usando o Model Garden. Também é possível implantar modelos usando o Model Garden. Para mais informações, consulte Explorar modelos de IA no Model Garden. As informações sobre cada modelo de parceiro disponível podem ser encontradas no card de modelo do Model Garden, mas apenas os modelos de terceiros que funcionam como um MaaS com a Vertex AI estão documentados neste guia.

Os modelos Anthropic Claude e Mistral são exemplos de modelos gerenciados por terceiros disponíveis para uso na Vertex AI.

Preços do modelo de um parceiro da Vertex AI com garantia de capacidade

O Google oferece capacidade de processamento provisionada para modelos de parceiros que reservam capacidade de processamento para modelos por uma taxa fixa. Você decide a capacidade de processamento e em quais regiões reservar essa capacidade. Como as solicitações de capacidade de processamento provisionada são priorizadas em relação às solicitações padrão de pagamento por uso, a capacidade de processamento provisionada fornece maior disponibilidade. Quando o sistema está sobrecarregado, as solicitações podem ser concluídas desde que a capacidade de processamento permaneça abaixo da sua capacidade reservada. Para mais informações ou para se inscrever no serviço, Entre em contato com a equipe de vendas.

Conceder acesso de usuário a modelos de parceiros

Para ativar os modelos de parceiro e fazer uma solicitação de comando, um administrador do Google Cloud precisa definir as permissões necessárias e verificar se a política da organização permite o uso das APIs necessárias.

Definir as permissões necessárias para usar modelos de parceiros

Os seguintes papéis e permissões são necessários para usar modelos de parceiros:

É necessário ter o papel de Gerente de direito de compra do consumidor do Identity and Access Management (IAM). Qualquer pessoa que tenha esse papel pode ativar modelos de parceiros no Model Garden.
Você precisa ter a permissão aiplatform.endpoints.predict. Essa permissão está incluída no papel de IAM de usuário da Vertex AI. Para mais informações, consulte Usuário da Vertex AI e Controle de acesso.

Console

Para conceder os papéis de IAM do Gerente de direito de compra do consumidor a um usuário, acesse a página IAM.

Acesse o IAM
Na coluna Principal, encontre a principal do usuário cujo acesso aos modelos do Anthropic Claude você quer ativar e clique em . Edite a principal nessa linha.
No painel Editar acesso, clique em Adicionar outro papel.
Em Selecionar uma função, escolha Gerente de direito de compra do consumidor.
No painel Editar acesso, clique em Adicionar outro papel.
Em Selecionar um papel, escolha Usuário da Vertex AI.
Clique em Salvar.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

Conceda o papel de Gerente de direito de compra do consumidor necessário para ativar os modelos de parceiros no Model Garden

gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

Conceda o papel de usuário da Vertex AI que inclui a permissão aiplatform.endpoints.predict, necessária para fazer solicitações de comando:
```
gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user
```
Substitua PRINCIPAL pelo identificador do principal. O identificador tem o formato user|group|serviceAccount:email ou domain:domain, por exemplo, user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com ou domain:example.domain.com.

A saída é uma lista de vinculações de política que inclui o seguinte:
```
- members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager
```
Para mais informações, consulte Conceder um único papel e gcloud projects add-iam-policy-binding.

Definir a política da organização para o acesso ao modelo de parceiro

Para ativar os modelos de parceiros, a política da organização precisa permitir as seguintes APIs:

API Cloud Commerce Consumer Procurement: cloudcommerceconsumerprocurement.googleapis.com
API Commerce Agreement: commerceagreement.googleapis.com

Se a organização definir uma política da organização para restringir o uso do serviço, um administrador da organização precisará verificar se cloudcommerceconsumerprocurement.googleapis.com e commerceagreement.googleapis.com são permitidos pelo definição da política da organização.

Além disso, se você tiver uma política da organização que restringe o uso de modelos no Model Garden, ela precisará permitir o acesso aos modelos do parceiro. Para mais informações, consulte Controlar o acesso ao modelo.