Migrar para a Vertex AI

A Vertex AI une os serviços da AI Platform e do AutoML em uma IU e API unificadas para simplificar o processo de criação, treinamento e implantação de modelos de machine learning. Com a Vertex AI, é possível passar da experimentação para a produção com mais rapidez, descobrir padrões e anomalias de forma eficiente, fazer previsões e tomar decisões melhores e manter a agilidade diante de mudanças nas prioridades e condições de mercado. Nesta página, você encontra as etapas recomendadas e outras informações para ajudar a planejar e implementar uma migração para a Vertex AI.

A Vertex AI é compatível com todos os recursos e modelos disponíveis no AutoML e na AI Platform. No entanto, as bibliotecas de cliente não são compatíveis com versões anteriores à integração do cliente. Em outras palavras, você precisa planejar a migração dos seus recursos para aproveitar os recursos da Vertex AI.

Se você estiver planejando um novo projeto, crie seu código, job, conjunto de dados ou modelo com a Vertex AI. Com isso, você poderá aproveitar os novos recursos e melhorias de serviço à medida que forem disponibilizados. O AutoML e a AI Platform permanecerão disponíveis, mas melhorias futuras serão implementadas na Vertex AI.

Etapas recomendadas para migrar para a Vertex AI

Use as etapas recomendadas a seguir para atualizar seu código, jobs, conjuntos de dados e modelos atuais do AutoML e da AI Platform para a Vertex AI.

Observação: os modelos do AutoML têm uma duração máxima de 18 meses. Não é possível migrar modelos com mais de 18 meses para a Vertex AI.

Como migrar do AutoML

Para atualizar sua implementação do AutoML para a Vertex AI, conclua estas etapas:

1. Leia sobre as principais diferenças entre o AutoML e a Vertex AI em Vertex AI para usuários do AutoML.

2. Analise as possíveis alterações nos preços. Consulte Preços de migração da Vertex AI.

3. Faça um inventário dos seus projetos, código, jobs, conjuntos de dados, modelos e usuários do Google Cloud com acesso ao AutoML. Use essas informações para determinar quais recursos migrar e garantir que os usuários corretos tenham acesso aos recursos migrados.

4. Analise as alterações nos papéis do IAM e atualize as contas de serviço e a autenticação dos recursos.

5. Analise a lista de recursos que não podem ser migrados e as informações sobre o processo de migração.

6. Migre os recursos usando um destes dois métodos:

   • Use a ferramenta de migração.

   • Use as bibliotecas de cliente e os métodos da Vertex AI.

7. Leia sobre como a Vertex AI usa endpoints regionais.

8. Identificar o uso de APIs do AutoML para ajudar a determinar quais aplicativos usam essas APIs e identificar as chamadas de método que você quer migrar.

9. Atualize seus aplicativos e fluxos de trabalho para usar a API Vertex AI e os recursos da Vertex AI.

10. Planeje o monitoramento de cota de solicitação. Consulte Cotas e limites.

Como migrar da AI Platform

Para atualizar sua implementação da AI Platform para a Vertex AI, conclua estas etapas:

1. Leia sobre as principais diferenças entre a AI Platform e a Vertex AI em Vertex AI para usuários da AI Platform.

2. Analise as possíveis alterações nos preços. Consulte Preços de migração da Vertex AI.

3. Faça um inventário dos seus projetos, código, jobs, conjuntos de dados, modelos e usuários do Google Cloud com acesso à AI Platform. Use essas informações para determinar quais recursos migrar e garantir que os usuários corretos tenham acesso aos recursos migrados.

4. Analise as alterações nos papéis do IAM e atualize as contas de serviço e a autenticação dos recursos.

5. Analise a lista de recursos que não podem ser migrados e as informações sobre o processo de migração.

6. Migre os recursos usando um destes dois métodos:

   • Use a ferramenta de migração.

   • Use as bibliotecas de cliente e os métodos da Vertex AI.

7. Leia sobre como a Vertex AI usa endpoints regionais.

8. Identifique o uso de APIs AI Platform para ajudar a determinar quais aplicativos usam essas APIs e identificar as chamadas do método que você quer migrar.

9. Atualize seus aplicativos e fluxos de trabalho para usar a API Vertex AI e os recursos da Vertex AI.

10. Planeje o monitoramento de cota de solicitação. Consulte Cotas e limites.

Preços de migração da Vertex AI

A migração é gratuita. Os recursos criados como resultado da migração geram cobranças padrão. Consulte os preços da Vertex AI. Os conjuntos de dados migrados do Serviço de rotulagem de dados do AI Platform, do AutoML Vision, do AutoML Video Intelligence e do AutoML Natural Language são migrados para um bucket do Cloud Storage, o que incorrerá em custos de armazenamento (consulte os custos de armazenamentoPreços do Cloud Storage .

Após a migração, os recursos legados ainda ficarão disponíveis para uso no AutoML e na AI Platform. Para evitar custos desnecessários, encerre ou exclua os recursos legados depois de verificar se seus objetos foram migrados.

A migração é uma operação de cópia. Após migrar um recurso, as alterações no recurso legado não afetam o recurso migrado.

Preços da Vertex AI em comparação com os preços de produtos legados

Os custos da Vertex AI permanecem os mesmos dos produtos legados da AI Platform e do AutoML que a Vertex AI substitui, com as seguintes exceções:

• As previsões legadas do AI Platform Prediction e do AutoML Tables são compatíveis com tipos de máquina de baixo custo e baixo desempenho que não são compatíveis com a Vertex AI Prediction e o AutoML tabular.

• O AI Platform Prediction legado é compatível com redução da escala a zero, o que não é compatível com a Vertex AI Prediction.

A Vertex AI também oferece mais maneiras de otimizar custos, como as seguintes:

• Ambiente de execução otimizado do TensorFlow.

• Compatibilidade com modelos de co-hospedagem.

• Não há duração mínima de uso para treinamento e previsão. Em vez disso, o uso é cobrado em incrementos de 30 segundos.

Identificar o uso das APIs AutoML e AI Platform

É possível determinar quais aplicativos usam as APIs AutoML e AI Platform, bem como os métodos que estão sendo usados. Use essas informações para ajudar a determinar se essas chamadas de API precisam ser migradas para a Vertex AI.

Para identificar as chamadas de API AutoML e AI Platform que você talvez queira migrar, consulte as opções a seguir.

• Para cada um dos projetos, acesse o Painel de APIs e serviços para ver uma lista de APIs de produtos que o projeto usa. Para saber mais, consulte Como usar o uso da API Monitoring.

• Se estiver ativado, é possível verificar os registros de auditoria criados porAutoML ,Treinamento do AI Platform e Previsão do AI Platform como parte deRegistros de auditoria do Cloud para criar um anexo da VLAN de monitoramento.

• Para ver o uso de métodos específicos da API AI Platform Training and Prediction, acesse a página Métricas da API AI Platform Training and Prediction.

Gerenciar alterações em papéis e permissões do IAM

A Vertex AI oferece os seguintes papéis do Identity and Access Management (IAM):

• aiplatform.admin
• aiplatform.user
• aiplatform.viewer
• aiplatform.migrator

Observação: Esses papéis são específicos do projeto e concedem permissões em toda a Vertex AI, diferente dos papéis de API do AutoML e do AI Platform Training and Prediction, que concedem permissões específicas a cada serviço.

Somente aiplatform.admin e aiplatform.migrator conseguem migrar recursos do AutoML e da AI Platform para a Vertex AI. aiplatform.user e aiplatform.viewer não podem migrar recursos.

Observação: a migração pode tornar os recursos visíveis para as pessoas que não tinham permissão para ver os recursos antes da migração. Especificamente, aiplatform.admin e aiplatform.migrator podem migrar recursos do AutoML e do Serviço de rotulagem de dados para a Vertex AI e, em seguida, visualizar os recursos copiados, mesmo que eles não tenham um papel que os permite ler ou exportar dados no AutoML ou no Serviço de rotulagem de dados. Por exemplo, um usuário que não tem o papel automl.datasets.*, mas tem o papel aiplatform.migrator, pode migrar um conjunto de dados para a Vertex AI e, em seguida, visualizar a cópia migrada do conjunto de dados.

Para mais informações sobre papéis do IAM, consulte Controle de acesso.

Recursos que não podem ser migrados

No momento, a ferramenta de migração não pode migrar todos os recursos e, em alguns casos, a migração é limitada. Considere as seguintes exceções ao planejar sua migração.

AutoML Natural Language

• O texto em PDF não é compatível com a Vertex AI. Portanto, o texto PDF do AutoML Natural Language é migrado como texto simples gerado pelo reconhecimento óptico de caracteres.

• Não é possível migrar conjuntos de dados vazios.

• Não é possível migrar jobs de previsão em lote.

AutoML Tables

• Não é possível migrar modelos criados em uma versão Alfa do AutoML Tables.

• Não é possível migrar conjuntos de dados vazios.

• Não é possível migrar jobs de previsão em lote.

AutoML Video Intelligence

• Não é possível migrar modelos criados em uma versão Alfa do AutoML Video.

• Não é possível migrar conjuntos de dados vazios.

• Não é possível migrar jobs de previsão em lote.

AutoML Vision

• Não é possível migrar modelos criados em uma versão Alfa do AutoML Vision.

• Não é possível migrar conjuntos de dados vazios.

• Não é possível migrar jobs de previsão em lote.

AI Platform

• Nem todos os modelos podem ser migrados. Os modelos que podem ser migrados têm estas características:

  • A versão do ambiente de execução precisa ser 1.15 ou superior.

  • A estrutura deve ser uma das seguintes:

    • TensorFlow
    • scikit-learn
    • XGBoost

  • A versão do Python precisa ser 3.7 ou superior.

• Se a sinalização signature-name de um modelo da AI Platform tiver sido alterada no valor padrão, serving_default, talvez ela seja migrada para a Vertex AI, mas isso não funcionará.

• As rotinas de previsão personalizadas não são migradas.

• Os jobs são executados na AI Platform não são migrados. É possível fazer o download dos metadados para seus próprios registros.

• Os scripts e pacotes do Python ou contêineres do Docker executados na AI Platform Training não são migráveis automaticamente, mas é possível atualizar os scripts para que possam ser executados na Vertex AI.

Sobre o processo de migração

Antes de migrar os recursos, verifique as informações a seguir.

• A ferramenta de migração cria uma cópia dos seus recursos.

  A ferramenta de migração cria uma versão duplicada dos modelos e conjuntos de dados do AutoML e da AI Platform na Vertex AI. Seus recursos legados não são excluídos. É possível migrar o mesmo recurso várias vezes para criar várias cópias.

• Os modelos migrados não são implantados.

  Para tipos de dados compatíveis com a previsão on-line, é necessário criar um endpoint e implantar o modelo nesse endpoint antes que o modelo possa ser usado para exibir previsões on-line.

• Quando um modelo do AutoML é migrado, a ferramenta de migração cria automaticamente um job de treinamento ao mesmo tempo.

• Os conjuntos de dados migrados para alguns tipos de dados e objetivos podem não conter os mesmos dados que o conjunto de dados atual.

  Os conjuntos de dados para determinados tipos de dados são reimportados da fonte de dados original, em vez de serem copiados do conjunto de dados atual. Se a fonte de dados original tiver sido alterada, o conjunto de dados migrado refletirá essas alterações. Essa ressalva se aplica aos seguintes tipos de dados e objetivos:

  • Conjuntos de dados de extração de entidade do AutoML Natural Language
  • Classificação de AutoML Video e conjuntos de dados de rastreamento de objetos
  • Conjuntos de dados de detecção de objetos do AutoML Vision

• Os conjuntos de dados tabulares migrados são exportados como parte do processo de migração.

  Na Vertex AI, a origem de dados de um conjunto de dados tabular é referenciada em vez de importada (saiba mais). Um conjunto de dados tabular migrado é exportado do conjunto de dados do AutoML Tables, armazenado como um arquivo CSV no Cloud Storage ou uma tabela do BigQuery no projeto e referenciado pelo conjunto de dados migrado.

Use a ferramenta de migração

A Vertex AI oferece uma ferramenta de migração para ajudar a migrar conjuntos de dados e modelos do AutoML e da AI Platform para a Vertex AI.

Etapas para usar a ferramenta de migração

Para usar a ferramenta de migração para migrar conjuntos de dados e modelos para a Vertex AI, conclua as etapas a seguir.

1. Se você ainda não tiver ativado a API Vertex AI, na página Painel da Vertex AI no Console do Google Cloud, clique emAtivar a API Vertex AI.

2. Na página Painel da Vertex AI no Console do Google Cloud, em Migrar para a Vertex AI, clique em Configurar migração:

   Observação: Se você não vir uma opção para migrar para a Vertex AI, você não tem recursos que podem ser migrados usando a ferramenta.

3. Em Selecionar recursos para migrar, selecione até 50 recursos para migrar. Se for necessário, repita essas etapas para migrar mais recursos posteriormente.

   Observação: alguns recursos não são mostrados porque não podem ser migrados no momento. Veja os recursos que não podem ser migrados.

4. Clique em Próximo e analise o resumo dos recursos que você quer migrar.

5. Clique em Migrar recursos. A migração pode levar uma hora ou mais, dependendo do número de recursos migrados. A ferramenta de migração enviará um e-mail para você quando a migração for concluída.

Usar bibliotecas e métodos do cliente para migrar recursos

Use o método batchMigrateResources() e métodos relacionados para migrar seus recursos.

Consulte a documentação de referência da API Vertex AI se precisar de ajuda.

Endpoints regionais

Os endpoints da API Vertex AI são regionais. Exemplo:

us-central1-aiplatform.googleapis.com

Os endpoints globais não são compatíveis com a Vertex AI.

Observação: os recursos do AutoML localizados na região eu da União Europeia são migrados para a região europe-west4.

Veja a lista de endpoints compatíveis na documentação de referência.

Atualizar scripts de treinamento a serem executados na Vertex AI

Os scripts e pacotes do Python ou os contêineres do Docker executados na AI Platform Training exigem as seguintes alterações específicas a serem executadas na Vertex AI.

• Para jobs que gravam saídas no Cloud Storage, na Vertex AI, é preciso indicar o URI do Cloud Storage para diferentes tipos de saída usando variáveis de ambiente. Na AI Platform, o URI do Cloud Storage é normalmente indicado com o argumento da linha de comando --job-dir.

• Na Vertex AI, a variável TF_CONFIG usa o termo chief para se referir à máquina principal. Na AI Platform, em alguns casos, ela usa o termo master.

• Ao enviar um job de treinamento personalizado na Vertex AI, especifique o URI do Artifact Registry de um contêiner pré-criado que corresponda ao framework e à versão dele. Na AI Platform, especifique uma versão do ambiente de execução que inclui o framework e a versão do framework que quer usar.

• Nem todos os tipos de máquinas compatíveis com a AI Platform são compatíveis com a Vertex AI.

  • Os tipos de máquinas legadas e os níveis de escalonamento do AI Platform Training não são compatíveis com a Vertex AI. Apenas os tipos de máquina do Compute Engine mais recentes são compatíveis.
  • As GPUs compatíveis são P4, T4, K80, P100 e V100.
  • TPUs não são compatíveis.

A seguir

• Leia Como migrar aplicativos para o Vertex AI para ajudar a determinar as alterações que você precisa fazer ao migrar seus aplicativos do AutoML ou do AI Platform para o Vertex AI.

• Para ajudar você a começar a usar a Vertex AI, leia a documentação de primeiros passos.

• Para saber como treinar um novo modelo na Vertex AI, confira um dos tutoriais da Vertex AI.