Perspectiva de IA e ML: otimização de custos

Last reviewed 2024-10-11 UTC

Este documento no Framework da arquitetura: perspectiva de IA e ML oferece uma visão geral dos princípios e recomendações para otimizar o custo dos seus sistemas de IA ao longo do ciclo de vida do ML. Ao adotar uma abordagem proativa e informada de gerenciamento de custos, sua organização pode aproveitar todo o potencial dos sistemas de IA e ML, além de manter a disciplina financeira. As recomendações neste documento estão alinhadas ao pilar de otimização de custos do Framework de arquitetura.

Os sistemas de IA e ML podem ajudar a gerar insights valiosos e recursos preditivos com base em dados. Por exemplo, você pode reduzir a fricção em processos internos, melhorar a experiência do usuário e obter insights mais aprofundados sobre os clientes. A nuvem oferece uma grande quantidade de recursos e um tempo de valor rápido sem grandes investimentos iniciais para cargas de trabalho de IA e ML. Para maximizar o valor do negócio e alinhar os gastos às suas metas de negócios, é necessário entender os fatores de custo, otimizar custos de forma proativa, configurar controles de gastos e adotar práticas de FinOps.

Definir e medir custos e devoluções

Para gerenciar de maneira eficaz os custos de IA e ML no Google Cloud, é necessário definir e medir as despesas dos recursos da nuvem e o valor comercial das suas iniciativas de IA e ML. O Google Cloud oferece ferramentas abrangentes de faturamento e gerenciamento de custos para ajudar você a acompanhar as despesas de maneira granular. As métricas de valor do negócio que você pode medir incluem satisfação do cliente, receita e custos operacionais. Ao estabelecer métricas concretas para custos e valor de negócios, você pode tomar decisões informadas sobre a alocação e otimização de recursos.

Considere as seguintes recomendações:

  • Estabeleça objetivos de negócios claros e indicadores principais de desempenho (KPIs) para seus projetos de IA e ML.
  • Use as informações de faturamento fornecidas pelo Google Cloud para implementar processos de monitoramento e relatórios de custos que podem ajudar a atribuir custos a atividades específicas de IA e ML.
  • Estabeleça painéis, alertas e sistemas de relatórios para acompanhar custos e retornos em relação aos KPIs.

Otimizar a alocação de recursos

Para alcançar a eficiência de custos dos seus workloads de IA e ML no Google Cloud, otimize a alocação de recursos. Ao alinhar cuidadosamente a alocação de recursos às necessidades das cargas de trabalho, você evita despesas desnecessárias e garante que os sistemas de IA e ML tenham os recursos necessários para funcionar de maneira ideal.

Considere as seguintes recomendações:

  • Use o escalonamento automático para ajustar dinamicamente os recursos de treinamento e inferência.
  • Comece com modelos e dados pequenos. Economize custos testando hipóteses em uma escala menor sempre que possível.
  • Descubra suas necessidades de computação por meio de experimentos. Ajuste os recursos usados para treinamento e veiculação com base nos requisitos de ML.
  • Adote práticas de MLOps para reduzir a duplicação, os processos manuais e a alocação ineficiente de recursos.

Aplicar práticas de governança e gerenciamento de dados

Práticas eficazes de governança e gerenciamento de dados desempenham um papel fundamental na otimização de custos. Dados bem organizados ajudam sua organização a evitar duplicação desnecessária, reduzem o esforço necessário para conseguir dados de alta qualidade e incentivam as equipes a reutilizar conjuntos de dados. Ao gerenciar dados de forma proativa, é possível reduzir os custos de armazenamento, melhorar a qualidade dos dados e garantir que os modelos de ML sejam treinados e operados com os dados mais relevantes e valiosos.

Considere as seguintes recomendações:

  • Estabeleça e adote um framework de governança de dados bem definido.
  • Aplique rótulos e metadados relevantes aos conjuntos de dados no ponto de ingestão de dados.
  • Garanta que os conjuntos de dados sejam detectáveis e acessíveis em toda a organização.
  • Sempre que possível, faça com que seus conjuntos de dados e recursos sejam reutilizáveis ao longo do ciclo de vida do ML.

Automatizar e simplificar com MLOps

Um dos principais benefícios da adoção de práticas de MLOps é a redução de custos, tanto do ponto de vista da tecnologia quanto das atividades do pessoal. Automation ajuda a evitar a duplicação de atividades de ML e a melhorar a produtividade de cientistas de dados e engenheiros de ML.

Considere as seguintes recomendações:

  • Aumente o nível de automação e padronização nas tecnologias de coleta e processamento de dados para reduzir o esforço e o tempo de desenvolvimento.
  • Desenvolva pipelines de treinamento automatizados para reduzir a necessidade de intervenções manuais e aumentar a produtividade dos engenheiros. Implemente mecanismos para que os pipelines reutilizem recursos existentes, como conjuntos de dados preparados e modelos treinados.
  • Use os serviços de avaliação e ajuste de modelo no Google Cloud para aumentar a performance do modelo com menos iterações. Isso permite que suas equipes de IA e ML atinjam mais objetivos em menos tempo.

Usar serviços gerenciados e modelos pré-treinados ou atuais

Há muitas abordagens para alcançar metas de negócios usando IA e ML. Adote uma abordagem incremental para a seleção e o desenvolvimento de modelos. Isso ajuda a evitar custos excessivos associados ao início de uma nova sessão. Para controlar os custos, comece com uma abordagem simples: use frameworks de ML, serviços gerenciados e modelos pré-treinados.

Considere as seguintes recomendações:

  • Ative experimentos de ML exploratórios e rápidos usando ambientes de notebooks.
  • Use modelos atuais e pré-treinados como ponto de partida para acelerar a seleção e o processo de desenvolvimento do modelo.
  • Use serviços gerenciados para treinar ou exibir seus modelos. Tanto o AutoML quanto os serviços gerenciados de treinamento de modelo personalizados podem ajudar a reduzir o custo do treinamento de modelo. Os serviços gerenciados também podem ajudar a reduzir o custo da sua infraestrutura de prestação de modelos.

Promover uma cultura de conscientização de custos e otimização contínua

Cultive um ambiente colaborativo que incentive a comunicação e as revisões regulares. Essa abordagem ajuda as equipes a identificar e implementar oportunidades de economia de custos ao longo do ciclo de vida da ML.

Considere as seguintes recomendações:

  • Adote princípios de FinOps em todo o ciclo de vida do ML.
  • Garanta que todos os custos e benefícios comerciais dos projetos de IA e ML tenham proprietários designados com responsabilidade clara.

Colaboradores

Autores:

Outros colaboradores: