Perspectiva de IA e ML: segurança

Last reviewed 2024-10-11 UTC

Este documento no Framework de arquitetura: perspectiva de IA e ML oferece uma visão geral dos princípios e recomendações para garantir que suas implantações de IA e ML atendam aos requisitos de segurança e compliance da sua organização. As recomendações neste documento estão alinhadas ao pilar de segurança do framework de arquitetura.

A implantação segura de cargas de trabalho de IA e ML é um requisito essencial, principalmente em ambientes corporativos. Para atender a esse requisito, é necessário adotar uma abordagem de segurança holística que comece com a conceituação inicial das soluções de IA e ML e se estenda ao desenvolvimento, implantação e operações contínuas. O Google Cloud oferece ferramentas e serviços robustos que foram projetados para ajudar a proteger suas cargas de trabalho de IA e ML.

Definir metas e requisitos claros

É mais fácil integrar os controles de segurança e compliance necessários no início do processo de design e desenvolvimento do que adicioná-los após o desenvolvimento. Desde o início do processo de design e desenvolvimento, tome decisões adequadas para o ambiente de risco específico e para as prioridades de negócios específicas.

Considere as seguintes recomendações:

  • Identifique possíveis vetores de ataque e adote uma perspectiva de segurança e conformidade desde o início. Ao projetar e desenvolver seus sistemas de IA, mantenha o controle da superfície de ataque, dos possíveis riscos e das obrigações que você pode enfrentar.
  • Alinhe seus esforços de segurança de IA e ML às suas metas de negócios e garanta que a segurança seja parte integrante da sua estratégia geral. Entenda os efeitos das suas escolhas de segurança nas principais metas de negócios.

Manter os dados seguros e evitar perdas ou manuseio incorreto

Os dados são um recurso valioso e sensível que precisa ser mantido em segurança. A segurança de dados ajuda você a manter a confiança do usuário, apoiar seus objetivos de negócios e atender aos requisitos de compliance.

Considere as seguintes recomendações:

  • Não colete, mantenha nem use dados que não sejam estritamente necessários para suas metas de negócios. Se possível, use dados sintéticos ou totalmente anônimos.
  • Monitore a coleta, o armazenamento e a transformação de dados. Mantenha registros de todas as atividades de acesso e manipulação de dados. Os registros ajudam a auditar o acesso aos dados, detectar tentativas de acesso não autorizado e impedir o acesso indesejado.
  • Implemente diferentes níveis de acesso (por exemplo, sem acesso, somente leitura ou gravação) com base nas funções do usuário. Garanta que as permissões sejam atribuídas com base no princípio do menor privilégio. Os usuários precisam ter apenas as permissões mínimas necessárias para realizar as atividades da função.
  • Implemente medidas como criptografia, perímetros seguros e restrições ao movimento de dados. Essas medidas ajudam a evitar a exfiltração e a perda de dados.
  • Proteja seus sistemas de treinamento de ML contra envenenamento de dados.

Manter os pipelines de IA seguros e robustos contra adulterações

O código de IA e ML e os pipelines definidos por código são recursos essenciais. O código que não está protegido pode ser adulterado, o que pode levar a vazamentos de dados, falhas de compliance e interrupção de atividades comerciais importantes. Manter o código de IA e ML seguro ajuda a garantir a integridade e o valor dos seus modelos e das saídas deles.

Considere as seguintes recomendações:

  • Use práticas de programação segura, como gerenciamento de dependências ou validação e limpeza de entrada, durante o desenvolvimento do modelo para evitar vulnerabilidades.
  • Proteja seu código de pipeline e seus artefatos de modelo, como arquivos, pesos de modelo e especificações de implantação, contra acesso não autorizado. Implemente diferentes níveis de acesso para cada artefato com base nas funções e necessidades do usuário.
  • Aplicar a linhagem e o rastreamento dos seus recursos e execuções do pipeline. Essa aplicação ajuda você a atender aos requisitos de compliance e a evitar comprometer os sistemas de produção.

Implantar em sistemas seguros com ferramentas e artefatos seguros

Verifique se o código e os modelos são executados em um ambiente seguro com um sistema de controle de acesso robusto e garantias de segurança para as ferramentas e os artefatos implantados no ambiente.

Considere as seguintes recomendações:

  • Treine e implante seus modelos em um ambiente seguro com controles de acesso adequados e proteção contra uso ou manipulação não autorizados.
  • Siga as diretrizes padrão dos Níveis da cadeia de suprimentos para artefatos de software (SLSA) para artefatos específicos de IA, como modelos e pacotes de software.
  • Prefira usar imagens de contêiner pré-criadas validadas e projetadas especificamente para cargas de trabalho de IA.

Proteger e monitorar entradas

Os sistemas de IA precisam de entradas para fazer previsões, gerar conteúdo ou automatizar ações. Algumas entradas podem representar riscos ou ser usadas como vetores de ataque que precisam ser detectados e limpos. Detectar possíveis entradas maliciosas com antecedência ajuda a manter seus sistemas de IA seguros e funcionando como esperado.

Considere as seguintes recomendações:

  • Implemente práticas seguras para desenvolver e gerenciar solicitações de sistemas de IA generativa e garantir que as solicitações sejam analisadas quanto a intenções nocivas.
  • Monitore as entradas para sistemas preditivos ou generativos para evitar problemas como endpoints sobrecarregados ou comandos que os sistemas não foram projetados para processar.
  • Garanta que apenas os usuários pretendidos de um sistema implantado possam usá-lo.

Monitorar, avaliar e se preparar para responder às saídas

Os sistemas de IA agregam valor porque produzem resultados que aumentam, otimizam ou automatizam a tomada de decisões humanas. Para manter a integridade e a confiabilidade dos sistemas e aplicativos de IA, é necessário garantir que as saídas sejam seguras e dentro dos parâmetros esperados. Você também precisa de um plano para responder a incidentes.

Considere as seguintes recomendações:

  • Monitore as saídas dos modelos de IA e ML em produção e identifique problemas de performance, segurança e compliance.
  • Avalie o desempenho do modelo implementando métricas e medidas de segurança robustas, como identificar respostas generativas fora do escopo ou saídas extremas em modelos preditivos. Colete feedback dos usuários sobre o desempenho do modelo.
  • Implemente procedimentos robustos de alerta e resposta a incidentes para resolver possíveis problemas.

Colaboradores

Autores:

Outros colaboradores: