Vista geral da IA explicável do BigQuery

Este documento descreve como o BigQuery ML suporta a inteligência artificial (IA) explicável, por vezes denominada XAI.

A IA explicável ajuda a compreender os resultados que o seu modelo de aprendizagem automática preditiva gera para tarefas de classificação e regressão, definindo como cada funcionalidade numa linha de dados contribuiu para o resultado previsto. Estas informações são frequentemente denominadas atribuição de funcionalidades. Pode usar estas informações para verificar se o modelo está a funcionar conforme esperado, reconhecer tendências nos seus modelos e informar sobre formas de melhorar o modelo e os dados de preparação.

O BigQuery ML e o Vertex AI têm ofertas de IA explicável que oferecem explicações baseadas em funcionalidades. Pode realizar a explicabilidade no BigQuery ML ou pode registar o seu modelo no Vertex AI e realizar a explicabilidade aí.

Capacidade de explicação local vs. global

Existem dois tipos de explicabilidade: explicabilidade local e explicabilidade global. Estes também são conhecidos, respetivamente, como importância das funcionalidades locais e importância das funcionalidades globais.

  • A capacidade de explicação local devolve valores de atribuição de funcionalidades para cada exemplo explicado. Estes valores descrevem o quanto uma determinada funcionalidade afetou a previsão em relação à previsão de base.
  • A interpretabilidade global devolve a influência geral da funcionalidade no modelo e é frequentemente obtida através da agregação das atribuições de funcionalidades no conjunto de dados completo. Um valor absoluto mais elevado indica que a funcionalidade teve uma maior influência nas previsões do modelo.

Ofertas de IA explicável no BigQuery ML

A IA explicável no BigQuery ML suporta uma variedade de modelos de aprendizagem automática, incluindo modelos de séries cronológicas e não cronológicas. Cada um dos modelos tira partido de um método de explicabilidade diferente.

Categoria do modelo Tipos de modelos Método de capacidade de explicação Explicação básica do método Funções de explicação locais Funções de explicação global
Modelos supervisionados Regressão linear e logística Valores de Shapley Os valores de Shapley para modelos lineares são iguais a model weight * feature value, em que os valores das funcionalidades são padronizados e as ponderações do modelo são preparadas com os valores das funcionalidades padronizados. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
Erros padrão e valores p Os erros padrão e os valores p são usados para testes de relevância em relação às ponderações do modelo. N/A ML.ADVANCED_WEIGHTS4
Árvores com reforço

Floresta aleatória		 Árvore SHAP O Tree SHAP é um algoritmo para calcular os valores SHAP exatos para modelos baseados em árvores de decisão. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
Contribuição aproximada de funcionalidades Aproxima os valores de contribuição das funcionalidades. É mais rápido e simples em comparação com o Tree SHAP. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
Importância das funcionalidades baseada no índice de Gini Uma pontuação de importância das caraterísticas global que indica a utilidade ou o valor de cada caraterística na construção do modelo de árvore de reforço ou de floresta aleatória durante a preparação. N/A ML.FEATURE_IMPORTANCE
Rede neural profunda (DNN)

Wide-and-Deep		 Gradientes integrados Um método baseado em gradientes que calcula eficientemente as atribuições de funcionalidades com as mesmas propriedades axiomáticas que o valor de Shapley. Oferece uma aproximação de amostragem de atribuições de funcionalidades exatas. A respetiva precisão é controlada pelo parâmetro integrated_gradients_num_steps. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
AutoML Tables Shapley com amostragem O valor de Shapley com amostragem atribui crédito pelo resultado do modelo a cada funcionalidade e considera diferentes permutações das funcionalidades. Este método oferece uma aproximação de amostragem dos valores de Shapley exatos. N/A ML.GLOBAL_EXPLAIN2
Modelos de intervalos temporais ARIMA_PLUS Decomposição de intervalos temporais Decompõe os intervalos temporais em vários componentes se esses componentes estiverem presentes nos intervalos temporais. Os componentes incluem tendência, sazonalidade, época festiva, alterações incrementais, bem como picos e quedas. Consulte o pipeline de modelagem ARIMA_PLUS para ver mais detalhes. ML.EXPLAIN_FORECAST3 N/A
ARIMA_PLUS_XREG Decomposição de intervalos temporais
e
valores de Shapley		 Decompõe os intervalos temporais em vários componentes, incluindo tendência, sazonalidade, feriados, alterações incrementais e picos e quedas (semelhante a ARIMA_PLUS). A atribuição de cada regressor externo é calculada com base nos valores de Shapley, que são iguais a model weight * feature value. ML.EXPLAIN_FORECAST3 N/A

1ML_EXPLAIN_PREDICT é uma versão expandida de ML.PREDICT.

2ML.GLOBAL_EXPLAIN devolve a explicabilidade global obtida através da atribuição absoluta média que cada caraterística recebe para todas as linhas no conjunto de dados de avaliação.

O 3ML.EXPLAIN_FORECAST é uma versão expandida do ML.FORECAST.

O 4ML.ADVANCED_WEIGHTS é uma versão expandida do ML.WEIGHTS.

IA explicável no Vertex AI

A IA explicável está disponível no Vertex AI para o seguinte subconjunto de modelos de aprendizagem supervisionada exportáveis:

Tipo de modelo Método de IA explicável
dnn_classifier Gradientes integrados
dnn_regressor Gradientes integrados
dnn_linear_combined_classifier Gradientes integrados
dnn_linear_combined_regressor Gradientes integrados
boosted_tree_regressor Shapley com amostragem
boosted_tree_classifier Shapley com amostragem
random_forest_regressor Shapley com amostragem
random_forest_classifier Shapley com amostragem

Consulte os métodos de atribuição de funcionalidades para saber mais sobre estes métodos.

Ative a IA explicável no registo de modelos

Quando o seu modelo do BigQuery ML é registado no Model Registry e, se for um tipo de modelo que suporte a IA explicável, pode ativar a IA explicável no modelo quando o implementar num ponto final. Quando regista o seu modelo do BigQuery ML, todos os metadados associados são preenchidos automaticamente.

  1. Registe o seu modelo do BigQuery ML no Model Registry.
  2. Aceda à página Model Registry na secção BigQuery da Google Cloud consola.
  3. No Model Registry, selecione o modelo do BigQuery ML e clique na versão do modelo para redirecionar para a página de detalhes do modelo.
  4. Selecione Mais ações na versão do modelo.
  5. Clique em Implementar no ponto final.
  6. Defina o ponto final: crie um nome de ponto final e clique em Continuar.
  7. Selecione um tipo de máquina, por exemplo, n1-standard-2.
  8. Em Definições do modelo, na secção de registo, selecione a caixa de verificação para ativar as opções de explicabilidade.
  9. Clique em Concluído e, de seguida, em Continuar para implementar no ponto final.

Para saber como usar a XAI nos seus modelos a partir do Model Registry, consulte o artigo Obtenha uma explicação online através do modelo implementado. Para saber mais sobre a XAI na Vertex AI, consulte o artigo Obtenha explicações.

O que se segue?