Visão geral explicável da IA do BigQuery

Neste documento, descrevemos como o BigQuery ML oferece suporte à inteligência artificial (IA) explicável, às vezes chamada de XAI.

A Explainable AI ajuda a entender os resultados que seu modelo de machine learning preditivo gera para tarefas de classificação e regressão definindo como cada atributo em uma linha de dados contribuiu para o resultado previsto. Isso geralmente é chamado de atribuição de recursos. É possível usar essas informações para verificar se o modelo está se comportando conforme esperado, reconhecer vieses e informar maneiras de melhorar o modelo e os dados de treinamento.

O BigQuery ML e a Vertex AI têm ofertas de Explainable AI que oferecem explicações baseadas em atributos. É possível fazer a explicabilidade no BigQuery ML ou registrar seu modelo na Vertex AI e fazer a explicabilidade lá.

Para informações sobre as funções e instruções SQL compatíveis com cada tipo de modelo, consulte Jornada do usuário completa de cada modelo.

Explicabilidade local x global

Há dois tipos de explicabilidade: explicabilidade local e explicabilidade global. Elas também são conhecidas, respectivamente, como importância do recurso local e importância do recurso global.

  • A explicabilidade local retorna valores de atribuição de recursos para cada exemplo explicado. Esses valores descrevem o quanto um atributo específico afetou a previsão em relação à previsão de referência.
  • A explicabilidade global retorna a influência geral do atributo no modelo e geralmente é obtida agregando as atribuições de recursos em todo o conjunto de dados. Um valor absoluto mais alto indica que o recurso teve maior influência nas previsões do modelo.

Ofertas explicáveis de IA no BigQuery ML

A Explainable AI no BigQuery ML é compatível com uma variedade de modelos de machine learning, incluindo séries temporais e séries não temporais. Cada um deles usa um método de explicabilidade diferente.

Categoria do modelo Tipos de modelos Método de explicação Explicação básica do método Funções de explicação local Funções de explicação global
Modelos supervisionados Regressão linear e logística Valores de Shapley Os valores de Shapley para modelos lineares são iguais a model weight * feature value, em que os valores de atributos são padronizados e os pesos de modelo são treinados com esses valores. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
Erros padrão e valores-p Erros padrão e valores-p são usados para testes de significância em relação aos pesos do modelo. N/A ML.ADVANCED_WEIGHTS4
Árvores aprimoradas

Floresta aleatória		 Árvore SHAP O Tree SHAP é um algoritmo para calcular valores SHAP exatos para modelos baseados em árvores de decisão. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
Contribuição aproximada de recursos Aproxima os valores de contribuição do recurso. É mais rápido e simples em comparação com o Tree SHAP. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
Importância do recurso com base no índice da Gini Pontuação de importância global de recursos que indica a utilidade ou importância de cada recurso na construção da árvore otimizada ou do modelo de floresta aleatória durante o treinamento. N/A ML.FEATURE_IMPORTANCE
Rede neural profunda (DNN)

Ampla e profunda		 Gradientes integrados Um método baseado em gradientes que calcula com eficiência as atribuições de atributos com as mesmas propriedades axiomáticas do valor de Shapley. Fornece uma amostra de estimativas de atribuições de recursos exatas. A precisão é controlada pelo parâmetro integrated_gradients_num_steps. ML.EXPLAIN_PREDICT1 ML.GLOBAL_EXPLAIN2
AutoML Tables Amostragem de Shapley O Sampled Shapley atribui crédito pelo resultado do modelo a cada recurso e considera permutações diferentes dos recursos. Esse método oferece uma aproximação de amostragem dos valores exatos de Shapley. N/A ML.GLOBAL_EXPLAIN2
Modelos de série temporal ARIMA_PLUS Decomposição de séries temporais Decompõe a série temporal em vários componentes se eles estiverem presentes na série temporal. Os componentes incluem tendência, sazonal, feriado, alterações nos passos, pico e quedas. Consulte o pipeline de modelagem ARIMA_PLUS para mais detalhes. ML.EXPLAIN_FORECAST3 N/A
ARIMA_PLUS_XREG Decomposição da série temporal
e
Valores de Shapley		 Decompõe a série temporal em vários componentes, incluindo tendência, sazonal, feriado, alterações de etapas e pico e quedas (semelhante a ARIMA_PLUS). A atribuição de cada regressor externo é calculada com base nos valores de Shapley, que são iguais a model weight * feature value. ML.EXPLAIN_FORECAST3 N/A

1ML_EXPLAIN_PREDICT é uma versão estendida de ML.PREDICT.

2ML.GLOBAL_EXPLAIN retorna a explicabilidade global recebida considerando a atribuição absoluta média que cada recurso recebe para todas as linhas no conjunto de dados de avaliação.

3ML.EXPLAIN_FORECAST é uma versão estendida de ML.FORECAST.

4ML.ADVANCED_WEIGHTS é uma versão estendida de ML.WEIGHTS.

Explainable AI na Vertex AI

A Explainable AI está disponível na Vertex AI para este subconjunto de modelos de aprendizado supervisionado que podem ser exportados:

Tipo de modelo Método do Explainable AI
dnn_classifier Gradientes integrados
dnn_regressor Gradientes integrados
dnn_linear_combined_classifier Gradientes integrados
dnn_linear_combined_regressor Gradientes integrados
boosted_tree_regressor Amostragem de Shapley
boosted_tree_classifier Amostragem de Shapley
random_forest_regressor Amostragem de Shapley
random_forest_classifier Amostragem de Shapley

Consulte Métodos de atribuição de recurso para saber mais sobre esses métodos.

Ativar a Explainable AI no Model Registry

Quando seu modelo do BigQuery ML é registrado no Model Registry, e se for um tipo de modelo compatível com a Explainable AI, será possível ativar a Explainable AI no modelo ao implantar em um endpoint. Quando você registra seu modelo do BigQuery ML, todos os metadados associados são preenchidos para você.

  1. Registre seu modelo do BigQuery ML no Model Registry.
  2. Acesse a página Model Registry na seção "BigQuery ML" no console do Google Cloud.
  3. No Model Registry, selecione o modelo do BigQuery ML e clique na versão do modelo para redirecionar à página de detalhes do modelo.
  4. Selecione Mais ações na versão do modelo.
  5. Clique em Implantar no endpoint.
  6. Defina seu endpoint: crie um nome de endpoint e clique em continuar.
  7. Selecione um tipo de máquina, por exemplo, n1-standard-2.
  8. Em Configurações do modelo, na seção de geração de registros, marque a caixa de seleção para ativar as opções de explicação.
  9. Clique em Concluído e depois em Continuar para implantar no endpoint.

Para saber como usar o XAI nos seus modelos do Model Registry, consulte Receber uma explicação on-line usando o modelo implantado. Para saber mais sobre o XAI na Vertex AI, consulte Acessar explicações.

A seguir