Visão geral da avaliação do BigQuery ML
Neste documento, descrevemos como o BigQuery ML oferece suporte à avaliação de modelos de machine learning (ML).
Visão geral da avaliação de modelos
É possível usar as métricas de avaliação de modelo de ML para as finalidades a seguir:
- Avaliar a qualidade do ajuste entre o modelo e os dados.
- Comparar modelos diferentes.
- Prever a precisão com que você espera que cada modelo tenha um desempenho em um conjunto de dados específico, no contexto da seleção do modelo.
As avaliações de modelos de aprendizado supervisionados e não supervisionados funcionam de maneira diferente.
- Para modelos de aprendizado supervisionado, a avaliação do modelo é bem definida. Um conjunto de avaliação, que são dados que não foram analisados pelo modelo, geralmente é excluído do conjunto de treinamento e usado para avaliar o desempenho do modelo. Recomendamos que você não use o conjunto de treinamento para avaliação, porque isso faz com que o modelo tenha um desempenho ruim ao generalizar os resultados da previsão para novos dados. Esse resultado é conhecido como overfitting.
- Para modelos de aprendizado não supervisionados, a avaliação de modelo é menos definida e normalmente varia de acordo com o modelo. Como os modelos de aprendizado não supervisionados não reservam um conjunto de avaliações, as métricas de avaliação são calculadas usando todo o conjunto de dados de entrada.
Para informações sobre as funções e instruções SQL compatíveis com cada tipo de modelo, consulte Jornada do usuário completa de cada modelo.
Ofertas de avaliação de modelo
O BigQuery ML fornece as seguintes funções para calcular métricas de avaliação de modelos de ML:
Categoria do modelo | Tipos de modelos | Funções de avaliação de modelo | O que a função faz |
---|---|---|---|
Aprendizado supervisionado | Regressão linear Regressor de árvores aprimoradas Regressor de floresta aleatória Regressor de DNN Regressor de amplitude e profundidade Regressor do AutoML Tables |
ML.EVALUATE |
Informa as seguintes métricas:
|
Regressão logística Classificador por árvores otimizadas Classificador de floresta aleatória Classificador DNN Classificador de amplitude e profundidade Classificador do AutoML Tables |
ML.EVALUATE |
Informa as seguintes métricas:
|
|
ML.CONFUSION_MATRIX |
Informa a matriz de confusão. | ||
ML.ROC_CURVE |
Informa métricas para diferentes valores de limite, incluindo o seguinte:
Isso se aplica apenas a modelos de classificação de classe binária. |
||
Aprendizado não supervisionado | K-means | ML.EVALUATE |
Informa o índice Davies-Bouldin e a distância quadrada média entre os pontos de dados e os centroides dos clusters atribuídos. |
Fatoração de matrizes | ML.EVALUATE |
Para modelos baseados em feedback explícito, informa as seguintes métricas:
|
|
Para modelos baseados em feedback implícito, informa as seguintes métricas:
|
|||
PCA | ML.EVALUATE |
Informa a taxa de variação explicada total. | |
Codificador automático | ML.EVALUATE |
Informa as seguintes métricas:
|
|
Série temporal | ARIMA_PLUS | ML.EVALUATE
| Informa as seguintes métricas:
Essa função exige novos dados como entrada. |
ML.ARIMA_EVALUATE
| Informa as seguintes métricas para todos os modelos candidatos de ARIMA caracterizados por diferentes tuplas (p, d, q, has_drift):
Ela também relata outras informações sobre sazonalidade, efeitos de feriados e outliers de picos e quedas. Essa função não exige novos dados como entrada. |
Avaliação automática em instruções CREATE MODEL
O BigQuery ML oferece suporte à avaliação automática durante a criação do modelo. Dependendo do tipo de modelo, das opções de treinamento de divisão de dados e se você estiver usando o ajuste de hiperparâmetros, as métricas de avaliação serão calculadas com base no conjunto de dados de avaliação reservado, no conjunto de dados de teste reservado ou em todo o conjunto de dados de entrada.
Para modelos k-means, PCA, codificador automático e ARIMA_PLUS, o BigQuery ML usa todos os dados de entrada como dados de treinamento, e as métricas de avaliação são calculadas em relação a todo o conjunto de dados de entrada.
Para os modelos de regressão linear e logística, árvore otimizada, floresta aleatória, DNN, amplitude e profundidade e fatoração de matriz, as métricas de avaliação são calculadas em relação ao conjunto de dados especificado pelas seguintes opções
CREATE MODEL
:Ao treinar esses tipos de modelos usando o ajuste de hiperparâmetros, a opção
DATA_SPLIT_TEST_FRACTION
também ajuda a definir o conjunto de dados em que as métricas de avaliação são calculadas. Para mais informações, consulte Divisão de dados.Para modelos do AutoML Tables, consulte como divisões de dados são usadas para treinamento e avaliação.
Para receber métricas de avaliação calculadas durante a criação do modelo, use funções de avaliação como ML.EVALUATE
no modelo sem dados de entrada especificados.
Para ver um exemplo, consulte
ML.EVALUATE
sem dados de entrada especificados.
Avaliação com um novo conjunto de dados
Após a criação do modelo, especifique novos conjuntos de dados para avaliação. Para fornecer um novo conjunto de dados, use funções de avaliação, como ML.EVALUATE
, no modelo com os dados de entrada especificados. Por exemplo, consulte
ML.EVALUATE
com um limite personalizado e dados de entrada.