Vista geral da deteção de anomalias
A deteção de anomalias é uma técnica de extração de dados que pode usar para identificar desvios de dados num determinado conjunto de dados. Por exemplo, se a taxa de devolução de um determinado produto aumentar substancialmente em relação à base de referência desse produto, isso pode indicar um defeito do produto ou uma potencial fraude. Pode usar a deteção de anomalias para detetar incidentes críticos, como problemas técnicos, ou oportunidades, como alterações no comportamento do consumidor.
Um desafio quando usa a deteção de anomalias é determinar o que conta como dados anómalos. Se tiver dados etiquetados que identifiquem anomalias, pode
efetuar a deteção de anomalias através da
função ML.PREDICT
com um dos seguintes modelos de aprendizagem automática supervisionada:
- Modelos de regressão linear e logística
- Modelos de árvores com reforço
- Modelos de floresta aleatória
- Modelos de rede neural profunda (DNN)
- Modelos amplos e profundos
- Modelos do AutoML
Se não tiver a certeza do que conta como dados anómalos ou não tiver dados etiquetados para preparar um modelo, pode usar a aprendizagem automática não supervisionada para realizar a deteção de anomalias. Use a função ML.DETECT_ANOMALIES
com um dos seguintes modelos para detetar anomalias nos dados de preparação ou nos novos dados de publicação:
Tipo de dados | Tipos de modelos | O que o ML.DETECT_ANOMALIES faz |
---|---|---|
Intervalos temporais | ARIMA_PLUS
|
Detetar as anomalias na série cronológica. |
ARIMA_PLUS_XREG
|
Detetar as anomalias na série cronológica com regressores externos. | |
Variáveis aleatórias independentes e identicamente distribuídas (IID) | K-means | Detetar anomalias com base na distância mais curta entre as distâncias normalizadas
dos dados de entrada a cada centroide do cluster. Para uma definição das distâncias normalizadas, consulte a saída do modelo k-means para a função ML.DETECT_ANOMALIES . |
Autoencoder | Detetar anomalias com base na perda de reconstrução em termos de erro quadrático médio. Para mais informações, consulte ML.RECONSTRUCTION_LOSS . A função ML.RECONSTRUCTION_LOSS pode
obter todos os tipos de perda de reconstrução. |
|
PCA | Detetar anomalias com base na perda de reconstrução em termos de erro quadrático médio. |
Conhecimentos recomendados
Ao usar as predefinições nas declarações CREATE MODEL
e nas funções de inferência, pode criar e usar um modelo de deteção de anomalias, mesmo sem muitos conhecimentos de ML. No entanto, ter conhecimentos básicos sobre o desenvolvimento de ML ajuda a otimizar os dados e o modelo para oferecer melhores resultados. Recomendamos que use os seguintes recursos para desenvolver
familiaridade com as técnicas e os processos de ML:
- Machine Learning Crash Course
- Introdução à aprendizagem automática
- Aprendizagem automática intermédia