Treinamento usando o algoritmo XGBoost integrado

O treinamento com algoritmos integrados no AI Platform Training permite enviar o conjunto de dados e treinar um modelo, sem a necessidade de escrever qualquer código de treinamento. Nesta página, você verá como funciona o algoritmo XGBoost integrado e como usá-lo.

Visão geral

O algoritmo XGBoost integrado é um wrapper do algoritmo XGBoost (em inglês) que é compatível com a execução no AI Platform Training.

Neste documento, você verá a descrição de uma versão do algoritmo que é executada em uma réplica de máquina virtual. Há também uma versão distribuída desse algoritmo que utiliza várias máquinas virtuais no treinamento e requer um uso um pouco diferente. Esse algoritmo tem duas fases:

  1. Pré-processamento: o AI Platform Training processa a combinação de dados categóricos e numéricos em um conjunto de dados exclusivamente numéricos para prepará-lo para o treinamento com o XGBoost.
  2. Treinamento: o AI Platform Training executa o treinamento usando o algoritmo XGBoost com base no conjunto de dados e nos parâmetros de modelo fornecidos. A implementação atual é baseada na versão 0.81 do XGBoost.

Limitações

Os atributos a seguir não são compatíveis com o treinamento que utiliza a versão de réplica única do algoritmo XGBoost integrado:

Tipos de máquina compatíveis

Os níveis de escalonamento e tipos de máquina do AI Platform Training a seguir são compatíveis:

Formatar dados de entrada

O XGBoost funciona em dados tabulares numéricos. Cada linha de um conjunto de dados representa uma instância, e cada coluna de um conjunto de dados representa um valor de atributo. A coluna de destino representa o valor que você quer prever.

Preparar arquivo CSV

Os dados de entrada precisam estar em um arquivo CSV com codificação UTF-8. Se os dados de treinamento consistirem apenas em valores categóricos e numéricos, será possível usar o módulo de pré-processamento para converter dados categóricos em dados numéricos. Do contrário, será possível gerar o treinamento sem pré-processamento automático ativado.

Prepare o arquivo CSV de entrada para atender aos seguintes requisitos:

  • Remova a linha do cabeçalho. A linha do cabeçalho contém os rótulos de cada coluna. Remova a linha do cabeçalho para evitar enviá-la com o restante das instâncias de dados como parte dos dados de treinamento.
  • Verifique se a coluna de destino é a primeira. A coluna de destino contém o valor que você está tentando prever. Para um algoritmo de classificação, todos os valores na coluna de destino são uma classe ou uma categoria. Para um algoritmo de regressão, todos os valores na coluna de destino são um valor numérico.

Processar valores inteiros

O significado de valores inteiros pode ser ambíguo, o que torna as colunas de valores inteiros problemáticas no pré-processamento automático. O AI Platform Training determina automaticamente como lidar com valores inteiros. Por padrão:

  • Se cada valor inteiro for único, a coluna será tratada como chaves de instância.
  • Se houver apenas alguns valores inteiros únicos, a coluna será tratada como categórica.
  • Caso contrário, os valores na coluna serão convertidos em flutuantes e tratados como numéricos.

Para substituir essas determinações padrão:

  • Se os dados precisarem ser tratados como numéricos, converta todos os valores inteiros na coluna para ponto flutuante. Por exemplo, {101.0, 102.0, 103.0}
  • Se os dados precisarem ser tratados como categóricos, adicione um prefixo não numérico a todos os valores inteiros na coluna. Por exemplo, {code_101, code_102, code_103}

Normalizar valores de destino para regressão

Para jobs de treinamento de regressão, não se esqueça de normalizar os valores de destino. Dessa maneira, cada valor permanece entre 0 e 1.

Verificar as permissões do bucket do Cloud Storage

Para armazenar seus dados, use um bucket do Cloud Storage no mesmo projeto do Google Cloud usado para executar jobs do AI Platform Training. Caso contrário, conceda acesso do AI Platform Training ao bucket do Cloud Storage em que os dados estão armazenados.

Enviar um job de treinamento XGBoost

Nesta seção, você verá como enviar um job de treinamento XGBoost integrado.

Você encontra explicações breves de cada hiperparâmetro no console do Google Cloud e uma explicação mais abrangente na referência do algoritmo XGBoost integrado.

Console

  1. Acesse a página "Jobs" do AI Platform Training no console do Google Cloud:

    Página "Jobs" do AI Platform Training

  2. Clique no botão Novo job de treinamento. Nas opções exibidas abaixo, clique em Treinamento de algoritmo integrado.

  3. Na página Criar um novo job de treinamento, selecione XGBoost integrado e clique em Avançar.

  4. Para saber mais sobre todos os parâmetros disponíveis, siga os links no console do Google Cloud e consulte a referência do XGBoost integrado para mais detalhes.

gcloud

  1. Defina variáveis de ambiente para o job, preenchendo o [VALUES-IN-BRACKETS] com seus próprios valores:

    # Specify the name of the Cloud Storage bucket where you want your
# training outputs to be stored, and the Docker container for
# your built-in algorithm selection.
BUCKET_NAME='[YOUR-BUCKET-NAME]'
IMAGE_URI='gcr.io/cloud-ml-algos/boosted_trees:latest'

# Specify the Cloud Storage path to your training input data.
TRAINING_DATA='gs://[YOUR_BUCKET_NAME]/[YOUR_FILE_NAME].csv'

DATASET_NAME='census'
ALGORITHM='xgboost'
MODEL_TYPE='classification'

DATE='date '+%Y%m%d_%H%M%S''
MODEL_NAME="${DATASET_NAME}_${ALGORITHM}_${MODEL_TYPE}"
JOB_ID="${MODEL_NAME}_${DATE}"

JOB_DIR="gs://${BUCKET_NAME}/algorithm_training/${MODEL_NAME}/${DATE}"

  2. Envie o job de treinamento usando gcloud ai-platform jobs training submit:

    gcloud ai-platform jobs submit training $JOB_ID \
   --master-image-uri=$IMAGE_URI --scale-tier=BASIC --job-dir=$JOB_DIR \
   -- \
   --preprocess --objective=binary:logistic \
   --training_data_path=$TRAINING_DATA

  3. Monitore o status do job de treinamento exibindo os registros com gcloud. Consulte gcloud ai-platform jobs describe e gcloud ai-platform jobs stream-logs.

    gcloud ai-platform jobs describe ${JOB_ID}
gcloud ai-platform jobs stream-logs ${JOB_ID}

Como funciona o pré-processamento

O pré-processamento automático funciona para dados categóricos e numéricos. A rotina de pré-processamento primeiro analisa e, depois, transforma os dados.

Análise

Primeiro, o AI Platform Training detecta automaticamente o tipo de dados de cada coluna, identifica como tratar cada uma delas e calcula algumas estatísticas dos dados nelas. Essas informações são capturadas no arquivo metadata.json.

O AI Platform Training analisa o tipo da coluna de destino para identificar se o conjunto de dados fornecido é de regressão ou classificação. Se essa análise entrar em conflito com a seleção do objective, resultará em erro. Formate os dados com clareza em casos ambíguos para deixar explícito como a coluna de destino precisará ser tratada.

  • Tipo: a coluna pode ser numérica ou categórica.

  • Tratamento: o AI Platform Training identifica como tratar cada coluna da seguinte maneira:

    • Se a coluna incluir um único valor em todas as linhas, ela será tratada como uma constante.
    • Se for categórica e incluir valores exclusivos em todas as linhas, a coluna será tratada como um row_identifier.
    • Se for numérica com valores flutuantes ou se for numérica com valores inteiros e contiver muitos valores exclusivos, a coluna será tratada como numérica.
    • Se for numérica com valores inteiros e contiver alguns valores exclusivos suficientes, a coluna será tratada como uma coluna categórica em que os valores inteiros serão a identidade ou o vocabulário.
      • Uma coluna terá poucos valores exclusivos se o número de valores exclusivos na coluna for menor que 20% do número de linhas no conjunto de dados de entrada.
    • Se for categórica com cardinalidade alta, a coluna será tratada com hash, em que o número de buckets de hash será igual à raiz quadrada do número de valores exclusivos na coluna.
      • Uma coluna categórica terá cardinalidade alta se o número de valores exclusivos for maior que a raiz quadrada do número de linhas no conjunto de dados.
    • Se for categórica e o número de valores exclusivos for menor que ou igual à raiz quadrada do número de linhas no conjunto de dados, a coluna será tratada como categórica normal com vocabulário.

  • Estatísticas: com base no tipo de coluna e tratamento identificados, o AI Platform Training calcula as seguintes estatísticas, que serão usadas para transformar a coluna em um estágio posterior.

    • Se a coluna for numérica, os valores médios e de variância serão calculados.
    • Se a coluna for categórica e o tratamento for de identidade ou vocabulário, os valores distintos serão extraídos da coluna.
    • Se a coluna for categórica e o tratamento for hash, o número de buckets de hash será computado em relação à cardinalidade da coluna.

Transformação

Após a conclusão da análise inicial do conjunto de dados, o AI Platform Training transforma os dados com base nos tipos, tratamentos e estatísticas aplicados ao conjunto de dados. O AI Platform Training faz transformações na seguinte ordem:

  1. Divide o conjunto de dados de treinamento em conjuntos de dados de validação e de teste se você especificar a quantidade dos dados de treinamento a ser usada em cada um (como uma porcentagem).
  2. Remove todas as linhas que não tenham mais de 10% dos atributos.

  3. Preenche valores não encontrados. A média é usada em colunas numéricas, e os zeros são usados em colunas categóricas. Veja um exemplo abaixo.

  4. Para cada coluna categórica com tratamento de vocabulário e de identidade, o AI Platform Training faz uma codificação one-hot nos valores de coluna. Veja um exemplo abaixo.

  5. Para cada coluna categórica com tratamento de hash, o AI Platform Training usa o FeatureHasher do scikit-learn para fazer o hash de atributo. O número de atributos contados anteriormente determina o número de buckets de hash.

  6. Todas as colunas designadas com um tratamento row_key ou constante são removidas.

Transformações de exemplo

As linhas sem 10% dos valores são removidas. Nos exemplos a seguir, suponhamos que a linha tenha 10 valores. Para simplificar, as linhas de exemplo estão truncadas.

Problema da linha Valores originais Valores transformados Explicação
Linha de exemplo com todos os valores [3, 0.45, ...,
'fruits', 0, 1]		 [3, 0.45, ...,
1, 0, 0, 0, 1]		 A string "fruits" é transformada nos valores "1, 0, 0" em codificação one-hot.
Muitos valores não encontrados [3, 0.45, ...,
'fruits', __, __]		 A linha é removida Mais de 10% dos valores na linha não foram encontrados.
Valor numérico não encontrado [3, 0.45, ...,
'fruits', 0, __]		 [3, 0.45, ...,
1, 0, 0, 0, 0.54]
  • O valor médio da coluna substitui o valor numérico não encontrado. Neste exemplo, a média é 0,54.
  • A string "fruits" é transformada nos valores "1, 0, 0" em codificação one-hot.
Valor categórico não encontrado [3, 0.45, ...,
__, 0, 1]		 [3, 0.45, ...,
0, 0, 0, 0, 1]
  • O valor categórico não encontrado será transformado nos valores "0, 0, 0" em codificação one-hot.

Após a conclusão do pré-processamento automático, o AI Platform Training faz o upload do conjunto de dados processado para o bucket do Cloud Storage no diretório especificado na solicitação do job.

A seguir

Anterior
Primeiros passos com o algoritmo XGBoost
Próxima
Treinamento usando o algoritmo XGBoost distribuído integrado