Exportar recomendações para o BigQuery.

Visão geral

Com a exportação do BigQuery, é possível ver snapshots diários de recomendações para sua organização. Para isso, basta usar o serviço de transferência de dados do BigQuery. É possível exportar os seguintes insights e recomendações:

Nome	ID do recomendador
Recomendador do IAM	google.iam.policy.Recommender
Recomendador do tipo de máquina de VM	google.compute.instance.MachineTypeRecommender
Recomendador do tipo de máquina do grupo gerenciado de instâncias	google.compute.instanceGroupManager.MachineTypeRecommender
Recomendador de DP inativo	google.compute.disk.IdleResourceRecommender
Recomendador de VM ociosa	google.compute.instance.IdleResourceRecommender
Recomendador de imagem inativa	google.compute.image.IdleResourceRecommender
Recomendador de endereço IP ocioso	google.compute.address.IdleResourceRecommender
Recomendador de instâncias superprovisionado do Cloud SQL	google.cloudsql.instance.OverprovisionedRecommender
Recomendador de instâncias inativas do Cloud SQL	google.cloudsql.instance.IdleRecommender
Recomendador de desempenho do Cloud SQL MySQL: gerenciar o número elevado de tabelas MySQL: aumentar o tamanho do cache de abertura da tabela PostgreSQL: evitar wrapper de ID da transação	google.cloudsql.instance.PerformanceRecommender
Recomendador subprovisionado do Cloud SQL	google.cloudsql.instance.UnderprovisionedRecommender
Recomendador de projeto autônomo	google.resourcemanager.projectUtilization.Recommender
Recomendador de limite de serviço (cota)	google.resourcemanager.serviceLimit.Recommender
Recomendador da identidade de serviço do Cloud Run	google.run.service.IdentityRecommender
Recomendador de diagnóstico do GKE	google.container.DiagnosisRecommender
Insights de custos do Cloud Billing	google.billing.CostInsight
Firewall Insights	google.compute.firewall.Insight
Insights do Network Analyzer	google.networkanalyzer.vpcnetwork.ipAddressInsight google.networkanalyzer.vpcnetwork.connectivityInsight google.networkanalyzer.networkservices.loadBalancerInsight google.networkanalyzer.container.ipAddressInsight google.networkanalyzer.container.connectivityInsight google.networkanalyzer.hybridconnectivity.dynamicRouteInsight google.networkanalyzer.managedservices.cloudSqlInsight
Insights da conta de serviço ^Visualização	google.iam.serviceAccount.Insight

Observação: o BigQuery Export é compatível com:

• Recomendações e insights no nível do projeto, da pasta, da organização e da conta de faturamento
• Exportação de preços negociados em vez de preços padrão para recomendações de economia de custos

Antes de começar

Conclua as etapas a seguir antes de criar uma transferência de dados para recomendações:

• Permita que o serviço de transferência de dados do BigQuery gerencie sua transferência de dados. Se você usar a IU da Web do BigQuery para criar a transferência, será necessário permitir que os pop-ups de console.cloud.google.com no seu navegador possam ver as permissões. Para mais detalhes, consulte ativar um serviço de transferência de dados do BigQuery.
• Crie um conjunto de dados do BigQuery para armazenar os dados.
  • A transferência de dados usa a mesma região em que o conjunto de dados é criado. O local ficará imutável depois que o conjunto de dados e a transferência forem criados.
  • O conjunto de dados conterá insights e recomendações de todas as regiões do mundo. Assim, essa operação agregaria todos esses dados em uma região global durante o processo. Consulte o Google Cloud Customer Care para preocupações sobre residência de dados.
  • Se o local do conjunto de dados tiver sido lançado recentemente, pode haver um atraso na disponibilidade inicial dos dados de exportação.

Preços

A exportação de recomendações para o BigQuery está disponível para todos os clientes Recomendadores com base no nível de preços do Recomendador.

Permissões necessárias

Ao configurar a transferência de dados, você precisa das seguintes permissões no nível do projeto em que uma transferência de dados é criada:

• bigquery.transfers.update: permite criar a transferência
• bigquery.datasets.update: permite atualizar ações no conjunto de dados de destino
• resourcemanager.projects.update: permite selecionar o projeto em que você quer que os dados de exportação sejam armazenados.
• pubsub.topics.list: permite selecionar um tópico do Pub/Sub para receber notificações sobre a exportação.

A seguinte permissão é necessária no nível da organização. Ela corresponde à organização que está sendo configurada para a exportação.

• recommender.resources.export: permite exportar recomendações para o BigQuery

As seguintes permissões são necessárias para exportar preços negociados para as recomendações de economia de custos:

• billing.resourceCosts.get at project level: permite exportar preços negociados para as recomendações no nível do projeto.
• billing.accounts.getSpendingInformation at billing account level: permite exportar preços negociados para as recomendações no nível da conta de faturamento

Sem essas permissões, as recomendações de economia serão exportadas com preços padrão em vez de preços negociados.

Observação: as permissões mais recentes disponíveis são usadas para determinar se os preços negociados são exportados. Se você tiver adicionado ou removido permissões recentemente, poderá levar alguns dias para que os preços sejam atualizados na exportação.

Observação: No momento, as contas de serviço não são compatíveis com a IU. Consulte instruções abaixo sobre como usar a API/CLI se quiser configurar uma exportação usando uma conta de serviço.

Conceder permissões

Os papéis a seguir precisam ser concedidos no projeto em que você cria a transferência de dados:

Para criar ações de transferência e atualização no conjunto de dados de destino, você precisa conceder o seguinte papel:

• Papel de administrador do BigQuery: roles/bigquery.admin

Há vários papéis que contêm permissões para selecionar um projeto para armazenar os dados de exportação e selecionar um tópico do Pub/Sub para receber notificações. Para ter essas duas permissões disponíveis, conceda o seguinte papel:

• Papel Proprietário do projeto roles/owner

Há vários papéis que contêm a permissão billing.resourceCosts.get para exportar preços negociados para recomendações de economia no custo no nível do projeto. É possível conceder qualquer um deles:

• Papel Proprietário do projeto - roles/owner
• Papel Leitor do projeto - roles/viewer
• Papel Editor do projeto - roles/editor

Há vários papéis que contêm a permissão billing.accounts.getSpendingInformation para exportar preços negociados para recomendações de economia de custos no nível da conta de faturamento. É possível conceder qualquer um deles:

• Papel Administrador da conta de faturamento - roles/billing.admin
• Papel Gerente de custos da conta de faturamento - roles/billing.costsManager
• Papel Leitor da conta de faturamento - roles/billing.viewer

Você precisa conceder o seguinte papel no nível da organização:

• Papel de Exportador de recomendações (roles/recommender.exporter) no Console do Google Cloud.

Observação: se você não tiver essa permissão concedida, o status histórico de execução mostra que a permissão não foi concedida. Ao conceder essa permissão, as exportações futuras serão executadas com êxito. Você também tem a opção de tentar novamente a exportação das execuções que não têm a permissão concedida.

Também é possível criar papéis personalizados que contenham as permissões necessárias.

Criar uma transferência de dados para recomendações

1. Fazer login no Console do Google Cloud.

   Fazer login no console do Google Cloud

2. Na Página inicial, clique na guia Recomendações.

3. Clique em Exportar para visualizar o formulário de exportação do BigQuery.

4. Selecione um Projeto de destino para armazenar os dados de recomendação e clique em Próximo.

   

   Observação: se não encontrar o projeto, significa que você não tem as permissões necessárias ou não há projetos disponíveis.

5. Clique em Ativar APIs para ativar as APIs do BigQuery para exportação. Esse processo pode levar alguns segundos para ser concluído. Quando terminar, clique em Continuar.

   Observação: esta etapa será ignorada se as APIs já estiverem ativadas para o projeto.

6. No formulário Configurar transferência, forneça os seguintes detalhes:

   • No campo Nome de exibição, na seção Transferir nome da configuração, insira um nome para a transferência. Ele pode ter qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la no futuro.

   • Na seção Opções de programação, em Programação, deixe o valor padrão (Começar agora) ou clique em Começar no horário definido.

     • Em Repetições, escolha uma opção para a frequência de execução da transferência.

       • Diário (padrão)
       • Semanais
       • Mensais
       • Personalizadas
       • Sob demanda

     • Em Data e hora de início, insira a data e a hora para iniciar a transferência. Se você escolher Iniciar agora, essa opção ficará desativada.

     

   • Na seção Configurações de destino, em Conjunto de dados de destino, escolha o ID do conjunto de dados criado para armazenar seus dados.

     

   • Na seção Detalhes da fonte de dados:

     • O valor padrão de organization_id é a organização para a qual você está visualizando as recomendações. Se você quiser exportar recomendações para outra organização, isso pode ser alterado na parte superior do console no visualizador da organização.

       Observação: recomendações para projetos sem organizações não são exportadas.

       

   • Opcional: na seção Opções de notificação:

     • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falhar.

     • Em Selecionar um tópico do Pub/Sub, escolha o nome do tópico ou clique em Criar um tópico. Essa opção configura notificações de execução do Pub/Sub da sua transferência.

       

7. Clique em Criar para criar a transferência.

8. Clique em Permitir no pop-up de consentimento.

   

   Observação: ao permitir o consentimento, é possível usar os escopos do BigQuery e das APIs do Google Cloud Platform na sua transferência de dados. Essas APIs são usadas para ver e gerenciar seus dados no https://www.googleapis.com/auth/bigquery e no https://www.googleapis.com/auth/cloud-platform. Essas APIs são usadas apenas para projetos e organizações a que você tem acesso com base nas permissões definidas.

9. Quando a transferência for criada, você será redirecionado de volta para o Hub de recomendações. Você pode clicar no link para acessar os detalhes da configuração de transferência. Também é possível acessar as transferências fazendo o seguinte:

   • Acesse a página do BigQuery no console do Google Cloud.

     Acesse a página do BigQuery

   • Clique em Transferências de dados. Você poderá ver todas as transferências de dados disponíveis.

Visualizar o histórico de execução de uma transferência

Para visualizar o histórico de execução de uma transferência, faça o seguinte:

1. Acesse a página do BigQuery no console do Google Cloud.

   Acesse a página do BigQuery

2. Clique em Transferências de dados. Você poderá ver todas as transferências de dados disponíveis.

   Observação: uma transferência é concluída quando o status fica verde.

3. Clique na transferência apropriada na lista.

4. Na lista de transferências de execução exibida na guia HISTÓRICO DE EXECUÇÃO, selecione a transferência cujos detalhes você quer visualizar.

5. O painel Detalhes da execução é exibido para a transferência de execução individual que você selecionou. Alguns dos possíveis detalhes de execução exibidos são:

   • Transferência adiada devido a dados de origem indisponíveis.
   • Job que indica o número de linhas exportadas para uma tabela
   • Permissões ausentes para uma origem de dados que você precisa conceder e posteriormente programar um preenchimento.

Quando seus dados são exportados?

Quando você cria uma transferência de dados, a primeira exportação ocorre em dois dias. Após a primeira exportação, os jobs de exportação são executados na cadência que você solicitou no momento da configuração. Aplicam-se as seguintes condições:

• O job de exportação de um dia específico (D) exporta os dados do dia anterior (D-1) ao conjunto de dados do BigQuery. Isso se refere ao fuso horário PST e pode ser mais longo para outros fusos horários.

• O job de exportação diário não será executado até que todos os dados para exportação estejam disponíveis. Isso pode resultar em variações e, às vezes, atrasos no dia e horário em que o conjunto de dados é atualizado. Portanto, é melhor usar o snapshot de dados mais recente disponível em vez de ter uma dependência confidencial forte/de tempo em tabelas datadas específicas.

• Também é possível que você veja a seguinte mensagem de status indicando que a transferência está pendente porque os dados ainda não estão disponíveis para exportação. O job de exportação é executado depois que os dados de origem estão disponíveis:

  Transfer deferred due to source data not being available

Ver tabelas de uma transferência

Quando você exporta recomendações para o BigQuery, o conjunto de dados contém duas tabelas particionadas por data:

• recommendations_export
• insight_export

Para mais detalhes sobre tabelas e esquema, consulte Como criar e usar tabelas e Como especificar um esquema.

Para visualizar as tabelas de uma transferência de dados, faça o seguinte:

1. Acesse a página do BigQuery no console do Google Cloud. Acessar a página do BigQuery

2. Clique em Transferências de dados. Você poderá ver todas as transferências de dados disponíveis.

3. Clique na transferência apropriada na lista.

4. Clique em CONFIGURAÇÃO e depois no conjunto de dados.

5. No painel Explorer, expanda o projeto e selecione um conjunto de dados. A descrição e os detalhes são exibidos no painel de detalhes. As tabelas de um conjunto de dados são listadas com o nome do conjunto de dados no painel Explorador.

Programe um preenchimento

As recomendações de uma data no passado (posterior à data em que a organização foi ativada para a exportação) podem ser exportadas programando um preenchimento. Para programar um preenchimento, faça o seguinte:

1. Acesse a página do BigQuery no console do Google Cloud.

   Acesse a página do BigQuery

2. Clique em Transferências de dados.

3. Na página Transferências, clique em uma transferência apropriada na lista.

   1. Clique em Programar preenchimento.

   2. Na caixa de diálogo Programar preenchimento, escolha a Data de início e a Data de término.

      

Para mais informações sobre como trabalhar com transferências, consulte Como trabalhar com transferências.

Exemplo de consultas

Use as consultas de amostra a seguir para analisar os dados exportados.

Visualização da economia de custos para recomendações em que a duração da recomendação é exibida em dias

SELECT name, recommender, target_resources,
  case primary_impact.cost_projection.cost.units is null
       when true then round(primary_impact.cost_projection.cost.nanos * power(10,-9),2)
       else
       round( primary_impact.cost_projection.cost.units +
       (primary_impact.cost_projection.cost.nanos * power(10,-9)), 2)
   end
   as dollar_amt,
   primary_impact.cost_projection.duration.seconds/(60*60*24) as duration_in_days
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and primary_impact.category = "COST"

Como visualizar a lista de papéis do IAM não utilizados

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and recommender = "google.iam.policy.Recommender"
and recommender_subtype = "REMOVE_ROLE"

Como visualizar uma lista de papéis concedidos que precisam ser substituídos por papéis menores

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and recommender = "google.iam.policy.Recommender"
and recommender_subtype = "REPLACE_ROLE"

Como visualizar insights de uma recomendação

SELECT recommendations.name as recommendation_name,
insights.name as insight_name,
recommendations.cloud_entity_id,
recommendations.cloud_entity_type,
recommendations.recommender,
recommendations.recommender_subtype,
recommendations.description,
recommendations.target_resources,
recommendations.recommendation_details,
recommendations.state,
recommendations.last_refresh_time as recommendation_last_refresh_time,
insights.insight_type,
insights.insight_subtype,
insights.category,
insights.description,
insights.insight_details,
insights.state,
insights.last_refresh_time as insight_last_refresh_time
FROM `<project>.<dataset>.recommendations_export` as recommendations,
   `<project>.<dataset>.insights_export` as insights
WHERE DATE(recommendations._PARTITIONTIME) = "<date>"
and DATE(insights._PARTITIONTIME) = "<date>"
and insights.name in unnest(recommendations.associated_insights)

Como visualizar recomendações de projetos pertencentes a uma pasta específica

Essa consulta retorna pastas pai com até cinco níveis do projeto.

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE DATE(_PARTITIONTIME) = "<date>"
and "<folder_id>" in unnest(ancestors.folder_ids)

Como visualizar recomendações para a data mais recente disponível até o momento

DECLARE max_date TIMESTAMP;

SET max_date = (
  SELECT MAX(_PARTITIONTIME) FROM
  `<project>.<dataset>.recommendations_export`
  );

SELECT *
FROM `<project>.<dataset>.recommendations_export`
WHERE _PARTITIONTIME = max_date

Usar o Planilhas para explorar dados do BigQuery

Como alternativa à execução de consultas no BigQuery, é possível acessar, analisar, visualizar e compartilhar bilhões de linhas de dados do BigQuery da sua planilha com o Páginas conectadas, o novo conector de dados do BigQuery. Veja mais informações em Primeiros passos com os dados do BigQuery no Planilhas Google.

Configurar a exportação usando a linha de comando do BigQuery e a API REST

• Conseguir as permissões necessárias:

  Consiga as permissões de gerenciamento de identidade e acesso necessárias no Console do Google Cloud ou na linha de comando.

  • Linha de comando para contas de serviço
  • Linha de comando para usuários:
    • Permissões no nível de projeto
    • Permissões no nível da organização

  Por exemplo, para usar a linha de comando e receber a permissão recommender.resources.export no nível da organização para a conta de serviço:

  gcloud organizations add-iam-policy-binding *<organization_id>* --member=serviceAccount:*<service_acct_name>*' --role='roles/recommender.exporter'

• Criar conjunto de dados e ativar a API BigQuery

• Inscrever o projeto na fonte de dados do BigQuery

  Datasource to use: 6063d10f-0000-2c12-a706-f403045e6250

• Crie a exportação:

  • Como usar API Rest

  • Como usar a linha de comando do BigQuery:

  bq mk \
  --transfer_config \
  --project_id=project_id \
  --target_dataset=dataset_id \
  --display_name=name \
  --params='parameters' \
  --data_source=data_source \
  --service_account_name=service_account_name
  

  Em que:

  • project_id é o ID do projeto.
  • dataset é o código do conjunto de dados de destino para a configuração de transferência.
  • name é o nome de exibição da configuração de transferência. Esse nome pode ser qualquer valor que identifique facilmente a transferência, caso seja necessário modificá-la futuramente.
  • parameters contém os parâmetros da configuração da transferência criada no formato JSON. Para recomendações e insights no BigQuery Export, é necessário fornecer o "organization_id" para que recomendações e insights sejam exportados. Formato dos parâmetros: '{"organization_id":"<org id>"}'
  • data_source Fonte de dados a ser usada: "6063d10f-0000-2c12-a706-f403045e6250"
  • service_account_name é o nome da conta de serviço usada para autenticar sua exportação. A conta de serviço precisa ser da propriedade da mesma project_id usada para criar a transferência e ter todas as permissões necessárias listadas acima.

• Gerencie uma exportação atual por meio da IU ou da linha de comando do BigQuery:

  • Ver a exportação
  • Como trabalhar com transferências

• Observação: a exportação é executada como o usuário que configurou a conta, independentemente de quem atualiza a configuração de exportação no futuro. Por exemplo, se a exportação for feita usando uma conta de serviço e, posteriormente, um usuário humano atualizar a configuração de exportação usando a IU do serviço de transferência de dados do BigQuery, a exportação continuará sendo executada como a conta de serviço. A verificação de permissão de "recommender.resources.export" nesse caso é feita para a conta de serviço sempre que a exportação é executada.