Exporte metadados do Dataproc Metastore

Esta página explica como exportar metadados do Dataproc Metastore.

A funcionalidade de metadados de exportação permite-lhe guardar os metadados num formato de armazenamento portátil.

Depois de exportar os dados, pode importar os metadados para outro serviço do Dataproc Metastore ou um Hive Metastore (HMS) autogerido.

Acerca da exportação de metadados

Quando exporta metadados do Dataproc Metastore, o serviço armazena os dados num dos seguintes formatos de ficheiro:

  • Um conjunto de ficheiros Avro armazenados numa pasta.
  • Um único ficheiro de despejo do MySQL armazenado numa pasta do Cloud Storage.

Avro

As exportações baseadas em Avro só são suportadas para as versões 2.3.6 e 3.1.2 do Hive. Quando exporta ficheiros Avro, o Dataproc Metastore cria um ficheiro <table-name>.avro para cada tabela na sua base de dados.

Para exportar ficheiros Avro, o seu serviço Dataproc Metastore pode usar o tipo de base de dados MySQL ou Spanner.

MySQL

As exportações baseadas no MySQL são suportadas para todas as versões do Hive. Quando exporta ficheiros MySQL, o Dataproc Metastore cria um único ficheiro SQL que contém todas as informações das suas tabelas.

Para exportar ficheiros MySQL, o seu serviço Dataproc Metastore tem de usar o tipo de base de dados MySQL. O tipo de base de dados do Spanner não suporta importações do MySQL.

Antes de começar

Funções necessárias

Para receber as autorizações de que precisa para exportar metadados para o Dataproc Metastore, peça ao seu administrador para lhe conceder as seguintes funções do IAM:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para exportar metadados para o Dataproc Metastore. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para exportar metadados para o Dataproc Metastore:

  • Para exportar metadados: metastore.services.export no serviço de metastore
  • Para o MySQL e o Avro, para usar o objeto do Cloud Storage para exportação, conceda à sua conta de utilizador e ao agente de serviço do Dataproc Metastore: storage.objects.create no contentor do Cloud Storage

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Para mais informações sobre as funções e as autorizações específicas do Dataproc Metastore, consulte a vista geral do IAM do Dataproc Metastore.

Exporte metadados

Antes de exportar os metadados, tenha em atenção as seguintes considerações:

  • Enquanto uma exportação está em execução, não pode atualizar um serviço do Dataproc Metastore, por exemplo, alterar as definições de configuração. No entanto, ainda pode usá-lo para operações normais, como usá-lo para aceder aos respetivos metadados a partir de clusters do Dataproc anexados ou autogeridos.
  • A funcionalidade de exportação de metadados exporta apenas metadados. Os dados criados pelo Apache Hive em tabelas internas não são replicados na exportação.

Para exportar metadados de um serviço de Metastore do Dataproc, siga os passos seguintes.

Consola

  1. Na Google Cloud consola, abra a página Dataproc Metastore:

    Abra o Dataproc Metastore

  2. Na página Dataproc Metastore, clique no nome do serviço do qual quer exportar metadados.

    É apresentada a página Detalhes do serviço.

    Página de detalhes do serviço
    Página de detalhes do serviço Dataproc Metastore

  3. Na barra de navegação, clique em Exportar.

    É apresentada a página Exportar metadados.

  4. Na secção Destino, escolha MySQL ou Avro.

  5. No campo URI de destino, clique em Procurar e selecione o URI do Cloud Storage para onde quer exportar os ficheiros.

    Também pode introduzir a localização do contentor no campo de texto fornecido. Use o seguinte formato: bucket/object ou bucket/folder/object.

  6. Para iniciar a exportação, clique em Enviar.

    Quando terminar, a exportação aparece numa tabela na página Detalhes do serviço no separador Importar/Exportar.

    Quando a exportação estiver concluída, o Dataproc Metastore volta automaticamente ao estado ativo, independentemente de a exportação ter sido bem-sucedida ou não.

CLI gcloud

  1. Para exportar metadados de um serviço, execute o seguinte comando gcloud metastore services export gcs:

    gcloud metastore services export gcs SERVICE \
    --location=LOCATION \
    --destination-folder=gs://bucket-name/path/to/folder \
    --dump-type=DUMP_TYPE

    Substitua o seguinte:

    • SERVICE: o nome do seu serviço do Dataproc Metastore.
    • LOCATION: a Google Cloud região em que o seu serviço de Dataproc Metastore reside.
    • bucket-name/path/to/folder: a pasta de destino do Cloud Storage onde quer armazenar a exportação.
    • DUMP_TYPE: o tipo de descarga da base de dados a ser gerado pela exportação. Os valores aceites incluem mysql e avro. O valor predefinido é mysql.

  2. Verifique se a exportação foi bem-sucedida.

    Quando a exportação estiver concluída, o Dataproc Metastore volta automaticamente ao estado ativo, independentemente de a exportação ter sido bem-sucedida ou não.

REST

Siga as instruções da API para exportar metadados para um serviço através do APIs Explorer.

Quando a exportação estiver concluída, o serviço regressa automaticamente ao estado ativo, independentemente de ter sido bem-sucedida ou não.

Veja o histórico de exportação

Para ver o histórico de exportação de um serviço do Dataproc Metastore na Google Cloud consola, conclua os seguintes passos:

  1. Na Google Cloud consola, abra a página Dataproc Metastore.

  2. Na barra de navegação, clique em Importar/Exportar.

    O histórico de exportações é apresentado na tabela Histórico de exportações.

    O histórico apresenta até às últimas 25 exportações.

A eliminação de um serviço do Dataproc Metastore também elimina todo o histórico de exportação associado.

Resolva problemas comuns

Seguem-se alguns problemas comuns:

Para obter mais ajuda na resolução de problemas comuns, consulte Cenários de erros de importação e exportação.

O que se segue?