O Serviço de transferência do Cloud Storage é compatível com transferências de fontes do Sistema de arquivos distribuídos do Hadoop (HDFS, na sigla em inglês) e na nuvem.
As transferências do HDFS precisam usar o Cloud Storage como destino.
Os casos de uso incluem migração do armazenamento local para o Cloud Storage, arquivamento de dados para liberar espaço de armazenamento no local, replicação de dados no Google Cloud para a continuidade dos negócios ou transferência de dados ao Google Cloud para análise e processamento.
Configurar permissões
Antes de criar uma transferência, você precisa configurar permissões para o seguinte entidades:
A conta de usuário usada para criar a transferência Esta é a conectada ao console do Google Cloud ou a conta conectada especificados na autenticação para a CLI "gcloud". A conta de usuário pode pode ser uma conta de usuário comum ou uma conta de serviço gerenciado pelo usuário. | |
A conta de serviço gerenciado pelo Google, também conhecida como
de teste, usado pelo Serviço de transferência do Cloud Storage. Essa conta é geralmente identificada por
o endereço de e-mail, que usa o formato
project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com :
|
|
![]() |
a conta do agente de transferência que fornece o Google Cloud para agentes de transferência. As contas do agente de transferência usam o as credenciais do usuário que os instala ou as credenciais de um conta de serviço gerenciado pelo usuário para fazer a autenticação. |
Consulte Permissões de transferência baseadas em agente para obter instruções.
Instalar agentes em um pool de agentes
As transferências baseadas em agente usam agentes de software para orquestrar transferências. Esses agentes precisam ser instalados em uma ou mais máquinas com acesso a seu sistema de arquivos. Os agentes precisam ter acesso ao namenode, a todos os datanodes, o servidor de gerenciamento de chaves (KMS) Hadoop e o centro de distribuição de chaves Kerberos (KDC).
Os agentes de transferência trabalham juntos em um pool de agentes. O aumento do número de agentes pode melhorar o desempenho geral do job, mas isso depende de vários fatores.
Adicionar mais agentes pode ajudar, até cerca de metade do número de nós no seu HDFS cluster. Por exemplo, com um cluster de 30 nós, aumentar de 5 para 15 agentes deve melhorar o desempenho, mas mais de 15 é improvável que faça muita diferença.
Para um cluster do HDFS pequeno, um agente pode ser suficiente.
Agentes adicionais tendem a ter um impacto maior no desempenho quando uma transferência inclui um grande número de arquivos pequenos. O Serviço de transferência do Cloud Storage atinge alta capacidade ao carregar tarefas de transferência em paralelo entre vários agentes. Quanto mais arquivos na carga de trabalho, maior será a vantagem de adicionar mais agentes.
Criar um pool de agentes
Crie um pool de agentes. Use seu
conta de usuário
para esta ação.
Instalar agentes
Instalar agentes no pool de agentes. Use sua conta do agente de transferência
para esta ação.
Console do Google Cloud
No Console do Google Cloud, acesse a página Pools de agentes.
Selecione o pool de agentes a que o novo agente será adicionado.
Clique em Instalar agente.
Siga as instruções exibidas para instalar e executar o agente.
Para mais informações sobre as opções de linha de comando do agente, consulte Opções de linha de comando do agente.
CLI gcloud
Para instalar um ou mais agentes usando a CLI gcloud, execute
gcloud transfer agents install
:
gcloud transfer agents install --pool=POOL_NAME \
--count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--hdfs-namenode-uri=HDFS_NAMENODE_URI \
--hdfs-username=HDFS_USERNAME \
--hdfs-data-transfer-protection=HDFS_DATA_TRANSFER_PROTECTION \
--kerberos-config-file=KERBEROS_CONFIG_FILE \
--kerberos-keytab-file=KERBEROS_KEYTAB_FILE \
--kerberos-user-principal=KERBEROS_USER_PRINCIPAL \
--kerberos-service-principal=KERBEROS_SERVICE_PRINCIPAL \
Em que:
--hdfs-namenode-uri
especifica um cluster HDFS, incluindo um esquema; namenode e port, no formato URI. Exemplo:rpc://my-namenode:8020
http://my-namenode:9870
Use HTTP ou HTTPS para o WebHDFS. Se nenhum esquema é fornecido, consideramos a RPC. Se nenhuma porta é fornecida, o padrão é
8020
para RPC,9870
para HTTP e9871
para HTTPS. Por exemplo, a entradamy-namenode
se tornarpc://my-namenode:8020
.Se o cluster estiver configurado com vários namenodes, especifique o nó principal atual. Consulte Clusters com vários namenodes para mais informações imprecisas ou inadequadas.
--hdfs-username
é o nome de usuário para se conectar a um cluster HDFS com autenticação simples. Omita essa sinalização se estiver autenticando com Kerberos ou se está se conectando sem qualquer autenticação.--hdfs-data-transfer-protection
(opcional) é a qualidade do lado do cliente do configuração de proteção de dados (QOP, na sigla em inglês) para clusters do Kerberos. O valor não pode ser maior restritivo que o valor QOP do servidor. Os valores válidos são:authentication
,integrity
eprivacy
.
Se você estiver autenticando com Kerberos, inclua também as seguintes sinalizações:
--kerberos-config-file
é o caminho para um arquivo de configuração do Kerberos. Por exemplo,--kerberos-config-file=/etc/krb5.conf
.--kerberos-user-principal
é o principal do usuário do Kerberos a ser usado. Por exemplo,--kerberos-user-principal=user1
.--kerberos-keytab-file
é o caminho para um arquivo Keytab que contém o usuário; principal especificado com a sinalização--kerberos-user-principal
. Por exemplo,--kerberos-keytab-file=/home/me/kerberos/user1.keytab
.--kerberos-service-principal
é o principal de serviço do Kerberos a ser usado; na forma<primary>/<instance>
. O realm é mapeado do seu Kerberos arquivo de configuração. qualquer realm fornecido será ignorado. Se esta sinalização não for especificado, o padrão éhdfs/<namenode_fqdn>
, em que<namenode_fqdn>
é o nome de domínio totalmente qualificado especificado no arquivo de configuração.Por exemplo,
--kerberos-service-principal=hdfs/my-namenode.a.example.com
.
A ferramenta mostrará as etapas necessárias para instalar os agentes. Esse comando instala o(s) agente(s) NUM_AGENTS na sua máquina, mapeado para o nome do pool especificado como POOL_NAME e autentica o agente usando as credenciais do gcloud
. O nome do pool precisa existir ou um
erro é retornado.
A sinalização --mount-directories
é opcional, mas altamente recomendada. O valor dela é uma lista de diretórios separados por vírgulas no sistema de arquivos aos quais o agente concede acesso.
A omissão dessa sinalização monta todo o sistema de arquivos no contêiner do agente. Consulte
a
referência gcloud
para mais detalhes.
docker run
Antes de usar o docker run
para instalar agentes, siga as instruções para
instalar o Docker.
O comando docker run
instala um agente. Para aumentar o número de agentes
no pool, execute o comando quantas vezes forem necessárias.
As sinalizações de comando necessárias dependem do tipo de autenticação que você está usando.
Kerberos
Para autenticar no seu sistema de arquivos usando o Kerberos, use o seguinte comando:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="service_account.json" \
--agent-pool=${AGENT_POOL_NAME} \
--hdfs-namenode-uri=cluster-namenode \
--kerberos-config-file=/etc/krb5.conf \
--kerberos-user-principal=user \
--kerberos-keytab-file=/path/to/folder.keytab
Em que:
--network=host
precisa ser omitido se você estiver executando mais de um agente nesta máquina.--hdfs-namenode-uri
: um esquema, um namenode e uma porta, no formato de URI, que representam um cluster do HDFS. Exemplo:rpc://my-namenode:8020
http://my-namenode:9870
Use HTTP ou HTTPS para o WebHDFS. Se nenhum esquema é fornecido, consideramos a RPC. Se
nenhuma porta é fornecida, o padrão é 8020
para RPC, 9870
para HTTP e
9871
para HTTPS. Por exemplo, a entrada my-namenode
se torna
rpc://my-namenode:8020
.
Se o cluster estiver configurado com vários namenodes, especifique o nó principal atual. Consulte Clusters com vários namenodes para mais informações imprecisas ou inadequadas.
--kerberos-config-file
: caminho para um arquivo de configuração do Kerberos. Padrão é/etc/krb5.conf
.--kerberos-user-principal
: o principal do usuário do Kerberos.--kerberos-keytab-file
: caminho para um arquivo do Keytab que contém o usuário. principal especificado com--kerberos-user-principal
.--kerberos-service-principal
: principal de serviço do Kerberos a ser usado, no formato "serviço/instância". O realm é mapeado com base na sua configuração do Kerberos file; qualquer realm fornecido será ignorado. Se esta sinalização não for especificada, o o padrão éhdfs/<namenode_fqdn>
, em quefqdn
é o objeto totalmente qualificado nome de domínio.
Autenticação simples
Para autenticar no seu sistema de arquivos usando uma autenticação simples:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="${CREDS_FILE}" \
--agent-pool="${AGENT_POOL_NAME}" \
--hdfs-namenode-uri=cluster-namenode \
--hdfs-username="${USERNAME}"
Em que:
--hdfs-username
: nome de usuário a ser usado ao se conectar a um cluster HDFS usando autenticação simples.--hdfs-namenode-uri
: um esquema, um namenode e uma porta, no formato de URI, que representam um cluster do HDFS. Por exemplo:rpc://my-namenode:8020
http://my-namenode:9870
Use HTTP ou HTTPS para o WebHDFS. Se nenhum esquema é fornecido, consideramos a RPC.
Se nenhuma porta for fornecida, o padrão será 8020
para RPC, 9870
para HTTP.
e 9871
para HTTPS. Por exemplo, a entrada my-namenode
se torna
rpc://my-namenode:8020
.
Se o cluster estiver configurado com vários namenodes, especifique o nó principal atual. Consulte Clusters com vários namenodes para mais informações imprecisas ou inadequadas.
Sem autenticação
Para se conectar ao sistema de arquivos sem qualquer autenticação:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="${CREDS_FILE}" \
--agent-pool="${AGENT_POOL_NAME}" \
--hdfs-namenode-uri=cluster-namenode \
Em que:
--hdfs-namenode-uri
: um esquema, um namenode e uma porta, no formato de URI, que representam um cluster do HDFS. Por exemplo:rpc://my-namenode:8020
http://my-namenode:9870
Use HTTP ou HTTPS para o WebHDFS. Se nenhum esquema é fornecido, consideramos a RPC.
Se nenhuma porta for fornecida, o padrão será 8020
para RPC, 9870
para HTTP.
e 9871
para HTTPS. Por exemplo, a entrada my-namenode
se torna
rpc://my-namenode:8020
.
Se o cluster estiver configurado com vários namenodes, especifique o nó principal atual. Consulte Clusters com vários namenodes para mais informações imprecisas ou inadequadas.
Opções de transferência
Os seguintes recursos do Serviço de transferência do Cloud Storage estão disponíveis para transferências de HDFS para Cloud Storage.
Os arquivos transferidos do HDFS não mantêm os metadados.
Criar uma transferência
Não inclua informações sensíveis, como informações de identificação pessoal (PII, na sigla em inglês) ou dados de segurança no nome do job de transferência. Os nomes dos recursos podem ser propagados para os nomes de outros recursos do Google Cloud e podem ser expostos aos sistemas internos do Google fora do seu projeto.
O Serviço de transferência do Cloud Storage fornece várias interfaces para criar uma transferência.
Console do Google Cloud
Acesse a página Serviço de transferência do Cloud Storage no Console do Google Cloud.
Clique em Criar job de transferência. Será exibida a página Criar um job de transferência.
Selecione Hadoop Distributed File System como o Source type. O destino precisa ser o Google Cloud Storage.
Clique em Próxima etapa.
Configurar sua fonte
Especifique as informações necessárias para esta transferência:
Selecione o pool de agentes configurado para esta transferência.
Insira o Caminho de origem da transferência, em relação ao diretório raiz.
Opcionalmente, especifique filtros a serem aplicados aos dados de origem.
Clique em Próxima etapa.
Configurar o coletor
No campo Bucket ou pasta, insira o bucket de destino e, opcionalmente, o nome da pasta ou clique em Procurar para selecionar um bucket de uma lista de buckets no seu projeto atual. Para criar um novo bucket, clique em
Crie um novo bucket.
Clique em Próxima etapa.
Programar a transferência
É possível programar a execução da transferência apenas uma vez ou configurar uma transferência recorrente.
Clique em Próxima etapa.
Escolher configurações de transferência
No campo Descrição, insira uma descrição da transferência. Como prática recomendada, insira uma descrição significativa e exclusiva para que você possa distinguir os jobs.
Em Opções de metadados, selecione a classe de armazenamento do Cloud Storage e se quer salvar a hora de criação de cada objeto. Consulte Preservação de metadados para mais detalhes.
Em Quando substituir, selecione uma destas opções:
Nunca: não substitua os arquivos de destino. Se um arquivo existir com o mesmo nome, ele não será transferido.
Se diferente: substitui os arquivos de destino se o arquivo de origem com o mesmo nome tiver valores de ETags ou de soma de verificação diferentes.
Sempre: sempre grava arquivos de destino quando o arquivo de origem tem o mesmo nome, mesmo que sejam idênticos.
Em Quando excluir, selecione uma destas opções:
Nunca: nunca exclua arquivos da origem ou do destino.
Excluir arquivos do destino se eles não estiverem na origem: se os arquivos no bucket do Cloud Storage de destino também não estiverem na origem, exclua os arquivos do Cloud Storage. bucket.
Essa opção garante que o bucket de destino do Cloud Storage corresponda exatamente à sua origem.
Selecione se você quer ativar a geração de registros de transferência e/ou as notificações do Pub/Sub.
Clique em Criar para criar o job de transferência.
CLI da gcloud
Para criar um novo job de transferência, use o comando
gcloud transfer jobs create
. A criação de um novo job inicia a transferência especificada, a menos que uma
programação ou --do-not-run
seja especificado.
gcloud transfer jobs create \
hdfs:///PATH/ gs://BUCKET_NAME/PATH/
--source-agent-pool=AGENT_POOL_NAME
Em que:
PATH
é um caminho absoluto da raiz do cluster HDFS. O cluster o namenode e o port são configurados no nível do agente. Portanto, a criação do job só precisa especificar o caminho (opcional) e o pool de agentes.--source-agent-pool
especifica o pool de agentes de origem a ser usado para esta transferência.
As opções adicionais incluem:
--do-not-run
impede que o Serviço de transferência do Cloud Storage execute o job após o envio do comando. Para executar o job, atualize-o para adicionar uma programação ou usejobs run
para iniciá-lo manualmente.--manifest-file
especifica o caminho para um arquivo CSV no Cloud Storage contendo uma lista de arquivos a serem transferidos da sua origem. Para formatar o arquivo de manifesto, consulte Transferir arquivos ou objetos específicos usando um manifesto.Informações do job: é possível especificar
--name
e--description
.Programação: especifique
--schedule-starts
,--schedule-repeats-every
e--schedule-repeats-until
ou--do-not-run
.Condições de objeto: use condições para determinar quais objetos são transferidos. Elas incluem
--include-prefixes
e--exclude-prefixes
, além das condições baseadas em tempo em--include-modified-[before | after]-[absolute | relative]
. Se você especificar uma pasta com sua origem, os filtros de prefixo são relativos a do Compute Engine. Consulte Filtrar objetos de origem por prefixo para mais informações. informações imprecisas ou inadequadas.Opções de transferência: especifique se você quer substituir o destino. (
--overwrite-when=different
oualways
) e se quer excluir determinados arquivos durante ou após a transferência. (--delete-from=destination-if-unique
ousource-after-transfer
); e definir uma classe de armazenamento para os objetos transferidos (--custom-storage-class
).Notificações: configure as notificações de Pub/Sub para transferências com
--notification-pubsub-topic
,--notification-event-types
e--notification-payload-format
.
Para ver todas as opções, execute gcloud transfer jobs create --help
ou consulte a
documentação de referência de gcloud
.
API REST
Para criar uma transferência de uma fonte HDFS com API REST usando a API REST, crie um objeto JSON semelhante ao exemplo a seguir.
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
...
"transferSpec": {
"source_agent_pool_name":"POOL_NAME",
"hdfsDataSource": {
"path": "/mount"
},
"gcsDataSink": {
"bucketName": "SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": false
}
}
}
Consulte a referência transferJobs.create
para detalhes sobre
mais campos compatíveis.
Clusters com vários namenodes
Os agentes do Serviço de transferência do Cloud Storage só podem ser configurados com um único namenode. Se as O cluster HDFS é configurado com vários namenodes ("alta disponibilidade") e Se houver um evento de failover que resulte em um novo namenode principal, será preciso reinstale os agentes com o namenode correto.
Para excluir os agentes antigos, consulte Excluir um agente.
Para recuperar o namenode ativo do cluster, execute:
hdfs haadmin -getAllServiceState