Sobre os protocolos de endpoint do metastore do Dataproc

Ao criar um serviço Metastore do Dataproc, é preciso escolher um dos seguintes protocolos de endpoint:

  • O protocolo Apache Thrift
  • O protocolo gRPC

Esse protocolo define como os clientes do metastore do Hive acessam os metadados armazenados no seu serviço do metastore do Dataproc. Essa escolha também pode afetar os recursos que podem ser integrados e usados com seu serviço.

Nesta página, explicamos as diferenças conceituais entre cada um dos protocolos de endpoints.

Apache Thrift

O protocolo Apache Thrift é a opção padrão legada pré-selecionada quando você cria um serviço do Dataproc Metastore.

Se você precisar do Kerberos na sua implementação, use essa opção. Se você não precisar do Kerberos, considere usar o protocolo gRPC, que fornece acesso a outros recursos.

Se você usar um endpoint Thrift, poderá escolher o número da porta com que a interface Thrift se conecta. Por padrão, o número da porta 9083 é usado.

Depois de escolher o protocolo Thrift

Depois de criar um metastore do Dataproc usando o Thrift, é possível se conectar a ele de um cluster do Dataproc ou autogerenciado. O cluster usa o metastore do Dataproc como o metastore Hive.

gRPC

O protocolo gRPC é a opção moderna, portátil e de alto desempenho que você precisa selecionar explicitamente ao criar um serviço do Dataproc Metastore.

Se você escolher o protocolo gRPC, não será possível atualizá-lo para Thrift em uma data posterior. Se você quiser mudar do gRPC para o Thrift, crie uma nova metastore do Dataproc.

Se você usar um endpoint gRPC, não poderá escolher o número da porta que a interface gRPC usa. Em vez disso, o número de porta 443 é atribuído automaticamente à sua interface.

Depois de escolher o protocolo gRPC

Depois de criar um metastore do Dataproc usando o protocolo de endpoint gRPC, é necessário conceder papéis adicionais do IAM. Depois, você pode se conectar a ele em um cluster do Dataproc. O cluster usa o metastore do Dataproc como o metastore Hive.

A seguir