Use o Apache Hive com o Dataproc Metastore

Esta página mostra um exemplo da utilização do Apache Hive com um serviço do Dataproc Metastore. Neste exemplo, inicia uma sessão do Hive num cluster do Dataproc e, em seguida, executa comandos de amostra para criar uma base de dados e uma tabela.

Antes de começar

Ligue-se ao Apache Hive

Para começar a usar o Hive, use o SSH para estabelecer ligação ao cluster do Dataproc associado ao seu serviço Dataproc Metastore. Depois de estabelecer ligação, pode executar comandos do Hive a partir da janela do terminal SSH no navegador para gerir os metadados.

Para estabelecer ligação ao Hive

  1. Na Google Cloud consola, aceda à página Instâncias de VM.
  2. Na lista de instâncias de máquinas virtuais, clique em SSH na linha da instância de VM do Dataproc à qual quer estabelecer ligação.

É aberta uma janela do navegador no diretório base do nó com um resultado semelhante ao seguinte:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Para iniciar o Hive e criar uma base de dados e uma tabela, execute os seguintes comandos na sessão SSH:

  1. Inicie o Hive.

    hive
    
  2. Crie uma base de dados com o nome myDatabase.

    create database myDatabase;
    
  3. Mostrar a base de dados que criou.

    show databases;
    
  4. Use a base de dados que criou.

    use myDatabase;
    
  5. Cria uma tabela com o nome myTable.

    create table myTable(id int,name string);
    
  6. Liste as tabelas em myDatabase.

    show tables;
    
  7. Mostrar as linhas da tabela na tabela que criou.

    desc MyTable;
    

A execução dos seguintes comandos gera um resultado semelhante ao seguinte:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int                                         
name                    string 

O que se segue?