Hive - Criar Tabela

Este capítulo explica como criar uma tabela e inserir dados nela. As convenções de criação de uma tabela no HIVE são bastante semelhantes à criação de uma tabela usando SQL.

Criar declaração de tabela

Criar tabela é uma instrução usada para criar uma tabela no Hive. A sintaxe e o exemplo são os seguintes:

Sintaxe

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name

[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[ROW FORMAT row_format]
[STORED AS file_format]

Exemplo

Vamos supor que você precise criar uma tabela chamada employee usando CREATE TABLEdeclaração. A tabela a seguir lista os campos e seus tipos de dados na tabela de funcionários:

Sr. Não	Nome do Campo	Tipo de dados
1	Eid	int
2	Nome	Corda
3	Salário	Flutuador
4	Designação	corda

Os dados a seguir são um comentário, campos com formatação de linha, como terminador de campo, terminador de linhas e tipo de arquivo armazenado.

COMMENT ‘Employee details’
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED IN TEXT FILE

A consulta a seguir cria uma tabela chamada employee usando os dados acima.

hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,
salary String, destination String)
COMMENT ‘Employee details’
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED AS TEXTFILE;

Se você adicionar a opção IF NOT EXISTS, o Hive ignorará a instrução caso a tabela já exista.

Após a criação bem-sucedida da tabela, você verá a seguinte resposta:

OK
Time taken: 5.905 seconds
hive>

Programa JDBC

O programa JDBC para criar uma tabela é um exemplo.

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveCreateTable {
   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
   
   public static void main(String[] args) throws SQLException {
   
      // Register driver and create driver instance
      Class.forName(driverName);
      
      // get connection
      Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", "");
      
      // create statement
      Statement stmt = con.createStatement();
      
      // execute statement
      stmt.executeQuery("CREATE TABLE IF NOT EXISTS "
         +" employee ( eid int, name String, "
         +" salary String, destignation String)"
         +" COMMENT ‘Employee details’"
         +" ROW FORMAT DELIMITED"
         +" FIELDS TERMINATED BY ‘\t’"
         +" LINES TERMINATED BY ‘\n’"
         +" STORED AS TEXTFILE;");
         
      System.out.println(“ Table employee created.”);
      con.close();
   }
}

Salve o programa em um arquivo denominado HiveCreateDb.java. Os seguintes comandos são usados para compilar e executar este programa.

$ javac HiveCreateDb.java
$ java HiveCreateDb

Resultado

Table employee created.

Declaração de carga de dados

Geralmente, depois de criar uma tabela em SQL, podemos inserir dados usando a instrução Insert. Mas no Hive, podemos inserir dados usando a instrução LOAD DATA.

Ao inserir dados no Hive, é melhor usar LOAD DATA para armazenar registros em massa. Existem duas maneiras de carregar dados: uma é do sistema de arquivos local e a segunda é do sistema de arquivos Hadoop.

Sintaxe

A sintaxe para carregar dados é a seguinte:

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename 
[PARTITION (partcol1=val1, partcol2=val2 ...)]

LOCAL é o identificador para especificar o caminho local. É opcional.
OVERWRITE é opcional para sobrescrever os dados na tabela.
PARTITION é opcional.

Exemplo

Vamos inserir os seguintes dados na tabela. É um arquivo de texto chamadosample.txt dentro /home/user diretório.

1201  Gopal       45000    Technical manager
1202  Manisha     45000    Proof reader
1203  Masthanvali 40000    Technical writer
1204  Kiran       40000    Hr Admin
1205  Kranthi     30000    Op Admin

A consulta a seguir carrega o texto fornecido na tabela.

hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt'
OVERWRITE INTO TABLE employee;

Após o download bem-sucedido, você verá a seguinte resposta:

OK
Time taken: 15.905 seconds
hive>

Programa JDBC

A seguir está o programa JDBC para carregar dados fornecidos na tabela.

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveLoadData {

   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
   
   public static void main(String[] args) throws SQLException {
   
      // Register driver and create driver instance
      Class.forName(driverName);
      
      // get connection
      Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", "");
      
      // create statement
      Statement stmt = con.createStatement();
      
      // execute statement
      stmt.executeQuery("LOAD DATA LOCAL INPATH '/home/user/sample.txt'" + "OVERWRITE INTO TABLE employee;");
      System.out.println("Load Data into employee successful");
      
      con.close();
   }
}

Salve o programa em um arquivo denominado HiveLoadData.java. Use os seguintes comandos para compilar e executar este programa.

$ javac HiveLoadData.java
$ java HiveLoadData

Resultado:

Load Data into employee successful