ハイブ-テーブルの作成

この章では、テーブルを作成する方法とテーブルにデータを挿入する方法について説明します。HIVEでテーブルを作成する規則は、SQLを使用してテーブルを作成するのと非常によく似ています。

テーブルステートメントの作成

Create Tableは、Hiveでテーブルを作成するために使用されるステートメントです。構文と例は次のとおりです。

構文

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name

[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[ROW FORMAT row_format]
[STORED AS file_format]

次の名前のテーブルを作成する必要があると仮定します employee を使用して CREATE TABLEステートメント。次の表に、employeeテーブルのフィールドとそのデータ型を示します。

シニア番号 フィールド名 データ・タイプ
1 イード int
2 名前 ストリング
3 給料 浮く
4 指定 ストリング

次のデータは、コメント、フィールドターミネータ、ラインターミネータ、保存ファイルタイプなどの行形式のフィールドです。

COMMENT ‘Employee details’
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED IN TEXT FILE

次のクエリは、という名前のテーブルを作成します employee 上記のデータを使用します。

hive> CREATE TABLE IF NOT EXISTS employee ( eid int, name String,
salary String, destination String)
COMMENT ‘Employee details’
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t’
LINES TERMINATED BY ‘\n’
STORED AS TEXTFILE;

オプションIFNOT EXISTSを追加すると、テーブルがすでに存在する場合、Hiveはステートメントを無視します。

テーブルが正常に作成されると、次の応答が表示されます。

OK
Time taken: 5.905 seconds
hive>

JDBCプログラム

テーブルを作成するためのJDBCプログラムに例を示します。

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveCreateTable {
   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
   
   public static void main(String[] args) throws SQLException {
   
      // Register driver and create driver instance
      Class.forName(driverName);
      
      // get connection
      Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", "");
      
      // create statement
      Statement stmt = con.createStatement();
      
      // execute statement
      stmt.executeQuery("CREATE TABLE IF NOT EXISTS "
         +" employee ( eid int, name String, "
         +" salary String, destignation String)"
         +" COMMENT ‘Employee details’"
         +" ROW FORMAT DELIMITED"
         +" FIELDS TERMINATED BY ‘\t’"
         +" LINES TERMINATED BY ‘\n’"
         +" STORED AS TEXTFILE;");
         
      System.out.println(“ Table employee created.”);
      con.close();
   }
}

プログラムをHiveCreateDb.javaという名前のファイルに保存します。このプログラムをコンパイルして実行するには、次のコマンドを使用します。

$ javac HiveCreateDb.java
$ java HiveCreateDb

出力

Table employee created.

データステートメントのロード

通常、SQLでテーブルを作成した後、Insertステートメントを使用してデータを挿入できます。ただし、Hiveでは、LOADDATAステートメントを使用してデータを挿入できます。

Hiveにデータを挿入するときは、LOADDATAを使用してバルクレコードを保存することをお勧めします。データをロードする方法は2つあります。1つはローカルファイルシステムから、もう1つはHadoopファイルシステムからです。

構文

ロードデータの構文は次のとおりです。

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename 
[PARTITION (partcol1=val1, partcol2=val2 ...)]
  • LOCALは、ローカルパスを指定するための識別子です。オプションです。
  • OVERWRITEは、テーブル内のデータを上書きするためのオプションです。
  • PARTITIONはオプションです。

以下のデータをテーブルに挿入します。名前の付いたテキストファイルですsample.txt/home/user ディレクトリ。

1201  Gopal       45000    Technical manager
1202  Manisha     45000    Proof reader
1203  Masthanvali 40000    Technical writer
1204  Kiran       40000    Hr Admin
1205  Kranthi     30000    Op Admin

次のクエリは、指定されたテキストをテーブルにロードします。

hive> LOAD DATA LOCAL INPATH '/home/user/sample.txt'
OVERWRITE INTO TABLE employee;

ダウンロードが成功すると、次の応答が表示されます。

OK
Time taken: 15.905 seconds
hive>

JDBCプログラム

以下に示すのは、指定されたデータをテーブルにロードするためのJDBCプログラムです。

import java.sql.SQLException;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import java.sql.DriverManager;

public class HiveLoadData {

   private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
   
   public static void main(String[] args) throws SQLException {
   
      // Register driver and create driver instance
      Class.forName(driverName);
      
      // get connection
      Connection con = DriverManager.getConnection("jdbc:hive://localhost:10000/userdb", "", "");
      
      // create statement
      Statement stmt = con.createStatement();
      
      // execute statement
      stmt.executeQuery("LOAD DATA LOCAL INPATH '/home/user/sample.txt'" + "OVERWRITE INTO TABLE employee;");
      System.out.println("Load Data into employee successful");
      
      con.close();
   }
}

プログラムをHiveLoadData.javaという名前のファイルに保存します。このプログラムをコンパイルして実行するには、次のコマンドを使用します。

$ javac HiveLoadData.java
$ java HiveLoadData

出力:

Load Data into employee successful