HiveQL数据定义

1、在app-12上，以hadoop用户登录。命令：su – hadoop 在这里插入图片描述

2、启动hive。命令：hive --service cli 在这里插入图片描述

3、查看databases。命令：show databases; 在这里插入图片描述

手动创建databases

4、创建test。命令：CREATE DATABASE IF NOT EXISTS test; 在这里插入图片描述

5、查看是否创建成功。命令：show databases; 在这里插入图片描述

6、进入test。命令：use test; 在这里插入图片描述

7、创建employee表。命令：CREATE TABLE IF NOT EXISTS `EMPLOYEE` ( `ID` bigint, `NAME` string, CONSTRAINT `SYS_PK_BUCKETING_COLS` PRIMARY KEY (`ID`) DISABLE ） ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' ; 注：``这个符号为标识符，数据名字。在这里插入图片描述

下载数据

8、新建new terminal，以hadoop用户登录。命令：su – hadoop 在这里插入图片描述

9、进入/tmp目录下。命令：cd /tmp/ 在这里插入图片描述

10、创建hive文件。命令：mkdir hive 在这里插入图片描述

11、进入 /tmp/Spark-stack/Hive/HiveQL/目录下。命令：cd /tmp/Spark-stack/Hive/HiveQL/ 在这里插入图片描述

12、将employee.dat 拷贝到/tmp/hive/目录下。命令：cp employee.dat /tmp/hive/ 在这里插入图片描述

8、返回之前的new terminal，加载数据到table中。命令：LOAD DATA LOCAL INPATH '/tmp/hive/employee.dat' OVERWRITE INTO TABLE EMPLOYEE; 在这里插入图片描述

9、查询数据。命令：select * from EMPLOYEE; 在这里插入图片描述

数据库与hdfs对应关系

观察创建完表和数据库之后，在HDFS上有什么变化 1、在app-11上，以hadoop用户登录。命令：su – hadoop 在这里插入图片描述

2、配置文件默认的数据存储仓库在hive/warehouse/ 命令：hdfs dfs -ls /user/hive/warehouse/ 在这里插入图片描述

3、查看test.db文件命令：hdfs dfs -ls /user/hive/warehouse/test.db 在这里插入图片描述

4、查看employee表。命令：hdfs dfs -ls /user/hive/warehouse/test.db/employee

在这里插入图片描述

5、查看employee.dat数据集内容。命令：hdfs dfs -cat /user/hive/warehouse/test.db/employee/employee.dat 在这里插入图片描述

内部表和外部表操作与hdfs文件管控

1、将数据拷贝到/installTest目录下。命令：hdfs dfs -cp /user/hive/warehouse/test.db/employee/employee.dat /installTest 在这里插入图片描述

2、返回app-12的命令行，删除表。命令：drop table employee; 在这里插入图片描述

3、返回app-11上，再次查看。命令：hdfs dfs -ls /user/hive/warehouse/test.db注：数据已经删除了，但是test.db没有删除掉。在这里插入图片描述

4、返回app-12上，删除test.db。命令：drop database test; 在这里插入图片描述

5、返回app-11上，查看是否删除。命令：hdfs dfs -ls /user/hive/warehouse/test.db注：已经删除，数据库已经被删除。在这里插入图片描述

创建外部表

6、创建一个空目录存放数据。命令：hdfs dfs -mkdir /installTest/hive 在这里插入图片描述

7、将拷贝过来的employee.dat拷贝到hive目录下。命令：hdfs dfs -cp /installTest/employee.dat /installTest/hive 在这里插入图片描述

8、返回app-12上，创建表，先创建database。命令：CREATE DATABASE IF NOT EXISTS test; 在这里插入图片描述

9、进入test。命令：use test; 在这里插入图片描述

10、创建表。命令：CREATE TABLE IF NOT EXISTS `EMPLOYEE` ( `ID` bigint, `NAME` string, CONSTRAINT `SYS_PK_BUCKETING_COLS` PRIMARY KEY (`ID`) DISABLE ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LOCATION '/installTest/hive'; 注：外部表创建成功。在这里插入图片描述