保证当前shell的用户为hadoop(如果当前用户已经是hadoop,此步可忽略)
参考第一章相关节
HiveQL数据定义
1、启动hive。
命令:hive --service cli
定义这里为 hive命令行。

2、查看databases。
命令:show databases;

手动创建databases
3、创建test。
命令:CREATE DATABASE IF NOT EXISTS test;

4、查看是否创建成功。
命令:show databases;

5、进入test。
命令:use test;

6、创建employee表。
命令:CREATE TABLE IF NOT EXISTS `EMPLOYEE` ( `ID` bigint, `NAME` string, CONSTRAINT `SYS_PK_BUCKETING_COLS` PRIMARY KEY (`ID`) DISABLE ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' ;
注:``这个符号为标识符,数据名字。

下载数据
7、新建new terminal,保证当前shell的用户为hadoop。这里定义为Linux命令行。
参考第一章相关节
8、进入/tmp目录下。
命令:cd /tmp/

9、创建hive文件。
命令:mkdir hive

10、进入 /tmp/Spark-stack/Hive/HiveQL/目录下。
命令:cd /tmp/Spark-stack/Hive/HiveQL/

11、将employee.dat 拷贝到/tmp/hive/目录下。
命令:cp employee.dat /tmp/hive/

12、返回之前的hive命令行,加载数据到table中。
命令:LOAD DATA LOCAL INPATH '/tmp/hive/employee.dat' OVERWRITE INTO TABLE EMPLOYEE;

13、查询数据。
命令:select * from EMPLOYEE;

数据库与hdfs对应关系
观察创建完表和数据库之后,在HDFS上有什么变化 1、切换到Linux命令行。
2、配置文件默认的数据存储仓库在hive/warehouse/
命令:hdfs dfs -ls /user/hive/warehouse/

3、查看test.db文件
命令:hdfs dfs -ls /user/hive/warehouse/test.db

4、查看employee表。
命令:hdfs dfs -ls /user/hive/warehouse/test.db/employee

5、查看employee.dat数据集内容。
命令:hdfs dfs -cat /user/hive/warehouse/test.db/employee/employee.dat

内部表和外部表操作与hdfs文件管控
1、在Linux命令行下操作,将数据拷贝到/installTest目录下。
命令:hdfs dfs -cp /user/hive/warehouse/test.db/employee/employee.dat /installTest

2、在hive命令行下,删除表。
命令:drop table employee;

3、在Linux命令行下,再次查看。
命令:hdfs dfs -ls /user/hive/warehouse/test.db注:数据已经删除了,但是test.db没有删除掉。

4、在hive命令行下,删除test.db。
命令:drop database test;

5、在Linux命令行下,查看是否删除。
命令:hdfs dfs -ls /user/hive/warehouse/test.db注:已经删除,数据库已经被删除。

创建外部表
6、创建一个空目录存放数据。
在Linux命令行下,命令:hdfs dfs -mkdir /installTest/hive

7、在Linux命令行下,将拷贝过来的employee.dat拷贝到hive目录下。
命令:hdfs dfs -cp /installTest/employee.dat /installTest/hive

8、在hive命令行下,创建表,先创建database。
命令:CREATE DATABASE IF NOT EXISTS test;

9、在hive命令行下,进入test。
命令:use test;

10、在hive命令行下,创建表。
命令:CREATE TABLE IF NOT EXISTS `EMPLOYEE` ( `ID` bigint, `NAME` string, CONSTRAINT `SYS_PK_BUCKETING_COLS` PRIMARY KEY (`ID`) DISABLE ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LOCATION '/installTest/hive';
注:外部表创建成功。

11、在hive命令行下,做一次查询。
命令:select * from EMPLOYEE; 注:内部表和外部表在其他操作上是一致的。

HiveQL查询
12、在hive命令行下,在app-12上退出命令行环境。
命令:quit;

13、进入tmp目录下。
命令:cd /tmp/

14、将hive文件删除重新创建存放临时数据。
命令:rm -rf hive/、mkdir hive

15、进入Spark-stack/Hive/目录下。
命令:cd Spark-stack/Hive/

16、将HiveQL目录下的文件拷贝到/tmp/hive/目录下。
命令:cp -rf HiveQL/* /tmp/hive/

17、进入/tmp/hive/目录下。
命令:cd /tmp/hive/

18、查看employee.sql脚本
命令:vi employee.sql 注:这是创建外部表的脚本。

19、加载脚本。
命令:hive -f /tmp/hive/employee.sql

20、切换到命令行环境。
命令:hive --service cli

21、进入test。
命令:use test;

22、设置MapReduce的Map memory和reduce memory为2G。
命令:set mapreduce.map.memory.mb=2048;、set mapreduce.reduce.memory.mb=2048;

23、查询。
命令:select count(*) from employee; 注:时间是4.38秒。

24、查询现在的执行引擎。
命令:set hive.execution.engine;

25、将执行引擎改为mr。
命令:set hive.execution.engine=mr;

26、再一次查询。
命令:select count(*) from employee;注:时间是10.55秒。

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
