实时监控单个追加文件
实验目的：实时监控 Hive 日志，并上传到 HDFS 中
实验分析:
实验步骤：
一、实验前准备
1.新建FlumeSqoopC1,C2,C3
进入C1,进行三台机器认证
切换到root用户。
命令：sudo /bin/bash
进入hadoop目录下并查看有哪些文件夹。
命令：cd /hadoop/
运行initHost.sh脚本，进行三台机器的认证：./initHosts.sh
命令：./initHosts.sh
1切换到hadoop用户，（密码Yhf_1018 ）
命令：su – hadoop
2切换到hadoop根目录下
命令：cd /hadoop/
3启动startAll.sh
命令：./startAll.sh
这个脚本里包含这三台机器所有的启动命令
进入C2
4.切换到/hadoop/Flume/apache-flume-1.9.0-bin下
命令：cd /hadoop/Flume/apache-flume-1.9.0-bin
5.新建job文件夹
命令：mkdir job
二、实验
1.创建 flume-file-hdfs.conf 文件（切换到job目录下）
命令： touch flume-file-hdfs.conf
2.编辑 flume-file-hdfs.conf 文件
命令：
vi flume-file-hdfs.conf
添加如下内容
a2.sources = r2
a2.sinks = k2
a2.channels = c2
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /hadoop/Hive/apache-hive-3.1.1-bin/tmp/hive.log
a2.sources.r2.shell = /bin/bash -c
# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://dmcluster/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳，默认为false
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件滚动的是文件（区别上面）
a2.sinks.k2.hdfs.rollInterval = 30
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2
点击Ecs退出编辑，:wq保存退出
3.返回上一级，运行Flume
命令：cd ..
flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf
或者flume-ng agent --name a2 --conf-file job/flume-file-hdfs.conf
4.新打开一个终端，到/hadoop/Hive目录下开启hive客户端
命令：hive
5.再新打开一个终端，查看HDFS上是否有新生成的日志文件。
注：在hadoop用户下，命令：su - hadoop 密码：Yhf_1018
HDFS查看命令:hdfs dfs -ls /
继续查看
详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰
