2.1 安装地址

下载地址: http://archive.apache.org/dist/flume/ 安装包地址: http://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz

2.2 安装部署

一、操作步骤 1.创建RedisC1,C2,C3三台机器 在这里插入图片描述 2.进入C1,进行三台机器的认证 切换到root用户。 命令:sudo /bin/bash 在这里插入图片描述 命令:cd /hadoop/ 在这里插入图片描述

运行initHost.sh脚本,进行三台机器的认证:

命令:./initHosts.sh

在这里插入图片描述 3. 在app11中操作,切换到hadoop用户,密码Yhf_1018 命令:su – hadoop 注:输入的密码是不显示出来的。 在这里插入图片描述 4.进入hadoop根目录,并查看目录下的文件。 命令:cd /hadoop/ 在这里插入图片描述 5.新建Flume文件夹 命令:mkdir Flume 在这里插入图片描述6.将 apache-flume-1.9.0-bin.tar.gz 上传到/hadoop/Flume目录下 命令:cd Flume

wget http://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz 在这里插入图片描述 7.解压 命令:tar -zxf apache-flume-1.9.0-bin.tar.gz 在这里插入图片描述 8.设置环境变量 命令:vi ~/.bashrc 运行效果: 在这里插入图片描述 8.设置FLUME_HOME目录和PATH目录,在环境变量中加入

export FLUME_HOME=/hadoop/Flume/apache-flume-1.9.0-bin

export PATH=${FLUME_HOME}/bin:$PATH

输入a或者i进行编辑 在这里插入图片描述 ESC退出编辑,:wq 保存退出 9.需要使用source命令让刚刚的修改过的PATH执行。 命令:source ~/.bashrc 本机的设置完成。需要将本机的设置拷贝到其他机器上。

其他集群的设置

1.首先免密登录到app-12上,进入hadoop目录下创建Flume文件 命令:ssh hadoop@app-12 "cd /hadoop && mkdir Flume" 在这里插入图片描述 2.所有的集群目录都是一样,需要将整个Flume安装包拷贝到其他集群的机器上。 命令:scp -r -q apache-flume-1.9.0-bin hadoop@app-12:/hadoop/Flume 注:-r是表示拷贝整个目录。 -q 是静默拷贝。 要返回flume所在的上一级目录。 在这里插入图片描述 3.登录app-12, 查看是否拷贝成功 命令:ssh hadoop@app-12 在这里插入图片描述 退出app-12,命令:exit 4.将环境变量拷贝到app-12上,进行覆盖拷贝。 命令:scp ~/.bashrc hadoop@app-12:~/ 在这里插入图片描述 命令:ssh hadoop@app-12 "source ~/.bashrc" app-12完成。同理,在app-13上执行。 5.重复步骤1、2配置app-13 命令:ssh hadoop@app-13 "cd /hadoop && mkdir Flume" 在这里插入图片描述 scp -r -q apache-flume-1.9.0-bin hadoop@app-13:/hadoop/Flume 在这里插入图片描述 登录app-13, 查看是否拷贝成功 命令:ssh hadoop@app-13 在这里插入图片描述 退出app-13,命令:exit 将环境变量拷贝到app-13上,进行覆盖拷贝。 命令:scp ~/.bashrc hadoop@app-13:~/ 在这里插入图片描述 命令:ssh hadoop@app-13 "source ~/.bashrc"

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰 在这里插入图片描述