Kafka Cluster

这是kafka为我们提供的四大类API，kafka不存在单节点一说，存在的单节点也是单节点集群，都是一个一个的集群，kafka默认的就是集群。有两个客户端操作分别是Producers客户端和Consumers客户端，Connectors就是kafka和DB的一个交互，Stream Processors是流处理API。最常用的是Producers和Consumers，最复杂的是Consumers，所以Consumers是我们的重点。除了这四类还有Admin，这一共是五类API。

客户端API类型

AdminClient API：允许管理和检测Topic、broker以及其它Kafka对象。 Producer API：发布消息到1个或多个topic。 Consumer API ：订阅一个或多个topic，并处理产生的消息。 Streams API：高效地将输入流转换到输出流。 Connector API：从一些源系统或应用程序中拉取数据到kafka。

代码操做加解释

1、创建Java Empty Env

2、点击左侧第一个图标上传程序文件

3、点击右键选择Upload Flies

4、点击右侧第二个图标新建new terminal

5、在命令行里输入命令，先解压程序压缩包 命令：tar -xf kafka-study-coding.tar

6、删除压缩包 命令：rm -rf kafka-study-coding.tar

7、以root用户登录 命令：sudo /bin/bash

8、将kafka集群的ip地址添加到hosts文件中 命令：vi /etc/hosts 192.168.30.140 app-13 192.168.138.63 app-12 192.168.235.178 app-11

9、进入到程序目录下 命令：cd kafka-study-coding/

往后的操作都是先编译后运行 编译：mvn compile -Dexec.mainClass="com.kinginsai.bigdata.kafka.admin.AdminSample" 运行：mvn exec:java -Dexec.mainClass="com.kinginsai.bigdata.kafka.admin.AdminSample" -Dexec.classpathScope=runtime -Dmaven.test.skip=true 10、设置AdminClient，连接kafka集群，地址是服务器的host

11、创建Topic，Topic的名字为songshu-topic，运行的结果打印出来

12、获取topic列表

13、删除topic，并查看topic是否删除 运行结果：

14、描述topic

运行结果：

15、查看配置信息 运行结果：

16、增加partition，之后运行描述topic，看是否增加了 运行结果：

常见问题 1、

在root用户下，删除target。 2、在创toptic的时候，出现以下警告，是因为后台在不停的打印，创建成功之后还在打印，在创建的就是重复的了，所以出以下警告

在创建的最后加上adminClient.close();关闭adminClient即可。

详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰