一、前言kafka是基于jdk和zk上运行的安装kafka前必须安装jdk和zk。二、jdk安装2.1 下载jdk安装文件http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK2.2 设置环境变量2.2.1 windows环境下需要设置安装完成后需要添加以下的环境变量右键点击“我的电脑” - “高级系统设置” - “环境变量” JAVA_HOME: D:\Program Files\java\jdk1.8.0_91 (jdk的安装路径)Path: 在现有的值后面添加; %JAVA_HOME%\bin2.2.2 linux环境下需要设置编辑用户profilevi ~/.bash_profile增加以下设置export JAVA_HOME/opt/esb/jdk1.7.0_80 (jdk的安装路径)export JAVA_BINJ A V A H O M E / b i n e x p o r t P A T H JAVA_HOME/bin export PATHJAVAH​OME/binexportPATHJAVA_BIN:P A T H : PATH:PATH:HOME/binexport CLASSPATH.:J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar:JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jarexport PATH CLASSPATH增加完成后执行source ~/.bash_profile2.3 校验打开cmd运行java -version查看当前系统Java的版本三、zookeeper安装Kafka 集群中有一个 broker 会被选举为 Controller负责管理集群 broker 的上下线所有 topic 的分区副本分配和 leader 选举等工作。Controller 的管理工作都是依赖于 Zookeeper 的。3.1 下载zk安装文件 http://zookeeper.apache.org/releases.html 下载zk3.2 配置解压安装包到目标位置conf把zoo_sample.cfg重命名成zoo.cfg并打开zoo.cfg把dataDir的值改成dataDir…\data3.3 启动进入zk文件目录执行以下命令3.3.1 windows环境bin\windows\zookeeper-server-start.bat config\zookeeper.properties3.3.2 linux环境./bin/zookeeper-server-start.sh -daemon config/zookeeper.properties或者./bin/zookeeper-server-start.sh start四、kafka安装4.1 下载kafka下载路径: http://kafka.apache.org/downloads4.2 配置解压安装包到目标位置打开config下server.properties文件把log.dirs修改为log.dirslogsserver.properties更多可用配置及含义如下#broker 的全局唯一编号不能重复 broker.id0 #删除 topic 功能使能 delete.topic.enabletrue #处理网络请求的线程数量 num.network.threads3 #用来处理磁盘 IO 的现成数量 num.io.threads8 #发送套接字的缓冲区大小 socket.send.buffer.bytes102400 #接收套接字的缓冲区大小 socket.receive.buffer.bytes102400 #请求套接字的缓冲区大小 socket.request.max.bytes104857600 #topic 在当前 broker 上的分区个数 num.partitions1 #用来恢复和清理 data 下数据的线程数量 num.recovery.threads.per.data.dir1 #segment 文件保留的最长时间超时将被删除 log.retention.hours1684.3 启动kafka进入kafka文件目录执行以下命令启动kafka通讯的服务器broker4.3.1 windows环境bin\windows\kafka-server-start.bat .\config\server.properties4.3.2 linux环境./bin/kafka-server-start.sh config/server.properties五、测试5.1 创建消息topics进入kafka文件目录\bin\windows,执行以下命令kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test这条命令的意思是创建一个Topic到ZK指定ZK的地址副本个数为1分区数为1Topic的名称为test。Linux对应的命令为:./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test在较新版本2.2 及更高版本的 Kafka 不再需要 ZooKeeper 连接字符串,即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。./bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --replication-factor 1 --partitions 1 --topic test5.2 查看topics创建好后我们可以查看Kafka里的Topic列表bin\windows\kafka-topics.bat --list --zookeeper localhost:2181Linux对应的命令为:./bin/kafka-topics.sh --list --zookeeper localhost:21812.2及更高版本./bin/kafka-topics.sh --list --bootstrap-server localhost:9092查看test Topic的具体信息bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic testLinux对应的命令为:./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test2.2及更高版本./bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test5.2 创建Producer分别打开cmd窗口进入kafka文件目录\bin\windows执行下面命令kafka-console-producer.bat --broker-list localhost:9092 --topic testLinux下对应的命令为kafka-console-producer.sh --broker-list localhost:9092 --topic test5.3 创建Consumer分别打开cmd窗口进入kafka文件目录\bin\windows,执行下面命令kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testLinux下对应的命令为./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test5.4 发送消息测试六、常用命令6.1 查看当前服务器中的所有 topic./bin/kafka-topics.sh --list --zookeeper localhsot:21812.2及更高版本./bin/kafka-topics.sh --list --bootstrap-server localhost:9092windows对应的命令为:kafka-topics.bat --list --zookeeper localhost:21816.2 删除 topic./bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test2.2及更高版本./bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic testwindows对应的命令为:kafka-topics.bat --zookeeper localhost:2181 --delete --topic test注意:需要 server.properties 中设置delete.topic.enabletrue否则只是标记删除。6.3 查看某个 Topic 的详情./bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic test2.2及更高版本./bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic testwindows对应的命令为:kafka-topics.bat --zookeeper localhost:2181 --describe --topic test6.4 修改分区数./bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic test --partitions 22.2及更高版本./bin/kafka-topics.sh–bootstrap-server localhost:9092 --alter --topic test --partitions 2windows对应的命令为:kafka-topics.bat --zookeeper localhost:2181 --alter --topic test --partitions 2七、可视化工具 kafka Tool7.1 下载下载地址 http://www.kafkatool.com/download.html7.2 配置7.3 监控