虚拟机上安装单机kafka

虚拟机安装过程省略，只需要下载对应的虚拟机和镜像即可；过程比较简单，去B站看看即可；本次安装环境说明，CentOS6.10(64bit),kafka2.11-2.2.0,zookeeper-3.4.6;

对应下载地址
ali镜像
kafka下载
zk下载

安装步骤

1.安装jdk

rpm -ivh jdk-8u301-linux-x64.rpm

2.配置环境变量

vi .bashrc
JAVA_HOME=/usr/java/latest
PATH=$PATH:JAVA_HOME/bin
CLASSPATH=.
export JAVA_HOME
export PATH
export CLASSPATH
soure

3.更改主机名

vim /etc/sysconfig/network 下修改
NETWORK=yes
HOSTNAME=CentOS101
#修改主机映射
vim /etc/hosts
#重启reboot
shutdown -r now

4.关闭防火墙

service iptables status
service iptables stop(对应开启是service iptables start)
# 将iptables 的开机自启服务给关闭掉
chkconfig iptables off
chkconfig --list | grep iptables

5.解压zk到/usr目录下并修改配置

tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
cd /usr/zookeeper-3.4.6/
ls
ls conf/
#进入到conf目录下拷贝sample-zk的配置文件
cp conf/zoo_sample.cfg conf/zoo.cfg
#修改配置，将zk服务的数据目录修改到root/zkdata下
vi conf/zoo.cfg
dataDir=/root/zkdata
mkdir /root/zkdata
./bin/zkServer.sh
#可以看到zk启动停止的各种命令
#启动zk
./bin/zkServer.sh start zoo.cfg
#jps 查看与java 进程相关的进程 有看到QuorumPeerMain 这样一个进程代表zk是启动了
#但是zk启动了不一定能用，我们再用以下命令来看zk的状态
./bin/zkServer.sh status zoo.cfg
#看到 standalone 代表zk是单机启动可用的状态

6.解压kafka到/usr目录下并修改其配置

tar -zxf kafka_2.11-2.2.0.tgz  -C /usr/
cd /usr/kafka_2.11-2.2.0/
ls bin/
# 可以看到kafka的各种sh脚本命令
#接下来修改kafka日志的存储位置，socket连接地址，zk的连接地址
vi config/server.properties
#去掉listeners 前面注释的#号，改为
listeners=PLAINTEXT://CentOS101:9092
log.dirs=/tmp/kafka-logs 改为 log.dirs=/usr/kafka-logs
zookeeper.connect=localhost:2181改为zookeeper.connect=CentOS101:2181
#保存退出后启动kafka
./bin/kafka-server-start.sh -daemon config/server.properties #(daemon 表示后台运行)
cd /usr
ls
#可以看到kafka启动的时候创建了我们指定的kafka-logs
#同样我们可以进入到kafka的目录下执行关闭，kafka关闭是一个优雅的过程，可运行jps命令查看
./bin/kafka-server-stop.sh

7.kafka命令

#kafka创建topic分区及副本数，注意副本数不能大于分区数
./bin/kafka-topics.sh --bootstrap-server CentOS101:9092 --create --topic topic01 --partitions 3 --replication-factor 1
#kafak创建消费组（重复执行以下命令多次表示group1中创建了多个消费者，同一个组的消费者是均分消息的；不同组是广播的形式）
./bin/kafka-console-consumer.sh --bootstrap-server CentOS101:9092 --topic topic01 --group group01
#kafka发送消息
./bin/kafka-console-producer.sh --broker-list CentOS101:9092 --topic topic01