13-Linux部署Kafka集群

Linux部署Kafka集群

简介

Kafka���一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。

同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。

Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。

Kafka多数都是运行在分布式（集群化）模式下，所以课程将以3台服务器，来完成Kafka集群的安装部署。

Kafka官网：https://kafka.apache.org/

安装

1. 确保已经安装并部署了JDK和Zookeeper服务

   Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper

   参考文章

   11-Linux部署集群准备：http://t.csdnimg.cn/zWbnd

   12-Linux部署Zookeeper集群：http://t.csdnimg.cn/dOvt5

2. 【在node1操作】下载并上传Kafka的安装包

   # 下载安装包wget --no-check-certificate http://archive.apache.org/dist/kafka/3.7.0/kafka_2.12-3.7.0.tgz

3. 【在node1操作】解压

   mkdir -p /export/server# 此文件夹如果不存在需先创建# 解压tar -zxvf kafka_2.12-3.7.0.tgz -C /export/server/# 创建软链接ln -s /export/server/kafka_2.12-3.7.0 /export/server/kafka

4. 【在node1操作】修改Kafka目录内的config目录内的server.properties文件

   cd /export/server/kafka/configvim server.properties

   • 只修改为以下内容

     # 24行指定broker的idbroker.id=1# 34行指定 kafka的绑定监听的地址listeners=PLAINTEXT://node1:9092# 62行指定Kafka数据的位置log.dirs=/export/server/kafka/data# 125行指定Zookeeper的三个节点zookeeper.connect=node1:2181,node2:2181,node3:2181

   • 【在node1操作】将node1的kafka复制到node2和node3

     cd /export/server# 复制到node2同名文件夹scp -r kafka_2.12-3.7.0 node2:`pwd`/# 复制到node3同名文件夹scp -r kafka_2.12-3.7.0 node3:$PWD

   • 【在node2操作】

     • 创建软链接

       ln -s /export/server/kafka_2.12-3.7.0 /export/server/kafka

       • 修改Kafka目录内的config目录内的server.properties文件

         cd /export/server/kafka/configvim server.properties

         • 修改以下内容

           # 24行指定broker的idbroker.id=2# 34行指定 kafka的绑定监听的地址listeners=PLAINTEXT://node2:9092# 62行指定Kafka数据的位置log.dirs=/export/server/kafka/data# 125行指定Zookeeper的三个节点zookeeper.connect=node1:2181,node2:2181,node3:2181

         • 【在node3操作】

           • 创建软链接

             ln -s /export/server/kafka_2.12-3.7.0 /export/server/kafka

             • 修改Kafka目录内的config目录内的server.properties文件

               cd /export/server/kafka/configvim server.properties

               • 复制以下内容

                 # 24行指定broker的idbroker.id=3# 34行指定 kafka的绑定监听的地址listeners=PLAINTEXT://node3:9092# 62行指定Kafka数据的位置log.dirs=/export/server/kafka/data# 125行指定Zookeeper的三个节点zookeeper.connect=node1:2181,node2:2181,node3:2181

               • 启动kafka

                 • 启动zookeeper

                 • 进入zookeeper的bin目录下，运行zkCli.sh

                   cd /export/server/zookeeper/bin./zkCli.sh

                   启动kafka，请先确保Zookeeper已经启动了

                   • 方式1：【前台启动】分别在node1、2、3上执行如下语句

                     /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

                     • node1
                       • node2
                         • node3
                           • 方式2：【后台启动】分别在node1、2、3上执行如下语句

                             nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

                           • 验证Kafka启动

                             # 在每一台服务器执行jps

测试Kafka能否正常使用

1. 创建测试主题

# 在node1执行，创建一个主题/export/server/kafka_2.12-3.7.0/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test

1. 运行测试，请在xshell中打开2个node1的终端页面
2. 打开一个终端页面，启动一个模拟的数据生产者

/export/server/kafka_2.12-3.7.0/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test

1. 再打开一个新的终端页面，在启动一个模拟的数据消费者

/export/server/kafka_2.12-3.7.0/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

注意：在node1中输入退格键时会输入**^H**，同时按住Ctrl和backspace键能删除字符