网站首页> 后端开发> Java> Kafka单节点伪分布式集群搭建实现过程详解

Kafka单节点伪分布式集群搭建实现过程详解

时间:2020-11-12 12:08:35 阅读:9233次 来源:互联网

Kafka集群搭建分为单节点的伪分布式集群和多节点的分布式集群两种,首先来看一下单节点伪分布式集群安装。单节点伪分布式集群是指集群由一台ZooKeeper服务器和一台Kafka broker服务器组成,如下图所示:

Kafka单节点伪分布式集群搭建实现过程详解

为了搭建单节点Kafka集群,需要依次安装如下软件:安装Java-->安装ZooKeeper-->安装Kafka。

一、安装Java

可以参考linux安装jdk,来进行安装

二、安装ZooKeeper

下载地址:https://www-us.apache.org/dist/zookeeper/stable/

下载二进制压缩包 zookeeper-3.4.14.tar.gz ,然后上传到linux服务器指定目录下,本次上传目录为 /software ,然后执行如下命令安装:

tar -zxvf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
mkdir /usr/local/zookeeper/data

然后修改 zoo.cfg 文件,设置参数:

tickTime=2000
dataDir=/usr/local/zookeeper/data
clientPort=2181

进入 zookeeper的bin目录下,即 /usr/local/zookeeper/bin/ 目录下,执行命令 ./zkServer.sh start 启动zookeeper服务器,看到如下回显信息则证明zookeeper启动成功:

[root@192 bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@192 bin]#

三、安装单节点Kafka集群

下载地址:http://kafka.apache.org/downloads.html

目前最新版本是2.2.0,本次下载2.1.1版本的安装包 kafka_2.12-2.1.1.tgz ,其中2.12代表编译Kafka的Scala语言版本,2.1.1表示Kafka的版本。然后上传压缩包到服务器指定目录,本次上传目录为 /software ,然后执行以下命令进行安装:

tar -zxvf kafka_2.12-2.1.1.tgz
mv kafka_2.12-2.1.1 /usr/local/kafka
mkdir /usr/local/kafka/logs
cd /usr/local/kafka/config

编辑本目录下的 server.properties 文件,修改如下配置:

log.dirs=/usr/local/kafka/logs

保存修改后,进入 /usr/local/kafka/bin/ 目录下,使用命令使用命令 ./kafka-server-start.sh -daemon ../config/server.properties 进行启动, -daemon 参数表示后台启动,使用 ps -ef|grep kafka 验证kafka进程是否启动。

通过上面三步,单节点伪分布式集群就已经搭建完成了,下一篇我们将搭建多节点分布式集群。

以上就是本文的全部内容,希望对大家的学习有所帮助。

本文地址:https://www.manongw.com/article/263.html

文章来源:转载于博客园,转载网址为https://www.cnblogs.com/fengweiweicoder/p/10816628.html

版权申明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 ezhongheng@126.com 举报,一经查实,本站将立刻删除。

相关文章
  • 本文主要介绍了IDEA创建Servlet并配置web.xml的实现的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-10-23 10:52
  • 本文主要介绍了关于Java8中map()和flatMap()的一些事的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-10-25 16:12
  • 本文主要介绍了Java Servlet请求重定向的方法的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-11-10 16:09
  • 本文主要介绍了史上最通俗理解的Java死锁代码演示的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-10-19 22:27
  • 本文主要介绍了springboot整合dubbo设置全局唯一ID进行日志追踪的示例代码的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-10-26 18:52
  • 本文主要介绍了Spring如何基于aop实现操作日志功能的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-11-10 10:29
  • 本文主要介绍了Java Servlet 运行原理分析的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-11-10 16:31
  • 本文主要介绍了Kafka单节点伪分布式集群搭建实现过程详解的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-11-12 12:08
  • 本文主要介绍了Spring Cloud Alibaba 之 Nacos教程详解的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-11-06 19:59
  • 本文主要介绍了基于springboot实现文件上传的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...
    2020-11-09 09:24