2019-05-31

zookeeper和kafka的集群部署

zookeeper+kafka集群搭建需要提前准备好安装并配置了jdk环境。

基本环境

软件

软件的下载
  wget http://www.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz	
  wget http://www.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
  wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz 

结果  
-rw-r--r--. 1 root root 67938106 Jan  2 21:24 apache-flume-1.9.0-bin.tar.gz
-rw-r--r--. 1 root root 63999924 Mar 23 08:57 kafka_2.11-2.2.0.tgz
-rw-r--r--. 1 root root 37676320 Apr  1 22:44 zookeeper-3.4.14.tar.gz

三台虚拟机

10.1.1.34 10.1.1.35 10.1.1.57

环境安装

Java JDK 安装

yum -y install java-1.8.0-openjdk*
安装结果： 
java -version 
openjdk version "1.8.0_212"
OpenJDK Runtime Environment (build 1.8.0_212-b04)
OpenJDK 64-Bit Server VM (build 25.212-b04, mixed mode)

安装zookeeper+kafka

zookeeper安装配置

cd /usr/local
tar -zxvf zookeeper-3.4.14.tar.gz
mv ./zookeeper-3.4.14  ./zookeeper
vim ./zookeeper/conf/zoo.cfg 
# 修改配置 三台服务器的配置文件是一样的

tickTime=2000 initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/zkdata
dataDirLog=/tmp/zookeeper/zkdatalog
clientPort=2181
server.35=10.1.1.35:2888:3888
server.34=10.1.1.34:2888:3888
server.57=10.1.1.57:2888:3888

# 创建myid
myid的存放目录 /tmp/zookeeper/zkdata

# 各台服务器分别配置myid
echo "34" > /tmp/zookeeper/zkdata/myid
echo "35" > /tmp/zookeeper/zkdata/myid
echo "57" > /tmp/zookeeper/zkdata/myid

kafka安装配置

cd /usr/local
tar -zxvf kafka_2.11-2.2.0.tgz
mv ./kafka_2.11-2.2.0  ./kafka
vim ./kafka/conf/server.properties 
修改配置

# 个服务器分开配置
broker.id=1
advertised.listeners=PLAINTEXT://10.1.1.35:9092
zookeeper.connect=10.1.1.35:2181,10.1.1.34:2181,10.1.1.57:2181

broker.id=2
advertised.listeners=PLAINTEXT://10.1.1.34:9092
zookeeper.connect=10.1.1.35:2181,10.1.1.34:2181,10.1.1.57:2181

broker.id=3
advertised.listeners=PLAINTEXT://10.1.1.57:9092
zookeeper.connect=10.1.1.35:2181,10.1.1.34:2181,10.1.1.57:2181