Kafka集群配置

        服务器配置

  • 10.8.8.90
  • 10.8.8.91
  • 10.8.8.92
  • 硬盘挂载/home/hifo

一、安装JDK

        首先下载JDK，官网下载地址

        下载后解压

1
2
tar zxvf jdk-8u111-linux-x64.tar.gz
mv jdk1.8.0_111/ /usr/local/

        编译文件

1
vim /etc/profile.d/java.sh

        加入配置

1
2
3
4
5
6
JAVA_HOME=/usr/local/jdk1.8.0_111/
JAVA_BIN=/usr/local/jdk1.8.0_111/bin
JRE_HOME=/usr/local/jdk1.8.0_111/jre
PATH=$PATH:/usr/local/jdk1.8.0_111/bin:/usr/local/jdk1.8.0_111/jre/bin
CLASSPATH=/usr/local/jdk1.8.0_111/jre/lib:/usr/local/jdk1.8.0_111/lib:/usr/local/jdk1.8.0_111/jre/lib/charsets.jar
export JAVA_HOME JAVA_BIN JRE_HOME PATH CLASSPATH

        然后初始化环境变量

1
source /etc/profile.d/java.sh

        如果以上配置成功，下面就可以看到java的版本

1
2
3
4
java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

二、kafka集群搭建

1、zookeeper集群搭建（kafka自带zookeeper，但之前以单独搭建zookeeper集群，这里不再搭建）

2、下载安装kafka

1
cd /usr/local/src

        官方下载地址

        解压

1
tar zxvf kafka_2.11-1.0.0.tgz
1
mv /usr/local/src/kafka_2.11-1.0.0 /usr/local/kafka

3、修改配置文件

        进入到config目录

1
cd /usr/local/kafka/config

        编辑配置文件

1
vim /server.properties

        修改配置文件

01

02

03

        server.properties配置文件的修改主要在开头和结尾，中间保持默认配置即可；需要注意的是broker.id的值，三个节点要配置不同的值，分别配置为0，1，2；log.dirs必须保证目录存在，不会根据配置文件自动生成。

        实际修改项为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#broker.id=0  每台服务器的broker.id都不能相同
#hostname
host.name=10.8.8.90
#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=10.8.8.85:2181,10.8.8.86:2181,10.8.8.87:2181
# message.max.byte=5242880
# default.replication.factor=2
# replica.fetch.max.bytes=5242880

4、启动kafka集群

        进入kafka/bin目录

1
./kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

        三个节点均要启动；启动无报错，即搭建成功。

        检查服务是否启动

04