kafka的編譯和使用

一.kafka的使用
kafka官網(wǎng)提供了編譯好的二進制包，下載即用http://kafka.apache.org/downloads。最新版本的是1.1.0
Kafka是使用scala編寫的運行于jvm虛擬機上的程序，雖然也可以在windows上使用，但基本上是運行在linux服務(wù)器上，因此我們這里也使用linux（Fedora 20）來開始今天的實戰(zhàn)。
首先確保你的機器上安裝了jdk，kafka需要java運行環(huán)境，以前的kafka還需要zookeeper，新版的kafka已經(jīng)內(nèi)置了一個zookeeper環(huán)境，所以我們可以直接使用。
1.安裝jdk

我的Fedora 20是32位的，但是最新的JDK 10只有64位版本了，因此要下載老版本，JDK 7以上的版本就行。

歷史版本下載地址：http://www.oracle.com/technetwork/java/javase/archive-139210.html

我下載的是jdk-7u80-linux-i586.rpm

☆查看當(dāng)前的jdk情況

# rpm -qa|grep jdk

linux系統(tǒng)一般默認會安裝openjdk，據(jù)說是jdk的開源版本，先卸載之。

☆卸載openjdk

# yum -y remove java java-1.7.0-openjdk*

☆安裝jdk

# rpm -ivh jdk-7u80-linux-i586.rpm

因為安裝的是rpm包，所以不需要配置環(huán)境變量了，下面查看是否安裝成功。

☆查看jdk版本

# java -version

2.安裝kafka

說是安裝，實際上就是解壓。如果只需要進行最簡單的嘗試的話我們只需要解壓到任意目錄即可，這里我們將kafka壓縮包解壓到/home目錄。

> tar -xzf kafka_2.11-1.1.0.tgz
> cd kafka_2.11-1.1.0

3.使用kafka

啟動zookeeper

> bin/zookeeper-server-start.sh config/zookeeper.properties

啟動kafka

> bin/kafka-server-start.sh config/server.properties

創(chuàng)建topic，這里創(chuàng)建一個名為“test”的主題，該主題只有一個分區(qū)和一個副本

> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic

> bin/kafka-topics.sh --list --zookeeper localhost:2181
test

除了可以手動創(chuàng)建topic，還可以配置broker自動創(chuàng)建topic，當(dāng)向一個不存在的topic發(fā)布數(shù)據(jù)的時候
創(chuàng)建producer，停留在cmd終端，接受輸入，以回車發(fā)送，即每一行是一條單獨的消息

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

創(chuàng)建consumer，停留在cmd終端，顯示輸出

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

所有的命令行都有可選參數(shù)，如果不帶參數(shù)，會顯示詳細的使用信息

關(guān)閉zookeeper

> bin/zookeeper-server-stop.sh

實踐中發(fā)現(xiàn)并不能正常關(guān)閉，提示No zookeeper server to stop，需要將該shell文件修改如下

SIGNAL=${SIGNAL:-TERM}
PIDS=$(ps ax | grep java | grep -i zookeeper | grep -v grep | awk '{print $1}')

if [ -z "$PIDS" ]; then
  echo "No zookeeper server to stop"
  exit 1
else
  kill -s $SIGNAL $PIDS
fi

關(guān)閉kafka

> bin/kafka-server-stop.sh

實踐中發(fā)現(xiàn)并不能正常關(guān)閉，提示No kafka server to stop，需要將該shell文件修改如下

SIGNAL=${SIGNAL:-KILL}
PIDS=$(ps ax | grep -i kafka | grep java | grep -v grep | awk '{print $1}')

if [ -z "$PIDS" ]; then
  echo "No kafka server to stop"
  exit 1
else
  kill -s $SIGNAL $PIDS
fi

注意，這里的信號改成了SIGKILL，因為原來的SIGTERM信號根本就不能結(jié)束kafka服務(wù)。如果先關(guān)閉kafka服務(wù)，zookeeper也會一起關(guān)閉了。
二.kafka的編譯

會編譯，有備無患。下載源碼kafka-1.1.0-src.tgz

解壓，這里也解壓到/home目錄下

> tar -xzf kafka-1.1.0-src.tgz
> cd kafka-1.1.0-src

查看里面的README.md文檔，編譯依賴1.Gradle 3.0或更高版本；2.Java 7。jdk前面已經(jīng)安裝過了，現(xiàn)在安裝Gradle。

Gradle下載https://gradle.org/install/，該頁面指出Gradle依賴Java 7或更高版本。最新的Gradle版本是4.6，下載其編譯好的二進制包gradle-4.6-bin.zip。

解壓，這里也解壓到/home目錄下

$ unzip -d gradle-4.6-bin.zip
$ ls radle-4.6
LICENSE  NOTICE  bin  getting-started.html  init.d  lib  media

將bin添加到環(huán)境變量，編輯/etc/profile文件，在其末尾添加

export PATH=$PATH:/home/zhangcan/gradle-4.6/bin

使修改的profile立即生效

$ source /etc/profile

測試一下

$ gradle -v

CD到kafka源碼目錄，開始編譯

1.輸入gradle指令，開始下載環(huán)境

$ gradle

下載了一堆東西，如果提示有文件下載失敗，多執(zhí)行幾次該指令即可

2.編譯

$ ./gradlew releaseTarGz -x signArchives

還是下載了一堆東西，如果提示有文件下載失敗，多執(zhí)行幾次該指令即可。公司網(wǎng)速慢，編譯花了半個小時，編譯成功后會提示。

此時，會在kafka-1.1.0-src/core/build/distributions目錄下生成一個名為kafka_2.11-1.1.0.tgz的二進制包，這個包和從官網(wǎng)下載的二進制包是一毛一樣的。

編譯過程很順利，沒有發(fā)現(xiàn)任何問題。

參考鏈接：http://kafka.apache.org/quickstart