本篇文章主要是手把手教你搭建 ELK 實時日志分析平臺，那么，ELK 到底是什么呢？

ELK 是三個開源項目的首字母縮寫，這三個項目分別是：Elasticsearch、Logstash 和 Kibana。

• Elasticsearch 是一個 搜索和分析引擎。
• Logstash 是 服務器端數(shù)據(jù)處理管道，能夠同時從多個來源采集數(shù)據(jù)，轉換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到諸如 Elasticsearch 等存儲庫中。
• Kibana 則可以讓用戶在 Elasticsearch 中 使用圖形和圖表對數(shù)據(jù)進行可視化。

Elasticsearch 的核心是搜索引擎，所以用戶開始將其用于日志用例，并希望能夠輕松地對日志進行采集和可視化。有鑒于此，Elastic 引入了強大的采集管道 Logstash 和靈活的可視化工具 Kibana。

ELK日志系統(tǒng)數(shù)據(jù)流圖如下：

簡短了解 ELK 是個啥后，讓我們一起動手搭建 ELK 實時日志分析平臺，首先安裝 Elasticsearch。

注：ELK 環(huán)境搭建版本很關鍵，建議統(tǒng)一版本，避免錯誤無處下手，我在這里選用的是 7.1.0 版本。

ElasticSearch 介紹與安裝

ElasticSearch 的介紹與安裝在上一篇文章已經講過了，這里就不進行贅述了，大家可以點擊下方鏈接查看：

全文搜索引擎 Elasticsearch 入門：集群搭建

如果你已經了解并安裝好 Elasticsearch，那么就跟著我一起往下一步進發(fā)：了解并安裝 Kibana。

Kibana 介紹與安裝

這部分主要講解如何下載并安裝 Kibana，以及如何安裝 Kibana 插件，同時會針對 Kibana 的界面進行簡單的介紹。

首先讓我們來看下 Kibana 究竟是何物？

什么是 Kibana？

Kibana 是為 Elasticsearch 設計的開源分析和可視化平臺，你可以使用 Kibana 來搜索，查看存儲在 Elasticsearch 索引中的數(shù)據(jù)并與之交互，你可以很容易實現(xiàn)高級的數(shù)據(jù)分析和可視化，以圖標的形式展現(xiàn)出來。

在簡單了解了 Kibana 后，讓我們來到 Kibana 的下載網站 https://www.elastic.co/cn/downloads/kibana ，目前使用的是 Windows 系統(tǒng)，因此下載 Windows 版本的 Kibana 下載包 kibana-7.1.0-windows-x86_64.zip。

運行 Kibana

下載完成后在本地解壓，如果需要對 Kibana 做一些定制，可以在 config 目錄下 編輯 kibana.yml 文件，在運行 Kibana 之前需要先運行 ElasticSearch（以下簡稱 ES），因為 Kibana 是基于 ES 運行的，現(xiàn)在進入 bin 目錄下打開 kibana.bat 就可以運行 Kibana 了，我們現(xiàn)在打開瀏覽器，Kibana 是運行在 5601 端口上的，因此打開 http://localhost:5601，打開后會出現(xiàn)如下頁面：

導入樣例數(shù)據(jù)，查看 Dashboard

進入首頁后會提示我們可以添加一些測試數(shù)據(jù)，ES 在 Kibana 開箱即用的版本中，已經為我們準備了三種樣例數(shù)據(jù)，電商網站的訂單，航空公司的飛行記錄以及 WEB 網站的日志，我們可以點擊 Add data，把他們添加進來，添加完成后，我們可以打開 Dashboards 界面，就可以看到系統(tǒng)已經為我們創(chuàng)建了數(shù)據(jù)的 Dashboard。

第一個是電商的利潤報表，我們可以打開來看一下：

在 Dashboard 中，我們可以將多套可視結果整合至單一頁面內，而后提供搜索查詢或者點擊可視結果內的某元素指定過濾條件，從而實現(xiàn)結果過濾，Dashboard 能夠幫助我們更全面地了解總體日志內容，并將各可視結果同日志關聯(lián)起來，以上就是 Kibana 的 Dashboard 功能。

Dev Tools

接下來介紹 Kibana 里面非常有用的工具 Dev Tools，其實就是可以很方便地在 Kibana 中執(zhí)行 ES 中的一些 API，比如我們上文講到的檢測有哪些節(jié)點在運行：GET /_cat/nodes?v，這樣我們就能在 Kibana 中運行 ES 命令了。

另外，Kibana 的 Dev Tools 還有許多的快捷菜單操作，比如 Ctrl + / 可以查看 API 幫助文檔，其他的大家可以去自行摸索。

安裝與查看插件

Kibana 可以通過插件的方式來提供一些 Kibana 中的特定應用或者增強圖表展示的功能，Kibana 安裝插件和 ES 非常相似。

輸入 kibana-plugin install kibana-plugin install https://github.com/sivasamyk/logtrail/releases/download/v0.1.31/logtrail-7.1.0-0.1.31.zip 就可以下載 LogTrail 插件了。

在 cmd 中輸入 kibana-plugin list 可以查看本機已安裝的 Kibana 插件。

如果想移除插件可以使用 kibana-plugin remove logtrail 命令來進行移除插件。

到此為止，我們就下載并安裝完成 Kibana，并對 Kibana 主要功能進行簡單介紹，還介紹了 Dev Tools，大家可以自己在本地進行實踐操作下。

目前就差 ELK 三兄弟的最后一個：Logstash，讓我們一起學習下。

Logstash 介紹與安裝

這部分主要是下載并安裝 Logstash，并通過 Logstash 將測試數(shù)據(jù)集導入到 ES 中。

話不多說，首先讓我們來了解下 Logstash 是個啥？

什么是 Logstash？

Logstash 是開源的服務器端數(shù)據(jù)處理管道，能夠同時從多個來源采集數(shù)據(jù)，轉換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到您最喜歡的存儲庫中。

Logstash 能夠動態(tài)地采集、轉換和傳輸數(shù)據(jù)，不受格式或復雜度的影響。利用 Grok 從非結構化數(shù)據(jù)中派生出結構，從 IP 地址解碼出地理坐標，匿名化或排除敏感字段，并簡化整體處理過程。

數(shù)據(jù)往往以各種各樣的形式，或分散或集中地存在于很多系統(tǒng)中。Logstash 支持各種輸入選擇 ，可以在同一時間從眾多常用來源捕捉事件，能夠以連續(xù)的流式傳輸方式，輕松地從您的日志、指標、Web 應用、數(shù)據(jù)存儲以及各種 AWS 服務采集數(shù)據(jù)。

再了解過后，讓我們去下載安裝 Logstash。

安裝 Logstash

還是來到 Logstash 的官網，進入到下載頁面 https://www.elastic.co/cn/downloads/logstash，下載的時候注意要和 ES 和 Kibana 的版本相同，這里下載的為 7.1.0 版本 logstash-7.1.0.zip。

下載后進行解壓，也可以進入 conf 目錄下修改 logstash.conf 進行配置，運行的時候可以通過指定配置文件 logstash -f logstash.conf 就可以執(zhí)行數(shù)據(jù)的插入和轉換的工作。

再安裝完成之后，讓我們來使用 Logstash 往 ES 中導入數(shù)據(jù)。

用 Logstash 導入 ES

下面我們來導入測試數(shù)據(jù)集，首先修改 logstash.conf 文件，內容為：

input { file { path => ["D:/SoftWare/logstash-7.1.0/csv/movies.csv"] start_position => "beginning" sincedb_path => "D:/SoftWare/logstash-7.1.0/csv/null" }}filter { csv { separator => "," columns => ["id","content","genre"] }
 mutate { split => { "genre" => "|" } remove_field => ["path", "host","@timestamp","message"] }
 mutate {
 split => ["content", "("] add_field => { "title" => "%{[content][0]}"} add_field => { "year" => "%{[content][1]}"} }
 mutate { convert => { "year" => "integer" } strip => ["title"] remove_field => ["path", "host","@timestamp","message","content"] }
}output { elasticsearch { hosts => "http://localhost:9200" index => "movies" document_id => "%{id}" } stdout {}}

測試數(shù)據(jù)集來自 Movielens ：https://grouplens.org/datasets/movielens/，大家可以前往下載。配置文件中的 path 根據(jù)自己下載的測試文件路徑去修改。另外，配置文件的邏輯將在以后的文章中進行講解。

現(xiàn)在來執(zhí)行命令 logstash -f logstash.conf 來把數(shù)據(jù)導入 ES。當看到數(shù)據(jù)打印到控制臺時，數(shù)據(jù)也正在被寫入 ES 中。

到此為止，我們就成功安裝了 Logstash，并通過 Logstash 將測試數(shù)據(jù)集寫入 ES，同時我們的 ELK 實時日志分析平臺就搭建完成了。

補充

在通過 Logstash 將測試數(shù)據(jù)集寫入 ES 后，小伙伴會發(fā)現(xiàn) movies 索引狀態(tài)為 yellow，不用擔心，yellow 代表有副本分片沒有被分配。

因為只在本機之啟動了一個節(jié)點，而 movies 的索引設置了一個主分片一個副本分片，主副分片是無法分配在一個節(jié)點上的。

解決方法：修改索引 setting，將副本 replica 設置成 0，或者為集群增加一個節(jié)點，狀態(tài)就會變?yōu)?green。

總結

本文主要了解了什么是 ELK，然后通過實際操作和大家一起搭建了一個 ELK 日志分析平臺，如果在搭建過程中有什么問題，歡迎留言交流討論。

參考文獻

https://www.elastic.co/guide/en/kibana/7.1/index.html

https://www.elastic.co/guide/en/logstash/7.1/index.html

Elasticsearch核心技術與實戰(zhàn)