當(dāng)前位置:首頁(yè) > 公眾號(hào)精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]一、寫在前面?ES(Elasticsearch下文統(tǒng)一稱為ES)越來(lái)越多的企業(yè)在業(yè)務(wù)場(chǎng)景是使用ES存儲(chǔ)自己的非結(jié)構(gòu)化數(shù)據(jù),例如電商業(yè)務(wù)實(shí)現(xiàn)商品站內(nèi)搜索,數(shù)據(jù)指標(biāo)分析,日志分析等,ES作為傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的補(bǔ)充,提供了關(guān)系型數(shù)據(jù)庫(kù)不具備的一些能力。ES最先進(jìn)入大眾視野的是其能夠?qū)崿F(xiàn)...




一、寫在前面



ES(Elasticsearch下文統(tǒng)一稱為ES)越來(lái)越多的企業(yè)在業(yè)務(wù)場(chǎng)景是使用ES存儲(chǔ)自己的非結(jié)構(gòu)化數(shù)據(jù),例如電商業(yè)務(wù)實(shí)現(xiàn)商品站內(nèi)搜索,數(shù)據(jù)指標(biāo)分析,日志分析等,ES作為傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的補(bǔ)充,提供了關(guān)系型數(shù)據(jù)庫(kù)不具備的一些能力。



ES最先進(jìn)入大眾視野的是其能夠?qū)崿F(xiàn)全文搜索的能力,也是由于基于Lucene的實(shí)現(xiàn),內(nèi)部有一種倒排索引的數(shù)據(jù)結(jié)構(gòu)。



本文作者將介紹ES的分布式架構(gòu),以及ES的存儲(chǔ)索引機(jī)制,本文不會(huì)詳細(xì)介紹ES的API,會(huì)從整體架構(gòu)層面進(jìn)行分析,后續(xù)作者會(huì)有其他文章對(duì)ES的使用進(jìn)行介紹。



二、什么是倒排索引



要講明白什么是倒排索引,首先我們先梳理下什么索引,比如一本書(shū),書(shū)的目錄頁(yè),有章節(jié),章節(jié)名稱,我們想看哪個(gè)章節(jié),我們通過(guò)目錄頁(yè),查到對(duì)應(yīng)章節(jié)和頁(yè)碼,就能定位到具體的章節(jié)內(nèi)容,通過(guò)目錄頁(yè)的章節(jié)名稱查到章節(jié)的頁(yè)碼,進(jìn)而看到章節(jié)內(nèi)容,這個(gè)過(guò)程就是一個(gè)索引的過(guò)程,那么什么是倒排索引呢?



比如查詢《java編程思想》這本書(shū)的文章,翻開(kāi)書(shū)本可以看到目錄頁(yè),記錄這個(gè)章節(jié)名字和章節(jié)地址頁(yè)碼,通過(guò)查詢章節(jié)名字“繼承”可以定位到“繼承”這篇章節(jié)的具體地址,查看到文章的內(nèi)容,我們可以看到文章內(nèi)容中包含很多“對(duì)象”這個(gè)詞。



那么如果我們要在這本書(shū)中查詢所有包含有“對(duì)象”這個(gè)詞的文章,那該怎么辦呢?



按照現(xiàn)在的索引方式無(wú)疑大海撈針,假設(shè)我們有一個(gè)“對(duì)象”--→文章的映射關(guān)系,不就可以了嗎?類似這樣的反向建立映射關(guān)系的就叫倒排索引。



如圖1所示,將文章進(jìn)行分詞后得到關(guān)鍵詞,在根據(jù)關(guān)鍵詞建立倒排索引,關(guān)鍵詞構(gòu)建成一個(gè)詞典,詞典中存放著一個(gè)個(gè)詞條(關(guān)鍵詞),每個(gè)關(guān)鍵詞都有一個(gè)列表與其對(duì)應(yīng),這個(gè)列表就是倒排表,存放的是章節(jié)文檔編號(hào)和詞頻等信息,倒排列表中的每個(gè)元素就是一個(gè)倒排項(xiàng),最后可以看到,整個(gè)倒排索引就像一本新華字典,所有單詞的倒排列表往往順序地存儲(chǔ)在磁盤的某個(gè)文件里,這個(gè)文件被稱之為倒排文件。



分布式搜索引擎Elasticsearch的架構(gòu)分析


(圖1)



詞典和倒排文件是Lucene的兩種基本數(shù)據(jù)結(jié)構(gòu),但是存儲(chǔ)方式不同,詞典在內(nèi)存中存儲(chǔ),倒排文件在磁盤上。本文不會(huì)去介紹分詞,tf-idf,BM25,向量空間相似度等構(gòu)建倒排索引和查詢倒排索引所用到的技術(shù),讀者只需要對(duì)倒排索引有個(gè)基本的認(rèn)識(shí)即可。



三、ES的集群架構(gòu)



1. 集群節(jié)點(diǎn)



一個(gè)ES集群可以有多個(gè)節(jié)點(diǎn)構(gòu)成,一個(gè)節(jié)點(diǎn)就是一個(gè)ES服務(wù)實(shí)例,通過(guò)配置集群名稱cluster.name加入集群。那么節(jié)點(diǎn)是如何通過(guò)配置相同的集群名稱加入集群的呢?要搞明白這個(gè)問(wèn)題,我們必須先搞清楚ES集群中節(jié)點(diǎn)的角色。



ES中節(jié)點(diǎn)有角色的區(qū)分的,通過(guò)配置文件conf/elasticsearch.yml中配置以下配置進(jìn)行角色的設(shè)定。


node.master: true/falsenode.data: true/false


集群中單個(gè)節(jié)點(diǎn)既可以是候選主節(jié)點(diǎn)也可以是數(shù)據(jù)節(jié)點(diǎn),通過(guò)上面的配置可以進(jìn)行兩兩組合形成四大分類:



(1)僅為候選主節(jié)點(diǎn)
(2)既是候選主節(jié)點(diǎn)也是數(shù)據(jù)節(jié)點(diǎn)
(3)僅為數(shù)據(jù)節(jié)點(diǎn)
(4)既不是候選主節(jié)點(diǎn)也不是數(shù)據(jù)節(jié)點(diǎn)



候選主節(jié)點(diǎn):只有是候選主節(jié)點(diǎn)才可以參與選舉投票,也只有候選主節(jié)點(diǎn)可以被選舉為主節(jié)點(diǎn)。



主節(jié)點(diǎn):負(fù)責(zé)索引的添加、刪除,跟蹤哪些節(jié)點(diǎn)是群集的一部分,對(duì)分片進(jìn)行分配、收集集群中各節(jié)點(diǎn)的狀態(tài)等,穩(wěn)定的主節(jié)點(diǎn)對(duì)集群的健康是非常重要。



數(shù)據(jù)節(jié)點(diǎn):負(fù)責(zé)對(duì)數(shù)據(jù)的增、刪、改、查、聚合等操作,數(shù)據(jù)的查詢和存儲(chǔ)都是由數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé),對(duì)機(jī)器的CPU,IO以及內(nèi)存的要求比較高,一般選擇高配置的機(jī)器作為數(shù)據(jù)節(jié)點(diǎn)。



此外還有一種節(jié)點(diǎn)角色叫做協(xié)調(diào)節(jié)點(diǎn),其本身不是通過(guò)設(shè)置來(lái)分配的,用戶的請(qǐng)求可以隨機(jī)發(fā)往任何一個(gè)節(jié)點(diǎn),并由該節(jié)點(diǎn)負(fù)責(zé)分發(fā)請(qǐng)求、收集結(jié)果等操作,而不需要主節(jié)點(diǎn)轉(zhuǎn)發(fā)。這種節(jié)點(diǎn)可稱之為協(xié)調(diào)節(jié)點(diǎn),集群中的任何節(jié)點(diǎn)都可以充當(dāng)協(xié)調(diào)節(jié)點(diǎn)的角色。每個(gè)節(jié)點(diǎn)之間都會(huì)保持聯(lián)系。



分布式搜索引擎Elasticsearch的架構(gòu)分析


(圖2)



2. 發(fā)現(xiàn)機(jī)制



前文說(shuō)到通過(guò)設(shè)置一個(gè)集群名稱,節(jié)點(diǎn)就可以加入集群,那么ES是如何做到這一點(diǎn)的呢?



這里就要講一講ES特殊的發(fā)現(xiàn)機(jī)制ZenDiscovery。



ZenDiscovery是ES的內(nèi)置發(fā)現(xiàn)機(jī)制,提供單播和多播兩種發(fā)現(xiàn)方式,主要職責(zé)是集群中節(jié)點(diǎn)的發(fā)現(xiàn)以及選舉Master節(jié)點(diǎn)。



多播也叫組播,指一個(gè)節(jié)點(diǎn)可以向多臺(tái)機(jī)器發(fā)送請(qǐng)求。生產(chǎn)環(huán)境中ES不建議使用這種方式,對(duì)于一個(gè)大規(guī)模的集群,組播會(huì)產(chǎn)生大量不必要的通信。



單播,當(dāng)一個(gè)節(jié)點(diǎn)加入一個(gè)現(xiàn)有集群,或者組建一個(gè)新的集群時(shí),請(qǐng)求發(fā)送到一臺(tái)機(jī)器。當(dāng)一個(gè)節(jié)點(diǎn)聯(lián)系到單播列表中的成員時(shí),它就會(huì)得到整個(gè)集群所有節(jié)點(diǎn)的狀態(tài),然后它會(huì)聯(lián)系Master節(jié)點(diǎn),并加入集群。



只有在同一臺(tái)機(jī)器上運(yùn)行的節(jié)點(diǎn)才會(huì)自動(dòng)組成集群。ES 默認(rèn)被配置為使用單播發(fā)現(xiàn),單播列表不需要包含集群中的所有節(jié)點(diǎn),它只是需要足夠的節(jié)點(diǎn),當(dāng)一個(gè)新節(jié)點(diǎn)聯(lián)系上其中一個(gè)并且通信就可以了。如果你使用 Master 候選節(jié)點(diǎn)作為單播列表,你只要列出三個(gè)就可以了。



這個(gè)配置在 elasticsearch.yml 文件中:


discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]


集群信息收集階段采用了 Gossip 協(xié)議,上面配置的就相當(dāng)于一個(gè)seed nodes,Gossip協(xié)議這里就不多做贅述了。



ES官方建議unicast.hosts配置為所有的候選主節(jié)點(diǎn),ZenDiscovery 會(huì)每隔ping_interval(配置項(xiàng))ping一次,每次超時(shí)時(shí)間是discovery.zen.ping_timeout(配置項(xiàng)),3次(ping_retries配置項(xiàng))ping失敗則認(rèn)為節(jié)點(diǎn)宕機(jī),宕機(jī)的情況下會(huì)觸發(fā)failover,會(huì)進(jìn)行分片重分配、復(fù)制等操作。



如果宕機(jī)的節(jié)點(diǎn)不是Master,則Master會(huì)更新集群的元信息,Master節(jié)點(diǎn)將最新的集群元信息發(fā)布出去,給其他節(jié)點(diǎn),其他節(jié)點(diǎn)回復(fù)Ack,Master節(jié)點(diǎn)收到discovery.zen.minimum_master_nodes的值-1個(gè) 候選主節(jié)點(diǎn)的回復(fù),則發(fā)送Apply消息給其他節(jié)點(diǎn),集群狀態(tài)更新完畢。如果宕機(jī)的節(jié)點(diǎn)是Master,則其他的候選主節(jié)點(diǎn)開(kāi)始Master節(jié)點(diǎn)的選舉流程。



2.1 選主



Master的選主過(guò)程中要確保只有一個(gè)master,ES通過(guò)一個(gè)參數(shù)quorum的代表多數(shù)派閾值,保證選舉出的master被至少quorum個(gè)的候選主節(jié)點(diǎn)認(rèn)可,以此來(lái)保證只有一個(gè)master。



選主的發(fā)起由候選主節(jié)點(diǎn)發(fā)起,當(dāng)前候選主節(jié)點(diǎn)發(fā)現(xiàn)自己不是master節(jié)點(diǎn),并且通過(guò)ping其他節(jié)點(diǎn)發(fā)現(xiàn)無(wú)法聯(lián)系到主節(jié)點(diǎn),并且包括自己在內(nèi)已經(jīng)有超過(guò)minimum_master_nodes個(gè)節(jié)點(diǎn)無(wú)法聯(lián)系到主節(jié)點(diǎn),那么這個(gè)時(shí)候則發(fā)起選主。



選主流程圖



分布式搜索引擎Elasticsearch的架構(gòu)分析



(圖3)



選主的時(shí)候按照集群節(jié)點(diǎn)的參數(shù) 排序。stateVersion從大到小排序,以便選出集群元信息較新的節(jié)點(diǎn)作為Master,id從小到大排序,避免在stateVersion相同時(shí)發(fā)生分票無(wú)法選出 Master。



排序后第一個(gè)節(jié)點(diǎn)即為Master節(jié)點(diǎn)。當(dāng)一個(gè)候選主節(jié)點(diǎn)發(fā)起一次選舉時(shí),它會(huì)按照上述排序策略選出一個(gè)它認(rèn)為的Master。



2.2 腦裂



提到分布式系統(tǒng)選主,不可避免的會(huì)提到腦裂這樣一個(gè)現(xiàn)象,什么是腦裂呢?如果集群中選舉出多個(gè)Master節(jié)點(diǎn),使得數(shù)據(jù)更新時(shí)出現(xiàn)不一致,這種現(xiàn)象稱之為腦裂。



簡(jiǎn)而言之集群中不同的節(jié)點(diǎn)對(duì)于 Master的選擇出現(xiàn)了分歧,出現(xiàn)了多個(gè)Master競(jìng)爭(zhēng)。



一般而言腦裂問(wèn)題可能有以下幾個(gè)原因造成:


  • 網(wǎng)絡(luò)問(wèn)題:集群間的網(wǎng)絡(luò)延遲導(dǎo)致一些節(jié)點(diǎn)訪問(wèn)不到Master,認(rèn)為Master 掛掉了,而master其實(shí)并沒(méi)有宕機(jī),而選舉出了新的Master,并對(duì)Master上的分片和副本標(biāo)紅,分配新的主分片。



  • 節(jié)點(diǎn)負(fù)載:主節(jié)點(diǎn)的角色既為Master又為Data,訪問(wèn)量較大時(shí)可能會(huì)導(dǎo)致 ES 停止響應(yīng)(假死狀態(tài))造成大面積延遲,此時(shí)其他節(jié)點(diǎn)得不到主節(jié)點(diǎn)的響應(yīng)認(rèn)為主節(jié)點(diǎn)掛掉了,會(huì)重新選取主節(jié)點(diǎn)。



  • 內(nèi)存回收:主節(jié)點(diǎn)的角色既為Master又為Data,當(dāng)Data節(jié)點(diǎn)上的ES進(jìn)程占用的內(nèi)存較大,引發(fā)JVM的大規(guī)模內(nèi)存回收,造成ES進(jìn)程失去響應(yīng)。



如何避免腦裂:我們可以基于上述原因,做出優(yōu)化措施:


  • 適當(dāng)調(diào)大響應(yīng)超時(shí)時(shí)間,減少誤判。通過(guò)參數(shù) discovery.zen.ping_timeout 設(shè)置節(jié)點(diǎn)ping超時(shí)時(shí)間,默認(rèn)為 3s,可以適當(dāng)調(diào)大。



  • 選舉觸發(fā),我們需要在候選節(jié)點(diǎn)的配置文件中設(shè)置參數(shù) discovery.zen.munimum_master_nodes 的值。這個(gè)參數(shù)表示在選舉主節(jié)點(diǎn)時(shí)需要參與選舉的候選主節(jié)點(diǎn)的節(jié)點(diǎn)數(shù),默認(rèn)值是 1,官方建議取值(master_eligibel_nodes/2) 1,其中 master_eligibel_nodes 為候選主節(jié)點(diǎn)的個(gè)數(shù)。這樣做既能防止腦裂現(xiàn)象的發(fā)生,也能最大限度地提升集群的高可用性,因?yàn)橹灰簧儆?discovery.zen.munimum_master_nodes 個(gè)候選節(jié)點(diǎn)存活,選舉工作就能正常進(jìn)行。當(dāng)小于這個(gè)值的時(shí)候,無(wú)法觸發(fā)選舉行為,集群無(wú)法使用,不會(huì)造成分片混亂的情況。



  • 角色分離,即是上面我們提到的候選主節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)進(jìn)行角色分離,這樣可以減輕主節(jié)點(diǎn)的負(fù)擔(dān),防止主節(jié)點(diǎn)的假死狀態(tài)發(fā)生,減少對(duì)主節(jié)點(diǎn)宕機(jī)的誤判。



四、索引如何寫入的



1.  寫索引原理



1.1 分片



ES支持PB級(jí)全文搜索,通常我們數(shù)據(jù)量很大的時(shí)候,查詢性能都會(huì)越來(lái)越慢,我們能想到的一個(gè)方式的將數(shù)據(jù)分散到不同的地方存儲(chǔ),ES也是如此,ES通過(guò)水平拆分的方式將一個(gè)索引上的數(shù)據(jù)拆分出來(lái)分配到不同的數(shù)據(jù)塊上,拆分出來(lái)的數(shù)據(jù)庫(kù)塊稱之為一個(gè)分片Shard,很像MySQL的分庫(kù)分表。



不同的主分片分布在不同的節(jié)點(diǎn)上,那么在多分片的索引中數(shù)據(jù)應(yīng)該被寫入哪里?肯定不能隨機(jī)寫,否則查詢的時(shí)候就無(wú)法快速檢索到對(duì)應(yīng)的數(shù)據(jù)了,這需要有一個(gè)路由策略來(lái)確定具體寫入哪一個(gè)分片中,怎么路由我們下文會(huì)介紹。在創(chuàng)建索引的時(shí)候需要指定分片的數(shù)量,并且分片的數(shù)量一旦確定就不能修改。



1.2 副本



副本就是對(duì)分片的復(fù)制,每個(gè)主分片都有一個(gè)或多個(gè)副本分片,當(dāng)主分片異常時(shí),副本可以提供數(shù)據(jù)的查詢等操作。主分片和對(duì)應(yīng)的副本分片是不會(huì)在同一個(gè)節(jié)點(diǎn)上的,避免數(shù)據(jù)的丟失,當(dāng)一個(gè)節(jié)點(diǎn)宕機(jī)的時(shí)候,還可以通過(guò)副本查詢到數(shù)據(jù),副本分片數(shù)的最大值是 N-1(其中 N 為節(jié)點(diǎn)數(shù))。



對(duì)doc的新建、索引和刪除請(qǐng)求都是寫操作,這些寫操作是必須在主分片上完成,然后才能被復(fù)制到對(duì)應(yīng)的副本上。ES為了提高寫入的能力這個(gè)過(guò)程是并發(fā)寫的,同時(shí)為了解決并發(fā)寫的過(guò)程中數(shù)據(jù)沖突的問(wèn)題,ES通過(guò)樂(lè)觀鎖的方式控制,每個(gè)文檔都有一個(gè) _version號(hào),當(dāng)文檔被修改時(shí)版本號(hào)遞增。



一旦所有的副本分片都報(bào)告寫成功才會(huì)向協(xié)調(diào)節(jié)點(diǎn)報(bào)告成功,協(xié)調(diào)節(jié)點(diǎn)向客戶端報(bào)告成功。



分布式搜索引擎Elasticsearch的架構(gòu)分析


(圖4)



1.3 Elasticsearch 的寫索引流程



上面提到了寫索引是只能寫在主分片上,然后同步到副本分片,那么如圖4所示,這里有四個(gè)主分片分別是S0、S1、S2、S3,一條數(shù)據(jù)是根據(jù)什么策略寫到指定的分片上呢?這條索引數(shù)據(jù)為什么被寫到S0上而不寫到 S1 或 S2 上?這個(gè)過(guò)程是根據(jù)下面這個(gè)公式?jīng)Q定的。


shard = hash(routing) % number_of_primary_shards


以上公式的值是在0到number_of_primary_shards-1之間的余數(shù),也就是數(shù)據(jù)檔所在分片的位置。routing通過(guò)Hash函數(shù)生成一個(gè)數(shù)字,然后這個(gè)數(shù)字再除以number_of_primary_shards(主分片的數(shù)量)后得到余數(shù)。routing是一個(gè)可變值,默認(rèn)是文檔的_id ,也可以設(shè)置成一個(gè)自定義的值。



在一個(gè)寫請(qǐng)求被發(fā)送到某個(gè)節(jié)點(diǎn)后,該節(jié)點(diǎn)按照前文所述,會(huì)充當(dāng)協(xié)調(diào)節(jié)點(diǎn),會(huì)根據(jù)路由公式計(jì)算出寫哪個(gè)分片,當(dāng)前節(jié)點(diǎn)有所有其他節(jié)點(diǎn)的分片信息,如果發(fā)現(xiàn)對(duì)應(yīng)的分片是在其他節(jié)點(diǎn)上,再將請(qǐng)求轉(zhuǎn)發(fā)到該分片的主分片節(jié)點(diǎn)上。



在ES集群中每個(gè)節(jié)點(diǎn)都通過(guò)上面的公式知道數(shù)據(jù)的在集群中的存放位置,所以每個(gè)節(jié)點(diǎn)都有接收讀寫請(qǐng)求的能力。



那么為什么在創(chuàng)建索引的時(shí)候就確定好主分片的數(shù)量,并且不可修改?因?yàn)槿绻麛?shù)量變化了,那么所有之前路由計(jì)算的值都會(huì)無(wú)效,數(shù)據(jù)也就再也找不到了。



分布式搜索引擎Elasticsearch的架構(gòu)分析



( 圖5)



如上圖5所示,當(dāng)前一個(gè)數(shù)據(jù)通過(guò)路由計(jì)算公式得到的值是 shard=hash(routing)%4=0,則具體流程如下:


(1)數(shù)據(jù)寫請(qǐng)求發(fā)送到 node1 節(jié)點(diǎn),通過(guò)路由計(jì)算得到值為1,那么對(duì)應(yīng)的數(shù)據(jù)會(huì)應(yīng)該在主分片S1上。



(2)node1節(jié)點(diǎn)將請(qǐng)求轉(zhuǎn)發(fā)到 S1 主分片所在的節(jié)點(diǎn)node2,node2 接受請(qǐng)求并寫入到磁盤。



(3)并發(fā)將數(shù)據(jù)復(fù)制到三個(gè)副本分片R1上,其中通過(guò)樂(lè)觀并發(fā)控制數(shù)據(jù)的沖突。一旦所有的副本分片都報(bào)告成功,則節(jié)點(diǎn) node2將向node1節(jié)點(diǎn)報(bào)告成功,然后node1節(jié)點(diǎn)向客戶端報(bào)告成功。



這種模式下,只要有副本在,寫入延時(shí)最小也是兩次單分片的寫入耗時(shí)總和,效率會(huì)較低,但是這樣的好處也很明顯,避免寫入后單個(gè)機(jī)器硬件故障導(dǎo)致數(shù)據(jù)丟失,在數(shù)據(jù)完整性和性能方面,一般都是優(yōu)先選擇數(shù)據(jù),除非一些允許丟數(shù)據(jù)的特殊場(chǎng)景。



在ES里為了減少磁盤IO保證讀寫性能,一般是每隔一段時(shí)間(比如30分鐘)才會(huì)把數(shù)據(jù)寫入磁盤持久化,對(duì)于寫入內(nèi)存,但還未flush到磁盤的數(shù)據(jù),如果發(fā)生機(jī)器宕機(jī)或者掉電,那么內(nèi)存中的數(shù)據(jù)也會(huì)丟失,這時(shí)候如何保證?



對(duì)于這種問(wèn)題,ES借鑒數(shù)據(jù)庫(kù)中的處理方式,增加CommitLog模塊,在ES中叫transLog,在下面的ES存儲(chǔ)原理中會(huì)介紹。



2.  存儲(chǔ)原理



上面介紹了在ES內(nèi)部的寫索引處理流程,數(shù)據(jù)在寫入到分片和副本上后,目前數(shù)據(jù)在內(nèi)存中,要確保數(shù)據(jù)在斷電后不丟失,還需要持久化到磁盤上。



我們知道ES是基于Lucene實(shí)現(xiàn)的,內(nèi)部是通過(guò)Lucene完成的索引的創(chuàng)建寫入和搜索查詢,Lucene 工作原理如下圖所示,當(dāng)新添加一片文檔時(shí),Lucene進(jìn)行分詞等預(yù)處理,然后將文檔索引寫入內(nèi)存中,并將本次操作寫入事務(wù)日志(transLog),transLog類似于mysql的binlog,用于宕機(jī)后內(nèi)存數(shù)據(jù)的恢復(fù),保存未持久化數(shù)據(jù)的操作日志。



默認(rèn)情況下,Lucene每隔1s(refresh_interval配置項(xiàng))將內(nèi)存中的數(shù)據(jù)刷新到文件系統(tǒng)緩存中,稱為一個(gè)segment(段)。一旦刷入文件系統(tǒng)緩存,segment才可以被用于檢索,在這之前是無(wú)法被檢索的。



因此refresh_interval決定了ES數(shù)據(jù)的實(shí)時(shí)性,因此說(shuō)ES是一個(gè)準(zhǔn)實(shí)時(shí)的系統(tǒng)。segment 在磁盤中是不可修改的,因此避免了磁盤的隨機(jī)寫,所有的隨機(jī)寫都在內(nèi)存中進(jìn)行。隨著時(shí)間的推移,segment越來(lái)越多,默認(rèn)情況下,Lucene每隔30min或segment 空間大于512M,將緩存中的segment持久化落盤,稱為一個(gè)commit point,此時(shí)刪掉對(duì)應(yīng)的transLog。



當(dāng)我們?cè)谶M(jìn)行寫操作的測(cè)試的時(shí)候,可以通過(guò)手動(dòng)刷新來(lái)保障數(shù)據(jù)能夠被及時(shí)檢索到,但是不要在生產(chǎn)環(huán)境下每次索引一個(gè)文檔都去手動(dòng)刷新,刷新操作會(huì)有一定的性能開(kāi)銷。一般業(yè)務(wù)場(chǎng)景中并不都需要每秒刷新。



可以通過(guò)在 Settings 中調(diào)大 refresh_interval = "30s" 的值,來(lái)降低每個(gè)索引的刷新頻率,設(shè)值時(shí)需要注意后面帶上時(shí)間單位,否則默認(rèn)是毫秒。當(dāng) refresh_interval=-1 時(shí)表示關(guān)閉索引的自動(dòng)刷新。



分布式搜索引擎Elasticsearch的架構(gòu)分析


(圖6)



索引文件分段存儲(chǔ)并且不可修改,那么新增、更新和刪除如何處理呢?



  • 新增,新增很好處理,由于數(shù)據(jù)是新的,所以只需要對(duì)當(dāng)前文檔新增一個(gè)段就可以了。



  • 刪除,由于不可修改,所以對(duì)于刪除操作,不會(huì)把文檔從舊的段中移除而是通過(guò)新增一個(gè) .del 文件,文件中會(huì)列出這些被刪除文檔的段信息,這個(gè)被標(biāo)記刪除的文檔仍然可以被查詢匹配到, 但它會(huì)在最終結(jié)果被返回前從結(jié)果集中移除。



  • 更新,不能修改舊的段來(lái)進(jìn)行文檔的更新,其實(shí)更新相當(dāng)于是刪除和新增這兩個(gè)動(dòng)作組成。會(huì)將舊的文檔在 .del 文件中標(biāo)記刪除,然后文檔的新版本中被索引到一個(gè)新的段??赡軆蓚€(gè)版本的文檔都會(huì)被一個(gè)查詢匹配到,但被刪除的那個(gè)舊版本文檔在結(jié)果集返回前就會(huì)被移除。



segment被設(shè)定為不可修改具有一定的優(yōu)勢(shì)也有一定的缺點(diǎn)。



優(yōu)點(diǎn):


  • 不需要鎖。如果你從來(lái)不更新索引,你就不需要擔(dān)心多進(jìn)程同時(shí)修改數(shù)據(jù)的問(wèn)題。


  • 一旦索引被讀入內(nèi)核的文件系統(tǒng)緩存,便會(huì)留在哪里,由于其不變性。只要文件系統(tǒng)緩存中還有足夠的空間,那么大部分讀請(qǐng)求會(huì)直接請(qǐng)求內(nèi)存,而不會(huì)命中磁盤。這提供了很大的性能提升.


  • 其它緩存(像 Filter 緩存),在索引的生命周期內(nèi)始終有效。它們不需要在每次數(shù)據(jù)改變時(shí)被重建,因?yàn)閿?shù)據(jù)不會(huì)變化。


  • 寫入單個(gè)大的倒排索引允許數(shù)據(jù)被壓縮,減少磁盤 I/O 和需要被緩存到內(nèi)存的索引的使用量。



缺點(diǎn):


  • 當(dāng)對(duì)舊數(shù)據(jù)進(jìn)行刪除時(shí),舊數(shù)據(jù)不會(huì)馬上被刪除,而是在 .del 文件中被標(biāo)記為刪除。而舊數(shù)據(jù)只能等到段更新時(shí)才能被移除,這樣會(huì)造成大量的空間浪費(fèi)。


  • 若有一條數(shù)據(jù)頻繁的更新,每次更新都是新增新的,標(biāo)記舊的,則會(huì)有大量的空間浪費(fèi)。


  • 每次新增數(shù)據(jù)時(shí)都需要新增一個(gè)段來(lái)存儲(chǔ)數(shù)據(jù)。當(dāng)段的數(shù)量太多時(shí),對(duì)服務(wù)器的資源例如文件句柄的消耗會(huì)非常大。


  • 在查詢的結(jié)果中包含所有的結(jié)果集,需要排除被標(biāo)記刪除的舊數(shù)據(jù),這增加了查詢的負(fù)擔(dān)。



2.1  段合并



由于每當(dāng)刷新一次就會(huì)新建一個(gè)segment(段),這樣會(huì)導(dǎo)致短時(shí)間內(nèi)的段數(shù)量暴增,而segment數(shù)目太多會(huì)帶來(lái)較大的麻煩。大量的segment會(huì)影響數(shù)據(jù)的讀性能。每一個(gè)segment都會(huì)消耗文件句柄、內(nèi)存和CPU 運(yùn)行周期。



更重要的是,每個(gè)搜索請(qǐng)求都必須輪流檢查每個(gè)segment然后合并查詢結(jié)果,所以segment越多,搜索也就越慢。



因此Lucene會(huì)按照一定的策略將segment合并,合并的時(shí)候會(huì)將那些舊的已刪除文檔從文件系統(tǒng)中清除。被刪除的文檔不會(huì)被拷貝到新的大segment中。



合并的過(guò)程中不會(huì)中斷索引和搜索,倒排索引的數(shù)據(jù)結(jié)構(gòu)使得文件的合并是比較容易的。



段合并在進(jìn)行索引和搜索時(shí)會(huì)自動(dòng)進(jìn)行,合并進(jìn)程選擇一小部分大小相似的段,并且在后臺(tái)將它們合并到更大的段中,這些段既可以是未提交的也可以是已提交的。



合并結(jié)束后老的段會(huì)被刪除,新的段被刷新到磁盤,同時(shí)寫入一個(gè)包含新段且排除舊的和較小的段的新提交點(diǎn),新的段被打開(kāi),可以用來(lái)搜索。段合并的計(jì)算量龐大,而且還要吃掉大量磁盤 I/O,并且段合并會(huì)拖累寫入速率,如果任其發(fā)展會(huì)影響搜索性能。



ES在默認(rèn)情況下會(huì)對(duì)合并流程進(jìn)行資源限制,所以搜索性能可以得到保證。





(圖7)



五、寫在最后



作者對(duì)ES的架構(gòu)原理和索引存儲(chǔ)和寫機(jī)制進(jìn)行介紹,ES的整體架構(gòu)體系相對(duì)比較巧妙,我們?cè)谶M(jìn)行系統(tǒng)設(shè)計(jì)的時(shí)候可以借鑒其設(shè)計(jì)思路,本文只介紹ES整體架構(gòu)部分,更多的內(nèi)容,后續(xù)作者會(huì)在其他文章中繼續(xù)分享。




本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開(kāi)幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉