[導(dǎo)讀]相關(guān)閱讀:《eBPF技術(shù)應(yīng)用云原生網(wǎng)絡(luò)實(shí)踐系列之kubernetes網(wǎng)絡(luò)》背景介紹Kubernetes中的網(wǎng)絡(luò)功能,主要包括POD網(wǎng)絡(luò),service網(wǎng)絡(luò)和網(wǎng)絡(luò)策略組成。其中POD網(wǎng)絡(luò)和網(wǎng)絡(luò)策略,都是規(guī)定了模型,沒有提供默認(rèn)實(shí)現(xiàn)。而service網(wǎng)絡(luò)作為Kubernetes的特色...
相關(guān)閱讀:《eBPF技術(shù)應(yīng)用云原生網(wǎng)絡(luò)實(shí)踐系列之kubernetes網(wǎng)絡(luò)》
背景介紹
Kubernetes 中的網(wǎng)絡(luò)功能,主要包括 POD 網(wǎng)絡(luò),service 網(wǎng)絡(luò)和網(wǎng)絡(luò)策略組成。其中 POD 網(wǎng)絡(luò)和網(wǎng)絡(luò)策略,都是規(guī)定了模型,沒有提供默認(rèn)實(shí)現(xiàn)。而 service 網(wǎng)絡(luò)作為 Kubernetes 的特色部分,官方版本持續(xù)演進(jìn)了多種實(shí)現(xiàn):
service 實(shí)現(xiàn)
|
說明
|
userspace 代理模式
|
kube-proxy 負(fù)責(zé) list/watch,規(guī)則設(shè)置,用戶態(tài)轉(zhuǎn)發(fā)。
|
iptables 代理模式
|
kube-proxy 負(fù)責(zé) list/watch,規(guī)則設(shè)置。IPtables 相關(guān)內(nèi)核模塊負(fù)責(zé)轉(zhuǎn)發(fā)。
|
IPVS 代理模式
|
kube-proxy 負(fù)責(zé) list/watch,規(guī)則設(shè)置。IPVS 相關(guān)內(nèi)核模塊負(fù)責(zé)轉(zhuǎn)發(fā)。
|
在 Kubernetes 中先后出現(xiàn)的幾種 Service 實(shí)現(xiàn)中,整體都是為了提供更高的性能和擴(kuò)展性。
Service 網(wǎng)絡(luò),本質(zhì)上是一個(gè)分布式的服務(wù)器負(fù)載均衡,通過 daemonset 方式部署的 kube-proxy,監(jiān)聽 endpoint 和 service 資源,并在 node 本地生成轉(zhuǎn)發(fā)表項(xiàng)。目前在生產(chǎn)環(huán)境中主要是 iptables 和 IPVS 方式,原理如下:
在本文中,介紹使用 socket eBPF 在 socket 層面完成負(fù)載均衡的邏輯,消除了逐報(bào)文 NAT 轉(zhuǎn)換處理,進(jìn)一步提升 Service 網(wǎng)絡(luò)的轉(zhuǎn)發(fā)性能。
基于 socket eBPF 的數(shù)據(jù)面實(shí)現(xiàn)
socket eBPF 數(shù)據(jù)面簡(jiǎn)介
無論 kube-proxy 采用 IPVS 還是 tc eBPF 服務(wù)網(wǎng)絡(luò)加速模式,每個(gè)從 pod 發(fā)出網(wǎng)絡(luò)請(qǐng)求都必然經(jīng)過 IPVS 或者 tc eBPF,即 PODServicePOD,隨著流量的增加必然會(huì)有性能開銷, 那么是否可以直接在連接中將 service的clusterIP 的地址直接換成對(duì)應(yīng)的 pod ip?;?Kube-proxy IPVS 實(shí)現(xiàn)的 service 網(wǎng)絡(luò)服務(wù),是基于逐報(bào)處理 session 的方式來實(shí)現(xiàn)。
利用 socket eBPF,可以在不用直接處理報(bào)文和 NAT 轉(zhuǎn)換的前提下,實(shí)現(xiàn)了負(fù)載均衡邏輯。Service 網(wǎng)絡(luò)在同步上優(yōu)化成 PODPOD,從而使Service 網(wǎng)絡(luò)性能基本等同于 POD 網(wǎng)絡(luò)。軟件結(jié)構(gòu)如下:
在 Linux 內(nèi)核中,利用 BPF_PROG_TYPE_CGROUP_SOCK 類型的 eBPF hook 可以針對(duì) socket 系統(tǒng)調(diào)用掛接 hook,插入必要的 EBPF 程序。
-
通過 attach 到特定的 cgroup 的文件描述符,可以控制 hook 接口的作用范圍。
-
利用 sock eBPF hook,我們可以在 socket 層面劫持特定的 socket 接口,來完成完成負(fù)載均衡邏輯。
-
POD-SVC-POD 的轉(zhuǎn)發(fā)行為轉(zhuǎn)換成 POD-POD 的轉(zhuǎn)發(fā)行為。
當(dāng)前 Linux 內(nèi)核中不斷完善相關(guān)的 hook,支持更多的 bpf_attach_type,部分距離如下:BPF_CGROUP_INET_SOCK_CREATEBPF_CGROUP_INET4_BINDBPF_CGROUP_INET4_CONNECTBPF_CGROUP_UDP4_SENDMSGBPF_CGROUP_UDP4_RECVMSGBPF_CGROUP_GETSOCKOPTBPF_CGROUP_INET4_GETPEERNAMEBPF_CGROUP_INET_SOCK_RELEASE
TCP 工作流程
TCP 由于是有基于連接的,所以實(shí)現(xiàn)非常簡(jiǎn)明,只需要 hook connect 系統(tǒng)調(diào)用即可,如下所示:connect 系統(tǒng)調(diào)用劫持邏輯:1. 從 connect 調(diào)用上下文中取 dip dport,查找 svc 表。找不到則不處理返回。
2. 查找親和性會(huì)話,如果找到,得到 backend_id,轉(zhuǎn) 4。否則轉(zhuǎn) 3。
3. 隨機(jī)調(diào)度,分配一個(gè) backend。
4. 根據(jù) backend_id,查 be 表,得到 be 的 IP 端口。
5. 更新親和性信息。
6. 修改 connect 調(diào)用上下文中的 dip dport 為 be 的 ip port。
7. 完成。
在 socket 層面就完成了端口轉(zhuǎn)換,對(duì)于 TCP 的 clusterip 訪問,基本上可以等同于 POD 之間東西向的通信,將 clusterip 的開銷降到最低。
-
不需要逐包的 dnat 行為。
-
不需要逐包的查找 svc 的行為。
UDP 工作流程
UDP 由于是無連接的,實(shí)現(xiàn)要復(fù)雜一些,如下圖所示:nat_sk 表的定義參見:LB4_REVERSE_NAT_SK_MAP
劫持 connect 和 sendmsg 系統(tǒng)調(diào)用:1. 從系統(tǒng)調(diào)用調(diào)用上下文中取 dip dport,查找 svc 表。找不到則不處理返回。
2. 查找親和性會(huì)話,如果找到,得到 backend_id,轉(zhuǎn) 4,否則轉(zhuǎn) 3。
3. 隨機(jī)調(diào)度,分配一個(gè) backend。
4. 根據(jù) backend_id,查 be 表,得到 be 的 IP 端口。
5. 更新親和性的相關(guān)表。
6. 更新 nat_sk 表,key 為 be 的 ip port,value 為 svc的vip vport。
7. 修改系統(tǒng)調(diào)用上下文中的 dip dport 為 be 的 ip port。
8. 完成。劫持 recvmsg 系統(tǒng)調(diào)用1. 從系統(tǒng)調(diào)用上下文中遠(yuǎn)端 IP port,查找 NAT_SK 表,找不到則不處理返回。
2. 找到,取出其中的 IP port,用來查找 svc 表,找不到,則刪除 nat_sk 對(duì)應(yīng)表項(xiàng),返回。
3. 使用 nat_sk 中找到的 ip port,設(shè)置系統(tǒng)調(diào)用上下文中遠(yuǎn)端的 IP port。
4. 完成。關(guān)于地址修正問題
基于 socket eBPF 實(shí)現(xiàn)的 clusterIP,在上述基本轉(zhuǎn)發(fā)原理之外,還有一些特殊的細(xì)節(jié)需要考慮,其中一個(gè)需要特殊考慮就是 peer address 的問題。和 IPVS之類的實(shí)現(xiàn)不同,在 socket eBPF 的 clusterIP 上,client 是和直接和 backend 通信的,中間的 service 被旁路了。回顧一下轉(zhuǎn)發(fā)路徑如下:
此時(shí),如果 client 上的 APP 調(diào)用 getpeername 之類的接口查詢 peer address,這個(gè)時(shí)候獲取到的地址和 connect 發(fā)起的地址是不一致的,如果 app對(duì)于 peeraddr 有判斷或者特殊用途,可能會(huì)有意外情況。
針對(duì)這種情況,我們同樣可以通過 eBPF 在 socket 層面來修正:1、在guest kernel 上新增 bpf_attach_type,可以對(duì) getpeername 和 getsockname 增加 hook 處理。
2、發(fā)起連接的時(shí)候,在相應(yīng)的 socket hook 處理中,定義 map 記錄響應(yīng)的VIP:VPort 和 RSIP:RSPort 的對(duì)用關(guān)系。3、當(dāng) APP 要調(diào)用 getpeername/getsockname 接口的時(shí)候,利用 eBPF 程序修正返回的數(shù)據(jù):修改上下文中的遠(yuǎn)端的 IP port為vip vport。
總結(jié)
和TC-EBPF/IPVS性能對(duì)比
測(cè)試環(huán)境:4vcpu 8G mem 的安全容器實(shí)例,單 client 單 clusterip 12 backend。socket BPF:基于 socket ebpf 的 service 實(shí)現(xiàn)。tc eBPF:基于 cls-bpf 的 service 實(shí)現(xiàn),目前已經(jīng)在 ack 服務(wù)中應(yīng)用。IPVS-raw:去掉所有安全組規(guī)則和 veth 之類開銷,只有 IPVS 轉(zhuǎn)發(fā)邏輯的 service 實(shí)現(xiàn)。socket BPF 在所有性能指標(biāo)上,均有不同程度提升。大量并發(fā)的短連接,基本上吞吐提升 15%,時(shí)延降低 20%。轉(zhuǎn)發(fā)性能比較(QPS)90%轉(zhuǎn)發(fā)延時(shí)比較(ms)
繼續(xù)演進(jìn)
eBPF does to Linux what JavaScript does to HTML.-- Brendan Gregg基于 socket eBPF 實(shí)現(xiàn)的 service,大大簡(jiǎn)化了負(fù)載均衡的邏輯實(shí)現(xiàn),充分體現(xiàn)了 eBPF 靈活、小巧的特點(diǎn)。eBPF 的這些特點(diǎn)也很契合云原生場(chǎng)景,目前,該技術(shù)已在阿里云展開實(shí)踐,加速了 kubernetes 服務(wù)網(wǎng)絡(luò)。我們會(huì)繼續(xù)探索和完善更多的 eBPF 的應(yīng)用案例,比如 IPv6、network policy 等。
——完——加入龍蜥社群
加入微信群:添加社區(qū)助理-龍蜥社區(qū)小龍(微信:openanolis_assis),備注【龍蜥】拉你入群;加入釘釘群:掃描下方釘釘群二維碼。歡迎開發(fā)者/用戶加入龍蜥社區(qū)(OpenAnolis)交流,共同推進(jìn)龍蜥社區(qū)的發(fā)展,一起打造一個(gè)活躍的、健康的開源操作系統(tǒng)生態(tài)!
欲知詳情,請(qǐng)下載word文檔
下載文檔
本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。
關(guān)鍵字:
阿維塔
塞力斯
華為
加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...
關(guān)鍵字:
AWS
AN
BSP
數(shù)字化
倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...
關(guān)鍵字:
汽車
人工智能
智能驅(qū)動(dòng)
BSP
北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...
關(guān)鍵字:
亞馬遜
解密
控制平面
BSP
8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。
關(guān)鍵字:
騰訊
編碼器
CPU
8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。
關(guān)鍵字:
華為
12nm
EDA
半導(dǎo)體
8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。
關(guān)鍵字:
華為
12nm
手機(jī)
衛(wèi)星通信
要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...
關(guān)鍵字:
通信
BSP
電信運(yùn)營(yíng)商
數(shù)字經(jīng)濟(jì)
北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...
關(guān)鍵字:
VI
傳輸協(xié)議
音頻
BSP
北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...
關(guān)鍵字:
BSP
信息技術(shù)
山海路引?嵐悅新程 三亞2024年8月27日 /美通社/ --?近日,海南地區(qū)六家凱悅系酒店與中國(guó)高端新能源車企嵐圖汽車(VOYAH)正式達(dá)成戰(zhàn)略合作協(xié)議。這一合作標(biāo)志著兩大品牌在高端出行體驗(yàn)和環(huán)保理念上的深度融合,將...
關(guān)鍵字:
新能源
BSP
PLAYER
ASIA
上海2024年8月28日 /美通社/ -- 8月26日至8月28日,AHN LAN安嵐與股神巴菲特的孫女妮可?巴菲特共同開啟了一場(chǎng)自然和藝術(shù)的療愈之旅。 妮可·巴菲特在療愈之旅活動(dòng)現(xiàn)場(chǎng)合影 ...
關(guān)鍵字:
MIDDOT
BSP
LAN
SPI
8月29日消息,近日,華為董事、質(zhì)量流程IT總裁陶景文在中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式上表示,中國(guó)科技企業(yè)不應(yīng)怕美國(guó)對(duì)其封鎖。
關(guān)鍵字:
華為
12nm
EDA
半導(dǎo)體
上海2024年8月26日 /美通社/ -- 近日,全球領(lǐng)先的消費(fèi)者研究與零售監(jiān)測(cè)公司尼爾森IQ(NielsenIQ)迎來進(jìn)入中國(guó)市場(chǎng)四十周年的重要里程碑,正式翻開在華發(fā)展新篇章。自改革開放以來,中國(guó)市場(chǎng)不斷展現(xiàn)出前所未有...
關(guān)鍵字:
BSP
NI
SE
TRACE
上海2024年8月26日 /美通社/ -- 第二十二屆跨盈年度B2B營(yíng)銷高管峰會(huì)(CC2025)將于2025年1月15-17日在上海舉辦,本次峰會(huì)早鳥票注冊(cè)通道開啟,截止時(shí)間10月11日。 了解更多會(huì)議信息:cc.co...
關(guān)鍵字:
BSP
COM
AI
INDEX
上海2024年8月26日 /美通社/ -- 今日,高端全合成潤(rùn)滑油品牌美孚1號(hào)攜手品牌體驗(yàn)官周冠宇,開啟全新旅程,助力廣大車主通過駕駛?cè)ヌ剿鞲鼜V闊的世界。在全新發(fā)布的品牌視頻中,周冠宇及不同背景的消費(fèi)者表達(dá)了對(duì)駕駛的熱愛...
關(guān)鍵字:
BSP
汽車制造
此次發(fā)布標(biāo)志著Cision首次為亞太市場(chǎng)量身定制全方位的媒體監(jiān)測(cè)服務(wù)。 芝加哥2024年8月27日 /美通社/ -- 消費(fèi)者和媒體情報(bào)、互動(dòng)及傳播解決方案的全球領(lǐng)導(dǎo)者Cis...
關(guān)鍵字:
CIS
IO
SI
BSP
上海2024年8月27日 /美通社/ -- 近來,具有強(qiáng)大學(xué)習(xí)、理解和多模態(tài)處理能力的大模型迅猛發(fā)展,正在給人類的生產(chǎn)、生活帶來革命性的變化。在這一變革浪潮中,物聯(lián)網(wǎng)成為了大模型技術(shù)發(fā)揮作用的重要陣地。 作為全球領(lǐng)先的...
關(guān)鍵字:
模型
移遠(yuǎn)通信
BSP
高通
北京2024年8月27日 /美通社/ -- 高途教育科技公司(紐約證券交易所股票代碼:GOTU)("高途"或"公司"),一家技術(shù)驅(qū)動(dòng)的在線直播大班培訓(xùn)機(jī)構(gòu),今日發(fā)布截至2024年6月30日第二季度未經(jīng)審計(jì)財(cái)務(wù)報(bào)告。 2...
關(guān)鍵字:
BSP
電話會(huì)議
COM
TE
8月26日消息,華為公司最近正式啟動(dòng)了“華為AI百校計(jì)劃”,向國(guó)內(nèi)高校提供基于昇騰云服務(wù)的AI計(jì)算資源。
關(guān)鍵字:
華為
12nm
EDA
半導(dǎo)體