漫畫 | 理解了TCP連接的實(shí)現(xiàn)以后,客戶端的并發(fā)也爆發(fā)了!
echo "5000 65000" > /proc/sys/net/ipv4/ip_local_port_range
- 連接1:192.168.1.101 5000 192.168.1.100 8090
- 連接2:192.168.1.101 5001 192.168.1.100 8090
- 連接N:192.168.1.101 ... 192.168.1.100 8090
-
連接6W:192.168.1.101 65000 192.168.1.100 8090
//修改整個(gè)系統(tǒng)能打開的文件描述符為20W echo 200000 > /proc/sys/fs/file-max //修改所有用戶每個(gè)進(jìn)程可打開文件描述符為20W #vi /etc/sysctl.conf fs.nr_open=210000 #sysctl -p #vi /etc/security/limits.conf * soft nofile 200000 * hard nofile 200000
注意: limits中的hard limit不能超過nr_open, 所以要先改nr_open。而且最好是在sysctl.conf中改。避免重啟的時(shí)候 hard limit生效了,nr_open不生效導(dǎo)致啟動(dòng)問題。
“socket中有一個(gè)主要的數(shù)據(jù)結(jié)構(gòu)sock_common,在它里面有兩個(gè)聯(lián)合體?!?/span>
// file: include/net/sock.h struct sock_common { union { __addrpair skc_addrpair; //TCP連接IP對(duì)兒 struct { __be32 skc_daddr; __be32 skc_rcv_saddr; }; }; union { __portpair skc_portpair; //TCP連接端口對(duì)兒 struct { __be16 skc_dport; __u16 skc_num; }; }; ...... }
“其中skc_addrpair記錄的是TCP連接里的IP對(duì)兒,skc_portpair記錄的是端口對(duì)兒。”
“在網(wǎng)絡(luò)包到達(dá)網(wǎng)卡之后,依次經(jīng)歷DMA、硬中斷、軟中斷等處理,最后被送到socket的接收隊(duì)列中了?!?/span>
“對(duì)于TCP協(xié)議來說,協(xié)議處理的入口函數(shù)是tcp_v4_rcv。我們看一下它的代碼”
// file: net/ipv4/tcp_ipv4.c int tcp_v4_rcv(struct sk_buff *skb) { ...... th = tcp_hdr(skb); //獲取tcp header iph = ip_hdr(skb); //獲取ip header sk = __inet_lookup_skb(&tcp_hashinfo, skb, th->source, th->dest); ...... }
// file: include/net/inet_hashtables.h static inline struct sock *__inet_lookup(struct net *net, struct inet_hashinfo *hashinfo, const __be32 saddr, const __be16 sport, const __be32 daddr, const __be16 dport, const int dif) { u16 hnum = ntohs(dport); struct sock *sk = __inet_lookup_established(net, hashinfo, saddr, sport, daddr, hnum, dif); return sk ? : __inet_lookup_listener(net, hashinfo, saddr, sport, daddr, hnum, dif); }
“先判斷有沒有連接狀態(tài)的socket,這會(huì)走到__inet_lookup_established函數(shù)中”
struct sock *__inet_lookup_established(struct net *net, struct inet_hashinfo *hashinfo, const __be32 saddr, const __be16 sport, const __be32 daddr, const u16 hnum, const int dif) { //將源端口、目的端口拼成一個(gè)32位int整數(shù) const __portpair ports = INET_COMBINED_PORTS(sport, hnum); ...... //內(nèi)核用hash的方法加速socket的查找 unsigned int hash = inet_ehashfn(net, daddr, hnum, saddr, sport); unsigned int slot = hash & hashinfo->ehash_mask; struct inet_ehash_bucket *head = &hashinfo->ehash[slot]; begin: //遍歷鏈表,逐個(gè)對(duì)比直到找到 sk_nulls_for_each_rcu(sk, node, &head->chain) { if (sk->sk_hash != hash) continue; if (likely(INET_MATCH(sk, net, acookie, saddr, daddr, ports, dif))) { if (unlikely(!atomic_inc_not_zero(&sk->sk_refcnt))) goto begintw; if (unlikely(!INET_MATCH(sk, net, acookie, saddr, daddr, ports, dif))) { sock_put(sk); goto begin; } goto out; } } }
// include/net/inet_hashtables.h #define INET_MATCH(__sk, __net, __cookie, __saddr, __daddr, __ports, __dif) \ ((inet_sk(__sk)->inet_portpair == (__ports)) && \ (inet_sk(__sk)->inet_daddr == (__saddr)) && \ (inet_sk(__sk)->inet_rcv_saddr == (__daddr)) && \ (!(__sk)->sk_bound_dev_if || \ ((__sk)->sk_bound_dev_if == (__dif))) && \ net_eq(sock_net(__sk), (__net)))
“在INET_MATCH中將網(wǎng)絡(luò)包tcp header中的__saddr、__daddr、__ports和Linux中的socket中inet_portpair、inet_daddr、inet_rcv_saddr進(jìn)行對(duì)比。如果匹配socket就找到了。當(dāng)然除了ip和端口,INET_MATCH還比較了其它一些東東,所以TCP還有五元組、七元組之類的說法?!?/span>
# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.2 (Santiago) # ss -ant | grep ESTAB |wc -l 1000013 # cat /proc/meminfo MemTotal: 3925408 kB MemFree: 97748 kB Buffers: 35412 kB Cached: 119600 kB ...... Slab: 3241528 kB
總結(jié)
客戶端每建立一個(gè)連接就要消耗一個(gè)端口,所以很多同學(xué)當(dāng)看到客戶端機(jī)器上連接數(shù)一旦超過3W、5W就緊張的不行,總覺得機(jī)器要出問題了。
這篇文章的第一版也是很早就寫出來了,不過飛哥又打磨了好長(zhǎng)時(shí)間才算滿意。在文中我們展示了一下 TCP socket的部分內(nèi)核代碼。通過源碼來看:
TCP連接就是在客戶機(jī)、服務(wù)器上的一對(duì)兒的socket。它們都在各自內(nèi)核對(duì)象上記錄了雙方的ip對(duì)兒、端口對(duì)兒(也就是我們常說的四元組),通過這個(gè)在通信時(shí)找到對(duì)方。
TCP連接發(fā)送方在發(fā)送網(wǎng)絡(luò)包的時(shí)候,會(huì)把這份信息復(fù)制到IP Header上。網(wǎng)絡(luò)包帶著這份信物穿過互聯(lián)網(wǎng),到達(dá)目的服務(wù)器。目的服務(wù)器內(nèi)核會(huì)按照 IP 包 header 中攜帶的信物(四元組)去匹配找到正確的socket(連接)。
在這個(gè)過程里我們可以看到,客戶端的端口只是這個(gè)四元組里的一元而已。哪怕兩條連接用的是同一個(gè)端口號(hào),只要客戶端ip不一樣,或者是服務(wù)器不一樣都不影響內(nèi)核正確尋找到對(duì)應(yīng)的連接,而不會(huì)串線!
所以在客戶端增加TCP最大并發(fā)能力有兩個(gè)方法。第一個(gè)辦法,為客戶端配置多個(gè)ip。第二個(gè)辦法,連接多個(gè)不同的server。
不過這兩個(gè)辦法最好不要混用。因?yàn)槭褂枚?IP 時(shí),客戶端需要bind。一旦bind之后,內(nèi)核建立連接的時(shí)候就不會(huì)選擇用過的端口了。bind函數(shù)會(huì)改變內(nèi)核選擇端口的策略~~
最后我們親手實(shí)驗(yàn)證明了客戶端也可以突破百萬的并發(fā)量級(jí)。相信讀過此文的你,以后再也不用再懼怕65535這個(gè)數(shù)字了。
免責(zé)聲明:本文內(nèi)容由21ic獲得授權(quán)后發(fā)布,版權(quán)歸原作者所有,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。文章僅代表作者個(gè)人觀點(diǎn),不代表本平臺(tái)立場(chǎng),如有問題,請(qǐng)聯(lián)系我們,謝謝!