单台 Linux 能承载多少连接和TCP

[复制链接]

gaosmile 发布时间：2021-1-11 15:18

技术帖
文章封面:	-
文章简介:	-

本文给大家实操一下，看看我们在实际操作中，怎么去修改配置，又怎么让客户端和服务器一起把连接数提上去。

相信看了本文之后，大家对单台 Linux 能承载多少连接和TCP会有更深的了解。

echo "5000 65000" > /proc/sys/net/ipv4/ip_local_port_range

连接1：192.168.1.101 5000 192.168.1.100 8090
连接2：192.168.1.101 5001 192.168.1.100 8090
连接N：192.168.1.101 ... 192.168.1.100 8090
连接6W：192.168.1.101 65000 192.168.1.100 8090
* a$ g" D! S: w. h B6 N! P6 g
9 N! I0 G* h( j9 N6 E# c. B

//修改整个系统能打开的文件描述符为20W
echo 200000 > /proc/sys/fs/file-max

//修改所有用户每个进程可打开文件描述符为20W
#vi /etc/sysctl.conf
fs.nr_open=210000
#sysctl -p
#vi /etc/security/limits.conf
* soft nofile 200000
* hard nofile 200000

注意: limits中的hard limit不能超过nr_open, 所以要先改nr_open。而且最好是在sysctl.conf中改。避免重启的时候 hard limit生效了，nr_open不生效导致启动问题。

“socket中有一个主要的数据结构sock_common，在它里面有两个联合体。”

// file: include/net/sock.h
struct sock_common {
union {
  __addrpair skc_addrpair; //TCP连接IP对儿
  struct {
__be32 skc_daddr;
__be32 skc_rcv_saddr;
  };
};
union {
  __portpair skc_portpair; //TCP连接端口对儿
  struct {
__be16 skc_dport;
__u16 skc_num;
  };
};
......
}

“其中skc_addrpair记录的是TCP连接里的IP对儿，skc_portpair记录的是端口对儿。”

“在网络包到达网卡之后，依次经历DMA、硬中断、软中断等处理，最后被送到socket的接收队列中了。”

“对于TCP协议来说，协议处理的入口函数是tcp_v4_rcv。我们看一下它的代码”

// file: net/ipv4/tcp_ipv4.c
int tcp_v4_rcv(struct sk_buff *skb)
{
......
th = tcp_hdr(skb); //获取tcp header
iph = ip_hdr(skb); //获取ip header

sk = __inet_lookup_skb(&tcp_hashinfo, skb, th->source, th->dest);
......
}

// file: include/net/inet_hashtables.h
static inline struct sock *__inet_lookup(struct net *net,
   struct inet_hashinfo *hashinfo,
   const __be32 saddr, const __be16 sport,
   const __be32 daddr, const __be16 dport,
   const int dif)
{
u16 hnum = ntohs(dport);
struct sock *sk = __inet_lookup_established(net, hashinfo,
saddr, sport, daddr, hnum, dif);

return sk ? : __inet_lookup_listener(net, hashinfo, saddr, sport,
      daddr, hnum, dif);
}

“先判断有没有连接状态的socket，这会走到__inet_lookup_established函数中”

struct sock *__inet_lookup_established(struct net *net,
   struct inet_hashinfo *hashinfo,
   const __be32 saddr, const __be16 sport,
   const __be32 daddr, const u16 hnum,
   const int dif)
{
//将源端口、目的端口拼成一个32位int整数
const __portpair ports = INET_COMBINED_PORTS(sport, hnum);
......

//内核用hash的方法加速socket的查找
unsigned int hash = inet_ehashfn(net, daddr, hnum, saddr, sport);
unsigned int slot = hash & hashinfo->ehash_mask;
struct inet_ehash_bucket *head = &hashinfo->ehash[slot];

begin:
//遍历链表，逐个对比直到找到
sk_nulls_for_each_rcu(sk, node, &head->chain) {
  if (sk->sk_hash != hash)
continue;
  if (likely(INET_MATCH(sk, net, acookie,
      saddr, daddr, ports, dif))) {
if (unlikely(!atomic_inc_not_zero(&sk->sk_refcnt)))
goto begintw;
if (unlikely(!INET_MATCH(sk, net, acookie,
   saddr, daddr, ports, dif))) {
sock_put(sk);
goto begin;
}
goto out;
  }
}
}

// include/net/inet_hashtables.h
#define INET_MATCH(__sk, __net, __cookie, __saddr, __daddr, __ports, __dif) \
((inet_sk(__sk)->inet_portpair == (__ports)) &&  \
  (inet_sk(__sk)->inet_daddr == (__saddr)) &&  \
  (inet_sk(__sk)->inet_rcv_saddr == (__daddr)) &&  \
  (!(__sk)->sk_bound_dev_if || \
((__sk)->sk_bound_dev_if == (__dif)))  &&  \
  net_eq(sock_net(__sk), (__net)))

“在INET_MATCH中将网络包tcp header中的__saddr、__daddr、__ports和Linux中的socket中inet_portpair、inet_daddr、inet_rcv_saddr进行对比。如果匹配socket就找到了。当然除了ip和端口，INET_MATCH还比较了其它一些东东，所以TCP还有五元组、七元组之类的说法。”

# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.2 (Santiago)

# ss -ant | grep ESTAB |wc -l
1000013

# cat /proc/meminfo
MemTotal:       3925408 kB
MemFree:          97748 kB
Buffers:          35412 kB
Cached:          119600 kB
......
Slab:          3241528 kB