|
SO_REUSEPORT 选项在Linux 3.9被引入内核,在这之前也有一个很像的选项SO_REUSEADDR。 如果你不太清楚这两者的区别和联系,建议搜索 How do SO_REUSEADDR and SO_REUSEPORT differ?。 如果不想读,那么下面这一节算是为懒人准备的。
SO_REUSEADDR 与 SO_REUSEPORT 是什么?0 j# Y* b u( k% Y2 t* h TCP/UDP用五元组唯一标识一个连接。 任何时候,两条连接的五元组都不能完全相同,否则当收到一个报文时,协议栈没办法判断它是属于哪个连接的。
五元组里,protocol在创建socket时确定,<src addr>和<src port>在bind()时确定,<dest addr>和<dest port>在connect()时确定。 当然,bind()和connect()在一些时候并不需要显式使用,不过这不在本文的讨论范围里。 那么,如果对socket设置了SO_REUSEADDR和SO_REUSEPORT选项,它们什么时候起作用呢? 答案是bind(),也就在确定<src addr>和<src port>时。 不同操作系统内核对待SO_REUSEADDR和SO_REUSEPORT的行为有少许差异,但它们都源自BSD。 因此,接下来就以BSD的实现为标准进行说明。 SO_REUSEADDR假设我现在需要bind()将socketA绑定到A:X,将socketB绑定到B:Y(不考虑X=0或者Y=0,因为0表示让内核自动分配端口,一定不会冲突)。 如果X!=Y,那么无论A和B的关系如何,两个bind()都会成功。但如果X==Y,那么结果会是下面这样: SO_REUSEADDR socketA socketB Result--------------------------------------------------------------------- t: _! A, J. Z- O2 s! g/ u ON/OFF 192.168.0.1:21 192.168.0.1:21 Error (EADDRINUSE)( e `+ }" u4 j! J ON/OFF 192.168.0.1:21 10.0.0.1:21 OK ON/OFF 10.0.0.1:21 192.168.0.1:21 OK OFF 0.0.0.0:21 192.168.1.0:21 Error (EADDRINUSE)" w9 `1 O; o! ]7 x0 b; L9 e OFF 192.168.1.0:21 0.0.0.0:21 Error (EADDRINUSE) ON 0.0.0.0:21 192.168.1.0:21 OK ON 192.168.1.0:21 0.0.0.0:21 OK ON/OFF 0.0.0.0:21 0.0.0.0:21 Error (EADDRINUSE) 第一列表示是否设置SO_REUSEADDR注,最后一列表示后绑定的socket是否能绑定成功。 注:这里设置的对象是指后绑定的socket(也就是说不关心前一个是否设置) 可以看出,BSD的实现中SO_REUSEADDR可以让一个使用通配地址(0.0.0.0),一个使用指定地址(192.168.1.0)的socket同时绑定成功。 SO_REUSEADDR还有一种应用情景:在TCP中存在一个TIME_WAIT状态,它是指主动关闭的一端最后停留的阶段。 假设socketA绑定到A:X,在完成TCP通信后主动使用close(),进入TIME_WAIT,此时,如果socketB也去绑定A:X,那么同样会得到 EADDRINUSE 错误,但如果socketB设置了SO_REUSEADDR,那么就可以绑定成功。 SO_REUSEPORT如果理解了SO_REUSEADDR,那么SO_REUSEPORT就很好理解了,它让两个socket可以绑定完全相同的<IP SO_REUSEPORT socketA socketB Result3 u, x D! }& q0 |7 ^" d; S ort>。---------------------------------------------------------------------2 @; e* b0 e: j+ H ON 192.168.0.1:21 192.168.0.1:21 OK 提醒一下,以上的结果都是BSD的结果,Linux内核有一些不一样的地方,具体表现为
--------------------------------------------------------------------- ON/OFF 192.168.0.1:21 0.0.0.0:21 Error (EADDRINUSE)
---------------------------------------------------------------------" e* A: u5 k/ x1 Z* h ON 192.168.0.2:55555 192.168.0.2:55555 OK Linux中reuseport的演进 7 A( @2 m$ ^$ [! v. V Linux < 3.9& w4 z3 M" V( u) L* W1 q 下面看看具体是怎么做的: 内核socket使用skc_reuse字段表示是否设置了SO_REUSEADDR /* omitted */ ~! F/ } K, j5 e' S% @ unsigned char skc_reuse; /* omitted */ } int sock_setsockopt(struct socket *sock, int level, int optname,...! A, \4 s2 L/ R7 S { ...... case SO_REUSEADDR:8 _7 _- P/ Q, |2 z/ N sk->sk_reuse = (valbool ? SK_CAN_REUSE : SK_NO_REUSE);; ^4 y0 O" E9 x. G# q break;* G j. [5 z+ G1 T1 z3 w/ L } inet_bind_bucket表示一个绑定的端口。 struct inet_bind_bucket {/* omitted */1 c. ?" z- j: L6 H) S2 @) T8 [ unsigned short port; signed short fastreuse;" W. [3 k @6 ~7 B int num_owners;* ^" \+ K' W$ S3 u1 u struct hlist_node node; struct hlist_head owners; }; 上面结构中的fastreuse表示该端口是否支持共享,所有共享该端口的socket挂到owner成员上。在用户使用bind()时,内核使用TCP:inet_csk_get_port(),UDP:udp_v4_get_port()来绑定端口。 /* inet_connection_Sock.c: inet_csk_get_port() */) F$ v+ L' C1 \8 \* m' ^% }. vtb_found: if (!hlist_empty(&tb->owners)) { ...... if (tb->fastreuse > 0 &&! u2 F( u0 j; ]1 G6 k2 p9 k sk->sk_reuse && sk->sk_state != TCP_LISTEN &&) H+ L* X! |& r( |0 ?/ \! { smallest_size == -1) { goto success; 所以,当该端口支持共享,且socket也设置了SO_REUSEADDR并且不为LISTEN状态时,此次bind()可以成功。 3.9 =< Linux < 4.53.9版本内核增加了对SO_REUSEPORT的支持,listener可以绑定到相同的<IP ort>了。这个时候,当Server收到Client发送的SYN报文时,会选择其中一个socket进行响应。 具体到实现,3.9版本扩展了sock_common,将原来记录skc_reuse进行了拆分. struct sock_common {unsigned short skc_family;& P9 V! ^3 p' B) a! L' _) x# L volatile unsigned char skc_state; - unsigned char skc_reuse;7 w' o I; K0 u& \$ Q$ z + unsigned char skc_reuse:4; + unsigned char skc_reuseport:4;6 a- m4 \' d( z+ @0 _& `- U , ]8 ]2 Y& B" h1 j/ \# [7 b * s/ m; W# E% ?, R) g @@ int sock_setsockopt(struct socket *sock, int level, int optname, case SO_REUSEADDR:. @& Z- g" o. b0 Z sk->sk_reuse = (valbool ? SK_CAN_REUSE : SK_NO_REUSE);! [1 x4 D6 B3 f8 Y R) V( ]( g, w break; + case SO_REUSEPORT: + sk->sk_reuseport = valbool;1 g. w+ P6 D5 z5 w1 r$ n9 N. F + break; r% A3 o% \. q" W 然后对inet_bind_bucket也相应进行了扩展 struct inet_bind_bucket {/* omitted */ unsigned short port;: F3 u4 q8 k2 e; X- y2 D+ o" W - signed short fastreuse; + signed char fastreuse; + signed char fastreuseport;- V% B& i! v- [' u1 m2 U7 P9 z + kuid_t fastuid; 而在绑定端口时,增加了一个队reuseport的通过条件 /* inet_connection_sock.c: inet_csk_get_port() */tb_found: if (sk->sk_reuse == SK_FORCE_REUSE) goto success;1 t# K5 c; F' V% v - if (tb->fastreuse > 0 && - sk->sk_reuse && sk->sk_state != TCP_LISTEN && + if (((tb->fastreuse > 0 &&. \4 ^- d, ?; x$ W; o) ]: I9 b2 q + sk->sk_reuse && sk->sk_state != TCP_LISTEN) ||6 p; O# q+ D; r8 X. [0 N + (tb->fastreuseport > 0 &&- ?- y5 x8 l6 \5 z) I. U0 F9 S: m4 A + sk->sk_reuseport && uid_eq(tb->fastuid, uid))) ' m1 k! W, h8 }; ] && smallest_size == -1) {. f9 u+ `7 |# \, G, C/ I goto success; 而当Client的SYN报文到达时,Server会首先根据本地端口(SYN报文的<dport>)计算出一条hash冲突链,然后遍历该链表上的所有Socket,根据四元组匹配程度进行打分; 如果使能了reuseport,那么可能有多个Socket都将拿到最高分,此时内核将随机选择一个进行后续处理。 /* inet_hashtables.c */# c% a$ r$ C. ^, M9 t& h# jstruct sock *__inet_lookup_listener(struct......) {, D, _/ `( O3 a( N& N7 E3 X) u struct sock *sk, *result;; B( C, A( b H T- {, l unsigned int hash = inet_lhashfn(net, hnum); struct inet_listen_hashbucket *ilb = &hashinfo->listening_hash[hash]; // 根据本地端口找到hash冲突链4 F9 e) Q% n( A- Y+ _ /* code omitted */ result = NULL;; X# |$ W! k/ T3 }+ x hiscore = 0; sk_nulls_for_each_rcu(sk, node, &ilb->head) { score = compute_score(sk, net, hnum, daddr, dif); // 根据匹配程度进行打分: s: D8 x: c6 \4 F! U5 s& | if (score > hiscore) {* h6 {: z8 D. Z8 e result = sk;4 k0 t: p4 x1 k7 a9 ~ hiscore = score;9 F" F) Z2 B0 x# N reuseport = sk->sk_reuseport;( k$ P5 l7 R" D3 z' E, P8 Y e; g( { if (reuseport) { phash = inet_ehashfn(net, daddr, hnum, saddr, sport); matches = 1; // 如果是reuseport 则累计多少个socket满足4 Y0 w- C3 i* ~# S8 v- M } } else if (score == hiscore && reuseport) { matches++;; u5 g" A4 ~! B5 ?5 F4 u if (reciprocal_scale(phash, matches) == 0)( z0 o4 B+ F! d z1 G- F result = sk; phash = next_pseudo_random32(phash);. q9 h" \% }9 \- Y: A: M } } /* * if the nulls value we got at the end of this lookup is8 N5 w3 L' s3 v6 S3 p) d+ W * not the expected one, we must restart lookup.. |- n6 {7 |; V( _ * We probably met an item that was moved to another chain. */. g6 k: M- o M+ n/ j8 j return result; } 举个栗子,假设内核有4条listening socket的hash冲突链,然后用户建立了4个Server:A、B、C、D,监听的地址和端口如下图所示,A和B使能了SO_REUSEPORT。 冲突链是以端口为Key的,因此A、B、D会挂到同一条冲突链上。 如果此时收到对端一个SYN报文<192.168.10.1, 21>,那么内核会遍历listening_hash[0],为上面的7个socket进行打分,而由于B监听的是精确的地址,所以B的得分会比A高,内核最终选择出一个SocketB进行后续处理。
从上面的例子可以看出,当收到SYN报文时,内核一定会遍历一条完整hash冲突链,为每一个socket进行打分,这稍微有些多余。 因此,在4.5版本中,内核引入了reuseport groups,它将绑定到同一个IP和Port,并且设置了SO_REUSEPORT选项的socket组织到一个group内部。
+++ b/include/net/sock.h @@ -318,6 +318,7 @@ struct cg_proto; * @sk_error_report: callback to indicate errors (e.g. %MSG_ERRQUEUE)0 n* H7 B& Z1 ~ T6 M * @sk_backlog_rcv: callback to process the backlog/ |8 l8 n$ Z- M, R * @sk_destruct: called at sock freeing time, i.e. when all refcnt == 0' H. R4 a8 M1 F+ P- ^ + * @sk_reuseport_cb: reuseport group container */ struct sock { /*6 e2 o q6 s8 F& M" ]* | @@ -453,6 +454,7 @@ struct sock {8 K8 Q1 Y5 w- c* T3 i* ] int (*sk_backlog_rcv)(struct sock *sk,9 e$ o( J% v! J, _3 b! T struct sk_buff *skb);& |9 |( D7 A. q' ]0 _ void (*sk_destruct)(struct sock *sk); + struct sock_reuseport __rcu *sk_reuseport_cb;: k! x" J# b' u* m( x' e5 p$ p }; 这个特性在4.5版本只支持UDP,而在4.6版本开始支持TCP(patch)。 这样在查找listen socket时,内核将不用再遍历整个冲突链,而是在找到一个合格的socket时,如果它设置了SO_REUSEPORT,就直接找到它所属的reuseport group,从中选择一个进行后续处理。 @@ -215,6 +217,7 @@ struct sock *__inet_lookup_listener(struct net *net,unsigned int hash = inet_lhashfn(net, hnum); struct inet_listen_hashbucket *ilb = &hashinfo->listening_hash[hash]; int score, hiscore, matches = 0, reuseport = 0; + bool select_ok = true;) x: O* j$ `3 B7 |9 C/ V X u32 phash = 0;" S6 g* Z) o; w rcu_read_lock(); @@ -230,6 +233,15 @@ begin:7 H0 A: W2 q5 H if (reuseport) {8 b0 s( U% d3 w phash = inet_ehashfn(net, daddr, hnum,( v$ i8 S3 k& ]/ w" f saddr, sport); + if (select_ok) {# C0 r* O6 I$ M + struct sock *sk2; + sk2 = reuseport_select_sock(sk, phash, + skb, doff);, C- u4 s) z) y% B9 { + if (sk2) {8 D* d+ T1 d( v, G/ ^4 a + result = sk2; + goto found;2 W2 [& r1 a. j8 K; g. C5 L0 C8 C + }- E/ H' \9 B- p+ r* \ + }4 E, r* O5 v2 n+ g1 l matches = 1;4 S; e) u0 |3 T7 L } } |
微信公众号
手机版