kubernetes下实现socket.io的集群模式

socket.io 单节点模式是很容易部署的&＃xff0c;但是往往在生产环境一个节点不能满足业务需求&＃xff0c;况且还要保证节点挂掉的情况仍能正常提供服务&＃xff0c;所以多节点模式就成为了生成环境的一种必须的部署模式。

本文将介绍如何在kubernetes 集群上部署多节点的socket.io服务。

文章中涉及到的代码可以前往https://github.com/cnych/k8s-socketio-cluster-demo查看。

问题

现在正在准备将线上环境一步步迁移到kubernetes 集群上&＃xff0c;这样我们可以根据实际情况部署多个POD 来提供服务&＃xff0c;但是socket.io服务并不是单纯的无状态应用&＃xff0c;只需要将POD 部署成多个就可以正常提供服务了&＃xff0c;因为其底层需要建立很多连接来保持长连接&＃xff0c;但是这样的话上一个请求可能会被路由到一个POD&＃xff0c;下一个请求则很有可能会被路由到另外一个POD 中去了&＃xff0c;这样就会出现错误了&＃xff0c;如下图&＃xff1a;

socket-io errors

从上面的错误中我们可以看出是有的请求找不到对应的Session ID&＃xff0c;也证明了上面提到的引起错误的原因。

解决方法

我们从socket.io 官方文档中可以看到对于多节点的介绍&＃xff0c;其中通过Nginx的ip_hash 配置用得比较多&＃xff0c;同一个ip 访问的请求通过hash 计算过后会被路由到相同的后端程序去&＃xff0c;这样就不会出现上面的问题了。我们这里是部署在kubernetes集群上面的&＃xff0c;通过traefik ingress来连接外部和集群内部间的请求的&＃xff0c;所以这里中间就省略了Nginx这一层&＃xff0c;当然你也可以多加上这一层&＃xff0c;但是这样显然从架构上就冗余了&＃xff0c;而且还有更好的解决方案的&＃xff1a;sessionAffinity&＃xff08;也称会话亲和力&＃xff09;

什么是sessionAffinity&＃xff1f; sessionAffinity是一个功能&＃xff0c;将来自同一个客户端的请求总是被路由回服务器集群中的同一台服务器的能力。

在kubernetes中启用sessionAffinity很简单&＃xff0c;只需要简单的Service中配置即可&＃xff1a;

service.spec.sessionAffinity &＃61; "ClientIP"

默认情况下sessionAffinity&＃61;None&＃xff0c;会随机选择一个后端进行路由转发的&＃xff0c;设置成ClientIP后就和上面的ip_hash功能一样了&＃xff0c;由于我们使用的是traefik ingress&＃xff0c;这里还需要在Service中添加一个traefik的annotation&＃xff1a;

apiVersion: v1
kind: Service
metadata:name: socket-demonamespace: kube-appsannotations:traefik.backend.loadbalancer.stickiness: "true"traefik.backend.loadbalancer.stickiness.COOKIEName: "socket"labels:k8s-app: socket-demo
spec:sessionAffinity: "ClientIP"ports:- name: socketioport: 80protocol: TCPtargetPort: 3000selector:k8s-app: socket-demo

注意上面的annotations和sessionAffinity两项配置&＃xff0c;然后我们再来看看我们的socket.io服务吧

已经正常了吧&＃xff0c;注意看上面打印出来的hostname都是一样的&＃xff0c;因为我们这里去访问的都是来自同一个IP&＃xff0c;多刷新几次是不是还是这样&＃xff0c;证明上面的sessionAffinity配置生效了。

如果是另外的地方去访问&＃xff0c;会路由到不一样的后端去吗&＃xff1f;我们这里启用一个代理来测试下&＃xff1a;从上图中打印出来的hostname可以看出两个请求被路由到了不同的POD 中&＃xff0c;但是现在又有一个新的问题了&＃xff1a;绘制的图形并没有被广播出去&＃xff0c;这是为什么呢&＃xff1f;其实在上面提到的socket.io 官方文档中已经提到过了&＃xff1a;

Now that you have multiple Socket.IO nodes accepting connections, if you want to broadcast events to everyone (or even everyone in a certain room) you’ll need some way of passing messages between processes or computers.

The interface in charge of routing messages is what we call the Adapter. You can implement your own on top of the socket.io-adapter (by inheriting from it) or you can use the one we provide on top of Redis: socket.io-redis:

var io &＃61; require(&＃39;socket.io&＃39;)(3000);
var redis &＃61; require(&＃39;socket.io-redis&＃39;);
io.adapter(redis({ host: &＃39;localhost&＃39;, port: 6379 }));


总结起来就是你如果想在进程间或者节点之前发送信息&＃xff0c;那么就需要实现自己实现一个socket.io-adapter或者利用官方提供的socket.io-redis。

我们这里利用socket.io-redis 这个adapter 来实现消息的广播&＃xff0c;最终的服务端代码如下&＃xff1a;

const express &＃61; require(&＃39;express&＃39;);
const socketRedis &＃61; require(&＃39;socket.io-redis&＃39;);
const os &＃61; require(&＃39;os&＃39;);
const app &＃61; express();
const http &＃61; require(&＃39;http&＃39;).Server(app);
const io &＃61; require(&＃39;socket.io&＃39;)(http);
const port &＃61; process.env.PORT || 3000;app.use(express.static(__dirname &＃43; &＃39;/static&＃39;));app.engine(&＃39;html&＃39;, require(&＃39;ejs&＃39;).renderFile);
app.set(&＃39;view engine&＃39;, &＃39;html&＃39;);app.get(&＃39;/&＃39;, function (req, res) {res.render(&＃39;index&＃39;, {&＃39;os&＃39;: os.hostname()});
});function onConnection(socket){socket.on(&＃39;drawing&＃39;, (data) &＃61;> socket.broadcast.emit(&＃39;drawing&＃39;, data));
}io.adapter(socketRedis({host: &＃39;redis&＃39;, port: 6379}));
io.on(&＃39;connection&＃39;, onConnection);http.listen(port, () &＃61;> console.log(&＃39;listening on port &＃39; &＃43; port));


部署在kubernetes集群上的yaml文件如下&＃xff1a;

apiVersion: extensions/v1beta1
kind: Deployment
metadata:name: socket-demonamespace: kube-appslabels:k8s-app: socket-demo
spec:replicas: 3template:metadata:labels:k8s-app: socket-demospec:containers:- image: cnych/socketdemo:k8simagePullPolicy: Alwaysname: socketdemoports:- containerPort: 3000protocol: TCPresources:limits:cpu: 100mmemory: 100Mirequests:cpu: 50mmemory: 50Mi---
apiVersion: v1
kind: Service
metadata:name: socket-demonamespace: kube-appsannotations:traefik.backend.loadbalancer.stickiness: "true"traefik.backend.loadbalancer.stickiness.COOKIEName: "socket"labels:k8s-app: socket-demo
spec:sessionAffinity: Noneports:- name: socketioport: 80protocol: TCPtargetPort: 3000selector:k8s-app: socket-demo

现在看看最终的效果吧&＃xff1a;

不同节点间也可以传递数据了&＃xff0c;到这里我们就实现了在kubernetes集群下部署socket.io多节点。

上面的根据traefik.backend.loadbalancer.stickiness.COOKIEName来进行路由的规则在测试环境生效了&＃xff0c;在线上没生效&＃xff0c;可能这个地方有什么问题&＃xff1f;

上面没有生效是因为客户端连接socket.io的协议的时候没有使用polling造成的&＃xff0c;客户端连接socket.io要按照标准的方式指定trasports&＃61;[‘polling’, ‘websocket’]

sessionAffinity 与 traefik设置COOKIEName的方式貌似不能同时存在&＃xff0c;如果遇到不生效的&＃xff0c;将sessionAffinity设置为None &＃xff0c;只保留traefik的annotaions。

在使用socket.io-redis的时候一定要注意&＃xff0c;在join和leave房间的时候一定要使用adapter提供的remoteJoin和remoteLeave方法&＃xff0c;不然多个节点间的数据同步有问题&＃xff0c;这个被坑了好久……