首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Redis(十):pub/sub 发布订阅源码解析

谈到发布订阅模式,相信不会陌生,典型的观察者模式的实现。然而从表面来看,本地实现一个wait/notify通知、register/update调用, 实现一个远程mq服务, 还有本文说的 pub/sub, 其实道理都差不多。只是,同样的需求,针对不同的环境,实现上往往是有天壤之别的。

所以,我们就来看看 redis 的 pub/sub 是如何实现的吧!

零、redis发布订阅相关概念介绍

Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。Redis 客户端可以订阅任意数量的频道。

下图展示了频道 channel1,以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系:

当有新消息通过 PUBLISH 命令发送给频道 channel1 时, 这个消息就会被发送给订阅它的三个客户端:

Redis的pub/sub实现中,发布消息的方式只有一种,但是订阅消息却有很多种方式。

使用场景如: 可以用做简单消息通信中间件,监听某些事件的变化;

从官方手册上查到相关使用方法。

1> PUBLISH channel message

功能: 将信息发送到指定的频道。

返回值: 接收到该消息的个数;

2>SUBSCRIBE channel [channel ...]

功能: 订阅给定的一个或多个频道的信息。

返回值: 等待消息状态,客户端不能再处理其他命令了。除了 SUBSCRIBE, PSUBSCRIBE, UNSUBSCRIBE, PUNSUBSCRIBE, PING and QUIT commands.

3>PSUBSCRIBE pattern [pattern ...]

功能: 订阅一个或多个符合给定模式的频道。

返回值: 等待消息状态,客户端不能再处理其他命令了。除了 SUBSCRIBE, PSUBSCRIBE, UNSUBSCRIBE, PUNSUBSCRIBE, PING and QUIT commands.

4>PUBSUB subcommand [argument [argument ...]]

功能: 查看订阅与发布系统状态。subcomand 有 CHANNELS,NUMSUB,NUMPAT .

返回值:

PUBSUB CHANNELS [pattern] 列举出所有至少有一个订阅者的符合表达式的channel(精确订阅的客户端,即使用 SUBSCRIBE 进行订阅的客户端);

PUBSUB NUMSUB [channel-1 ... channel-N] 每个要查询的channel的订阅数kv(精确订阅的客户端,即使用 SUBSCRIBE 进行订阅的客户端);

PUBSUB NUMPAT 返回使用了 PSUBSCRIBE 订阅的客户端总数;

5>UNSUBSCRIBE [channel [channel ...]]

功能: 指退订给定的频道。

返回值: 退订频道的影响订阅数,自身未订阅时,影响数为0;

6>PUNSUBSCRIBE [pattern [pattern ...]]

功能: 退订所有给定模式的频道。

返回值: 退订频道的影响订阅数,自身未订阅时,影响数为0;

以上命令的操作,当使用 redis-cli 时,将受限。使用 SUBSCRIBE/PSUBSCRIBE 订阅channel后,只能强行退出,不能再接受其他命令。即只有配合各语言实现的sdk,才能连贯完成上面完整的操作。

一、pub/sub 相关数据结构

pub/sub 相关接口定义如下:

整个pub/sub使用的数据结构,都是之前介绍过的。主要有? dict, list 两种,针对模式匹配订阅稍微多了个属性:

二、subscribe/psubscribe 订阅channel实现

只有先有订阅者之后,发布者发送的消息才会有意义。所以我们先看看订阅的实现:

如上就是单个channel的订阅方式了,总结如下:

1. 客户端自行管理需要订阅的channel, 放到 c->pubsub_channels 中;

2. redis使用的一个统一的 server->pubsub_channels dict容器进行管理所有的channel;

3. 对于多个客户端订阅一个channel, redis 使用list进行管理追加;

整个订阅过程,其实就是一个注册的过程,自然复杂不到哪里去。接下来,我们同步来看一下 使用模式订阅的方式的注册如何?

PSUBSCRIBE 的管理方式与 SUBSCRIBE 的管理方式不一样,它是直接使用list保存订阅的模式到 server.pubsub_patterns 中,针对不一样的模式,使用一个新的pubsubPattern来保存。

注意:所有客户端的订阅管理,server.pubsub_patterns 使用平坦式管理,即相同的模式订阅,有多少个客户端,就会有多个元素被添加到 pubsub_patterns 中。(为什么不使用子链表的方式进行管理呢???)

三、publish 发布消息的实现

publish 是触发subscribe的方式,没有publish动作,subscribe就会一直在等待中。想来应该不难,消息发布之后,只要将注册上来的客户一个进行消息推送,就实现了相应功能。所以,pub/sub 操作,必然是基于长连接的实现方式,没毛病。

redis 的发布命令如下:

可以看到,redis消息的发布可能比想象中的还要简单。不过有一点需要注意的是,整个publish的消息并没有在redis进行存储操作,也就是说发布完一个消息之后,就再也找不到踪迹了。这也是很多消息中间件的实现方式,因为数据的保留可能会显得没有意义。

整个发布消息的过程,其实就是向各个subscriber进行数据推送的过程,而这些scriber则是基于长连接客户端实例,以至于其看起来和本地实现的register/update 的观察者模块没啥两样。

所以,基本上 redis 的发布订阅功能实现得,还是实现的粒度还是比较粗的。系统上的应用如哨兵模式下的master/slave的切换。而如果自己应用的话,就需要找准自己的应用场景,不要乱用了。

四、unsubscribe 解除订阅关系

当关注的事件处理完成后,可能就不需要再订阅相关消息了,就需要进行解决订阅。解决订阅关系,即不再接受相应的发布消息,将自身从注册表中删除即可。基本上就是和订阅进行一个反解操作!

不出所料,就是一个从 pubsub_channels 中的删除一个元素的问题,别无其他。其中需要注意的是,SUBSCRIBE 对应 UNSUBSCRIBE, PSUBSCRIBE 对应 PUNSUBSCRIBE。

五、关于redis pub/sub 之后的思考

需要注意的是,消息中间件是远程通信组件,必然存在各种不确定性,所以确保长连接的有效性是非常重要,比如通过PING-PONG方式进行续租,以保持连接的有效性。

可以说,我们要实现一个简单的pub/sub 功能是简单的,但是要应对各种异常情况则是困难的。

1. 比如当订阅的量越来越大时,整个发布消息过程可能变量缓慢起来,如何处理?

2. 如果消费者端处理失败,如何处理?

3. 订阅者为什么只能做很少的事情,能不能多做一点?

4. 出现问题时如何进行溯源?

5. 如何处理单机瓶颈问题?

6. 如果是多机负载,如何处理数据一致性问题?

7. 消费者事务处理能力问题?

redis是专业的缓存解决方案,但不是专业的消息通信解决方案,它的实现只能为打开我们的一点思路。我们还是要相信专业的力量,以上问题相信在很多消息中间件中很容易找到相应答案。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20210307A019VH00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券
http://www.vxiaotou.com