如果聊到消息中间件,老辣的面试官一定会问你:如何最大限度防止消息不丢失?

还没关注?

快动动手指!

聊技术、论职场!

为IT人打造一个“有温度”的 狸猫技术窝

RabbitMQ的主要作用基本上可以用8个字概括, 削峰填谷、异步解耦 。但是引入MQ我们也不得不考虑引入MQ后带来的一些问题,如消息丢失。

业务场景不一样,处理方式也就不一样。比如发短信,日志收集,我们主要看吞吐量,所以对消息丢失容忍度较高,这类场景基本上不用花太多时间在消息丢失问题上。

另外一种,如我们用MQ来做分布式事务,续保计算,提成的计算,这类业务对消息丢失容忍度较底,所以我们一定要考虑消息丢失的问题。

这次分享的内容是 怎么来最大限制的防止消息丢失 ,顺带提一下消息的重发和重复消费。

RabbitMQ 模型图

ConfirmCallback 和 ReturnCallback

在这里我们主要实现了ConfirmCallback和ReturnCallback两个接口,这两个接口主要是用来发送消息后回调的。

因为rabbit发送消息是只管发,至于发没发成功,发送方法不管。

  • ConfirmCallback :当消息成功到达exchange的时候触发的ack回调。

  • ReturnCallback :当消息成功到达exchange,但是没有队列与之绑定的时候触发的ack回调。发生网络分区会出现这种情况。

在这里一定要把这两个开关打开,publisher-confirms=”true” publisher-returns=”true”。

生产者端使用ConfirmCallback和ReturnCallback回调机制,最大限度的保证消息不丢失,对原有CorrelationData类进行扩展,来实现消息的重发,具体请看下面的源码。

消息的日志链路跟踪

使用MQ来解耦服务,异步化处理一些复杂耗时逻辑,但是也带来了一个问题。

由于异步化以后,排查问题就很不方便了,根本不知道这个消息什么时候消费,消费的日志也很不好排查。

所以,引入了Slf4j MDC机制将主线程的日志链路和消息的日志链路连起来,方便MQ问题的排查。

RabbitSender

CorrelationData

Message

AbstractConsumer

END

作者: xiaolyuh

来源:

https://www.jianshu.com/p/f7165dd06db3

本文版权归作者所有

长按下图二维码,即刻关注【 狸猫技术窝

阿里、京东、美团、字节跳动

顶尖技术专家 坐镇

为IT人打造一个 “有温度” 的技术窝!