消息确认
当处理一个比较耗时得任务的时候&＃xff0c;你也许想知道消费者(consumers)是否运行到一半就挂掉。当前的代码中&＃xff0c;当消息被RabbitMQ发送给消费者(consumers)之后&＃xff0c;马上就会在内存中移除。这种情况&＃xff0c;你只要把一个工作者(worker)停止&＃xff0c;正在处理的消息就会丢失。同时&＃xff0c;所有发送到这个工作者的还没有处理的消息都会丢失。
我们不想丢失任何任务消息。如果一个工作者(worker)挂掉了&＃xff0c;我们希望任务会重新发送给其他的工作者(worker)。
为了防止消息丢失&＃xff0c;RabbitMQ提供了消息响应(acknowledgments)。消费者会通过一个ack(响应)&＃xff0c;告诉RabbitMQ已经收到并处理了某条消息&＃xff0c;然后RabbitMQ就会释放并删除这条消息。
如果消费者(consumer)挂掉了&＃xff0c;没有发送响应&＃xff0c;RabbitMQ就会认为消息没有被完全处理&＃xff0c;然后重新发送给其他消费者(consumer)。这样&＃xff0c;及时工作者(workers)偶尔的挂掉&＃xff0c;也不会丢失消息。
消息是没有超时这个概念的&＃xff1b;当工作者与它断开连的时候&＃xff0c;RabbitMQ会重新发送消息。这样在处理一个耗时非常长的消息任务的时候就不会出问题了。
消息响应默认是开启的。之前的例子中我们可以使用no_ack&＃61;True标识把它关闭。是时候移除这个标识了&＃xff0c;当工作者(worker)完成了任务&＃xff0c;就发送一个响应。
def callback(ch, method, properties, body):
print " [x] Received %r" % (body,)
time.sleep( body.count(&＃39;.&＃39;) )
print " [x] Done"
ch.basic_ack(delivery_tag &＃61; method.delivery_tag)
channel.basic_consume(callback,
queue&＃61;&＃39;hello&＃39;)
1
2
3
4
5
6
7
8
defcallback(ch,method,properties,body):
print" [x] Received %r"%(body,)
time.sleep(body.count(&＃39;.&＃39;))
print" [x] Done"
ch.basic_ack(delivery_tag&＃61;method.delivery_tag)
channel.basic_consume(callback,
queue&＃61;&＃39;hello&＃39;)
运行上面的代码&＃xff0c;我们发现即使使用CTRL&＃43;C杀掉了一个工作者(worker)进程&＃xff0c;消息也不会丢失。当工作者(worker)挂掉这后&＃xff0c;所有没有响应的消息都会重新发送。
忘记确认
一个很容易犯的错误就是忘了basic_ack&＃xff0c;后果很严重。消息在你的程序退出之后就会重新发送&＃xff0c;如果它不能够释放没响应的消息&＃xff0c;RabbitMQ就会占用越来越多的内存。
为了排除这种错误&＃xff0c;你可以使用rabbitmqctl命令&＃xff0c;输出messages_unacknowledged字段&＃xff1a;
$ rabbitmqctl list_queues name messages_ready messages_unacknowledged
Listing queues ...
hello 0 0
...done.
1
2
3
4
$rabbitmqctllist_queuesnamemessages_readymessages_unacknowledged
Listingqueues...
hello00
...done.
消息持久化
如果你没有特意告诉RabbitMQ&＃xff0c;那么在它退出或者崩溃的时候&＃xff0c;将会丢失所有队列和消息。为了确保信息不会丢失&＃xff0c;有两个事情是需要注意的&＃xff1a;我们必须把”队列”和”消息”设为持久化。
首先&＃xff0c;为了不让队列消失&＃xff0c;需要把队列声明为持久化(durable)&＃xff1a;
channel.queue_declare(queue&＃61;&＃39;hello&＃39;, durable&＃61;True)
1
channel.queue_declare(queue&＃61;&＃39;hello&＃39;,durable&＃61;True)
尽管这行代码本身是正确的&＃xff0c;但是仍然不会正确运行。因为我们已经定义过一个叫hello的非持久化队列。RabbitMq不允许你使用不同的参数重新定义一个队列&＃xff0c;它会返回一个错误。但我们现在使用一个快捷的解决方法——用不同的名字&＃xff0c;例如task_queue。
channel.queue_declare(queue&＃61;&＃39;task_queue&＃39;, durable&＃61;True)
1
channel.queue_declare(queue&＃61;&＃39;task_queue&＃39;,durable&＃61;True)
这个queue_declare必须在生产者(producer)和消费者(consumer)对应的代码中修改。
这时候&＃xff0c;我们就可以确保在RabbitMq重启之后queue_declare队列不会丢失。另外&＃xff0c;我们需要把我们的消息也要设为持久化——将delivery_mode的属性设为2。
channel.basic_publish(exchange&＃61;&＃39;&＃39;,
routing_key&＃61;"task_queue",
body&＃61;message,
properties&＃61;pika.BasicProperties(
delivery_mode &＃61; 2, # make message persistent
))
1
2
3
4
5
6
channel.basic_publish(exchange&＃61;&＃39;&＃39;,
routing_key&＃61;"task_queue",
body&＃61;message,
properties&＃61;pika.BasicProperties(
delivery_mode&＃61;2,# make message persistent
))
注意&＃xff1a;消息持久化
将消息设为持久化并不能完全保证不会丢失。以上代码只是告诉了RabbitMq要把消息存到硬盘&＃xff0c;但从RabbitMq收到消息到保存之间还是有一个很小的间隔时间。因为RabbitMq并不是所有的消息都使用fsync(2)——它有可能只是保存到缓存中&＃xff0c;并不一定会写到硬盘中。并不能保证真正的持久化&＃xff0c;但已经足够应付我们的简单工作队列。如果你一定要保证持久化&＃xff0c;你需要改写你的代码来支持事务(transaction)。
如果您觉得本站对你有帮助&＃xff0c;那么可以支付宝扫码捐助以帮助本站更好地发展&＃xff0c;在此谢过。
京公网安备 11010802041100号