RocketMQ

RocketMQ 是阿里捐赠给Apache的一款低延迟、高并发、高可用、高可靠的分布式消息中间件，经历过淘宝多次双十一的考验，RocketMQ既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。

核心概念

Topic: 消息主题，一级消息类型，生产者向其发送消息。
Message: 生产者向Topic发送并最终传送给消费者的数据消息的载体。
消息属性：生产者可以为消息定义的属性，包含Message Key和Tag。
Message Key：消息的业务标识，由消息生产者（Producer）设置，唯一标识某个业务逻辑。
Message ID：消息的全局唯一标识，由消息队列RocketMQ系统自动生成，唯一标识某条消息。
Tag：消息标签，二级消息类型，用来进一步区分某个Topic下的消息分类
Producer：也称为消息发布者，负责生产并发送消息至Topic。
Consumer：也称为消息订阅者，负责从Topic接收并消费消息。
Group：一类生产者或消费者，这类生产者或消费者通常生产或消费同一类消息，且消息发布或订阅的逻辑一致。
Group ID：Group的标识。
队列：Topic下会由一到多个队列来存储消息。
Exactly-Once投递语义：Exactly-Once投递语义是指发送到消息系统的消息只能被Consumer处理且仅处理一次，即使Producer重试消息发送导致某消息重复投递，该消息在Consumer也只被消费一次。
集群消费：一个Group ID所标识的所有Consumer平均分摊消费消息。例如某个Topic有9条消息，一个Group ID有3个Consumer实例，那么在集群消费模式下每个实例平均分摊，只消费其中的3条消息。
广播消费：一个Group ID所标识的所有Consumer都会各自消费某条消息一次。例如某个Topic有9条消息，一个Group ID有3个Consumer实例，那么在广播消费模式下每个实例都会各自消费9条消息。
定时消息：Producer将消息发送到消息队列RocketMQ服务端，但并不期望这条消息立马投递，而是推迟到在当前时间点之后的某一个时间投递到Consumer进行消费，该消息即定时消息。
延时消息：Producer将消息发送到消息队列RocketMQ服务端，但并不期望这条消息立马投递，而是延迟一定时间后才投递到Consumer进行消费，该消息即延时消息。
顺序消息：RocketMQ提供的一种按照顺序进行发布和消费的消息类型，分为全局顺序消息和分区顺序消息。
消息堆积：Producer已经将消息发送到消息队列RocketMQ的服务端，但由于Consumer消费能力有限，未能在短时间内将所有消息正确消费掉，此时在消息队列RocketMQ的服务端保存着未被消费的消息，该状态即消息堆积。
消息过滤：Consumer可以根据消息标签（Tag）对消息进行过滤，确保Consumer最终只接收被过滤后的消息类型。消息过滤在消息队列RocketMQ的服务端完成。
消息轨迹：在一条消息从Producer发出到Consumer消费处理过程中，由各个相关节点的时间、地点等数据汇聚而成的完整链路信息。通过消息轨迹，您能清晰定位消息从Producer发出，经由消息队列RocketMQ服务端，投递给Consumer的完整链路，方便定位排查问题。

消息收发模型

消息队列RocketMQ支持发布和订阅模型，消息生产者应用创建Topic并将消息发送到Topic。消费者应用创建对Topic的订阅以便从其接收消息。通信可以是一对多（扇出）、多对一（扇入）和多对多。具体通信如下图所示。

生产者集群：用来表示发送消息应用，一个生产者集群下包含多个生产者实例，可以是多台机器，也可以是一台机器的多个进程，或者一个进程的多个生产者对象。
一个生产者集群可以发送多个Topic消息。发送分布式事务消息时，如果生产者中途意外宕机，消息队列RocketMQ服务端会主动回调生产者集群的任意一台机器来确认事务状态。
消费者集群：用来表示消费消息应用，一个消费者集群下包含多个消费者实例，可以是多台机器，也可以是多个进程，或者是一个进程的多个消费者对象。
一个消费者集群下的多个消费者以均摊方式消费消息。如果设置的是广播方式，那么这个消费者集群下的每个实例都消费全量数据。

一个消费者集群对应一个Group ID，一个Group ID可以订阅多个Topic，如上图中的Group 2所示。Group和Topic的订阅关系可以通过直接在程序中设置即可。

系统部署架构

系统部署架构如上图所示，图中设计到的几个概念：

Name Server：是一个几乎无状态节点，可集群部署，在消息队列RocketMQ版中提供命名服务，更新和发现Broker服务。
Broker：消息中转角色，负责存储消息，转发消息。分为Master Broker和Slave Broker，一个Master Broker可以对应多个Slave Broker，但是一个Slave Broker只能对应一个Master Broker。Broker启动后需要完成一次将自己注册至Name Server的操作；随后每隔30s定期向Name Server上报Topic路由信息。
生产者：与Name Server集群中的其中一个节点（随机）建立长链接（Keep-alive），定期从Name Server读取Topic路由信息，并向提供Topic服务的Master Broker建立长链接，且定时向Master Broker发送心跳。
消费者：与Name Server集群中的其中一个节点（随机）建立长连接，定期从Name Server拉取Topic路由信息，并向提供Topic服务的Master Broker、Slave Broker建立长连接，且定时向Master Broker、Slave Broker发送心跳。Consumer既可以从Master Broker订阅消息，也可以从Slave Broker订阅消息，订阅规则由Broker配置决定。

RocketMQ的优缺点

RocketMQ优点：

单机吞吐量：十万级
可用性：非常高，分布式架构
消息可靠性：经过参数优化配置，消息可以做到0丢失
功能支持：MQ功能较为完善，分布式，扩展性好
支持10亿级别的消息堆积，不会因为堆积导致性能下降
天生为金融互联网领域而生，对于可靠性要求很高的场景，尤其是电商里面的订单扣款，以及业务削峰，在大量交易涌入时，后端可能无法及时处理的情况
RoketMQ在稳定性上可能更值得信赖，这些业务场景在阿里双11已经经历了多次考验

RocketMQ缺点：

支持的客户端语言不多，目前是java及c++，其中c++不成熟
社区活跃度不是特别活跃那种
没有在 mq 核心中去实现JMS等接口，有些系统要迁移需要修改大量代码

rocketmq-client-python

示例code

#Producer
def send_msg(message):
    """
    向云端producer集群发送消息体
    """
    ret = True
    try:
        #message = {"id":"test_id","name":"test_name","message":"test_message"}
        message = json.dumps(message).encode('utf-8')
        # global reply
        lock_reply.acquire()
        producer = Producer(producer_name)
        producer.set_namesrv_addr(namesrv_addr)
        producer.set_session_credentials(session_credentials_name, session_credentials_password, 'ALIYUN')
        # For ip and port name server address, use `set_namesrv_addr` method, for example:
        # producer.set_namesrv_addr('127.0.0.1:9887')
        producer.start()
        reply = Message(web_message_name)  # web_message_name topic of message (WEBServer) #topic名称
        reply.set_keys('XXX')#每个消息在业务层面的唯一标识码，要设置到keys字段，方便将来定位消息丢失问题。服务         器会为每个消息创建索引（哈希索引），应用可以通过topic，key来查询这条消息内容，以及消息被谁消费。由于是           哈希索引，请务必保证key尽可能唯一，这样可以避免潜在的哈希冲突。
        reply.set_body(message)
        reply.set_tags('')#一个应用尽可能用一个Topic，消息子类型用tags来标识，tags可以由应用自由设置。只有发         送消息设置了tags，消费方在订阅消息时，才可以利用tags在broker做消息过滤。
        ret = producer.send_sync(reply)
        producer.shutdown()
        lock_reply.release()
        ret = "send message right"
    except Exception as e:
        producer.shutdown()
        lock_reply.release()
        need_reconnected = True
        print("send message error:")
        print(e)
        ret = False
    return ret

#PushConsumer
import time
from rocketmq.client import PushConsumer
def callback(msg):
    print(msg.id, msg.body)
consumer = PushConsumer('CID_XXX')
consumer.set_namesrv_domain('http://onsaddr-internet.aliyun.com/rocketmq/nsaddr4client-internet')
# For ip and port name server address, use `set_namesrv_addr` method, for example:
# consumer.set_namesrv_addr('127.0.0.1:9887')
consumer.set_session_credentials('XXX', 'XXXX', 'ALIYUN')
consumer.subscribe('YOUR-TOPIC', callback)
consumer.start()
while True:
    time.sleep(3600)
consumer.shutdown()

#PullConsumer
from rocketmq.client import PullConsumer
consumer = PullConsumer('CID_XXX')
consumer.set_namesrv_domain('http://onsaddr-internet.aliyun.com/rocketmq/nsaddr4client-internet')
# For ip and port name server address, use `set_namesrv_addr` method, for example:
# consumer.set_namesrv_addr('127.0.0.1:9887')
consumer.set_session_credentials('XXX', 'XXXX', 'ALIYUN')
consumer.start()
for msg in consumer.pull('YOUR-TOPIC'):
    print(msg.id, msg.body)
consumer.shutdown()

Yukai's Blog

RocketMQ

RocketMQ

核心概念

消息收发模型

系统部署架构

RocketMQ的优缺点

rocketmq-client-python

Reference