Dubbo笔记(一)
一.简介
在编写分布式场景下高并发、高扩展的系统对技能的要求很高,因为这个过程会涉及到序列化 / 反序列化、多线程、网络编程、设计模式、性能优化等众多专业知识。而 Dubbo 框架对这些专业知识做了更高层的抽象和封装,提供了开箱即用的特性。所以换句话说 Dubbo 是为了解决大流量、高并发场景下提供高可用、提升系统性能的这样一个服务治理方案,也是优秀的 RPC 框架之一,因此被众多公司采用并根据自己的业务实现扩展。
Dubbo 提供了注册中心机制,解耦了服务方和消费方动态发现的问题,并提供了高可靠能力,大量采用微内核 + 富插件设计思想,包括框架自身核心特性都作为扩展点实现,提供了灵活的扩展点能力。
二.架构
1. 服务提供者 Provider 启动时会向注册中心把自己的元数据注册上去(比如服务 IP 、端口及需要注册的接口定义等信息);
2. 服务消费方 Consumer 在启动时会从注册中心订阅(第一次订阅会拉取全量数据)服务提供方的元数据;
3. 而当注册中心数据发生变更时会推送给订阅的 Consumer (比如 Provider 某个节点 Down 掉了,又或者服务提供方进行了扩容,增加了节点。);
4. 在 Consumer 获取到元数据后, Consumer 可以发起 RPC 调用(本质其实是 Socket 通信 + 动态代理这样的一个实现机制);
5.RPC 调用前后会向监控中心上报统计信息(比如并发数和调用接口)。
Dubbo 总体分为业务层( Biz )、 RPC 层、 Remote 三层。如果把每一层继续细化,那一共可以分为 10 层。可以参考下图,图中左边是具体的分层,右边是该层中比较重要的接口:
其中 Service 与 Config 两层可以认为是 API 层,主要提供给 API 使用者,使用者无需关系底层的实现,只需要配置和完成业务代码即可;后面所有层级合在一起,可以认为是 SPI 层,主要提供给扩展者使用,即用户可以基于 Dubbo 框架做定制性的二次开发,扩展其功能。
Dubbo 核心组件:
1.Service 层
业务层。包括业务代码接口与实现,即我们自己实现的业务代码。
2.config 层
配置层。主要围绕 ServiceConfig (暴露的服务配置)和 ReferenceConfig (引用的服务配置)两个实现类展开,初始化配置信息。可以理解为该层管理整个 Dubbo 配置。
3.proxy 层
服务代理层。在 Dubbo 中,无论生产者还是消费者,框架都会生成一个代理类,整个过程对上层是透明的。当调用一个远程接口时,看起来就像调用本地接口一样,代理层会自动做远程调用并返回结果,即让业务层对远程调用完全无感。
4.registry 层
注册层。服务 Dubbo 框架的服务注册与发现。当所有新的服务加入或者就服务下线时,注册中心都会感知并通知订阅方。整个过程不需要人工参与。
5.cluster 层
集群容错层。主要负责远程调用失败时的容错策略(如失败重试、快速失败);选择具体调用节点时的复杂均衡策略(如随机、一致性 Hash 等);特殊调用路径的路由策略(如某个 Consumer 只会调用某个 IP 的 Provider )。
6.monitor 层
监控层。复杂监控统计调用次数和调用时间等。
7.protocol 层
远程调用层。封装 RPC 调用的具体过程, Protocol 是 Invoker 暴露(发布一个新功能让别人调用)和引用(引用一个远程服务到本地)的主功能入口。它负责管理 Invoker 的整个生命周期。 Invoker 是 Dubbo 核心模型,框架中所有其他模型都向它靠拢,或者转换成它,它代表一个可执行体。
8.exchange 层
信息交换层。建立 Request-Response 模型,封装请求响应模式,如吧同步请求转化为一步请求。
9.transport 层
网络传输层。把网络传输抽象为同一的接口,如 Mina 和 Netty 虽然接口不一样,但是 Dubbo 在他们上面又封装了统一的接口。我们也可以根据其扩展接口添加更多的网络传输方式。
10.Serialize 层
序列化层。如果数据要通过网络进行发送,则需要先做做序列化,变成二进制流。序列化层负责管理整个框架网络传输时的序列化 / 反序列化工作。
三.特性及解决问题
特性:
1. 面向接口代理的改性能 RPC 调用
提供了高性能的基于代理的远程调用能力,服务以接口为粒度,为开发者屏蔽调用的远程细节。
2. 服务自动注册与发现
支持多种注册中心服务,服务实例上下线实时感知(上图中的第 3 步)。
3. 运行期流量调度
内置条件、脚本等路由策略,通过配置不同的路由规则,轻松实现灰度发布、同机房优先等功能。
4. 智能负载均衡
内置多种负载均衡策略,智能感知下游节点健康状况,显著减少调用延迟,提高系统吞吐量。
5. 高度可扩展能力
遵循微内核 + 插件的设计思想,所有核心能力如 Protocol 、 Transport 、 Serialization 被设计为扩展点,平等对待内置实现和第三方实现。( Dubbo SPI 扩展点机制)
6. 可视化的服务治理与运维
提供了丰富服务治理、运维工具( Dubbo Admin ):随时查询服务元数据、服务简况状态及调用统计,实时下发路由策略、调整配置参数。
解决问题:
( 1 ) 高性能、透明的 RPC 调用。只要涉及服务之间的通信, RPC 就必不可。 Dubbo 可以让我们像调用本地服务一样简单的去调用远程服务,而不需要再代码中显示的指定远程调用。整个过程对上层开发者透明, Dubbo 会自动完成后续的所有操作,例如:负载均衡、路由、协议转换、序列化等。开发者只需要接收对应的调用结果。
( 2 )服务的自动注册与发现。当服务越来越多时,服务 URL 配置管理变得非常困难,服务的注册与发现已经不可能由人工来管理。此时需要一个注册中心,动态的注册和发现服务,使服务的位置透明。 Dubbo 适配了多种注册中心。
( 3 )自动负载与容错。 当服务越来越多时, F5 一年负载均衡器的单点压力也原来越大, Dubbo 提供了完整的集群容错机制,可以实现软件层面的负载均衡,依次降低硬件的压力。 Dubbo 还提供了调用失败的各种容错机制,如 Failover 、 Failfast 、结果集合并等。
( 4 )动态的流量调度。在应用运行时,某些服务节点可能因为硬件原因需要减少负载或者某些节点需要人工手动下线;又或者需要实现单元化的调用、灰度功能。通过 Dubbo Admin 管理控制台,用户可以在界面上动态地调整每个服务的权重、路由规则、禁用 / 启用,实现运行时的流量调度。
( 5 )依赖分析和调用统计
Dubbo 可以介入第三方的 APM 做分布式链路追踪与性能分析,或者使用已有的独立监控中心的调用次数及耗时,我们可以通过这些数据反推系统容量,在合适的时候通过加机器进行扩容,并且可以预估需要添加多少台机器。