35 | 微服务架构最佳实践 - 方法篇

专栏上一期,我谈了实施微服务需要避免踩的陷阱,简单提炼为:

  • 微服务拆分过细,过分强调“small”。

  • 微服务基础设施不健全,忽略了“automated”。

  • 微服务并不轻量级,规模大了后,“lightweight”不再适应。

针对这些问题,今天我们看看微服务最佳实践应该如何去做。我会分两期介绍这部分内容,今天是微服务架构最佳实践的方法篇,下一期是基础设施篇。

服务粒度

针对微服务拆分过细导致的问题,我建议基于团队规模进行拆分,类似贝索斯在定义团队规模时提出的“两个披萨”理论(每个团队的人数不能多到两张披萨都不够吃的地步),分享一个我认为微服务拆分粒度的“三个火枪手”原则,即一个微服务三个人负责开发。当我们在实施微服务架构时,根据团队规模来划分微服务数量,如果业务规继续发展,团队规模扩大,我们再将已有的微服务进行拆分。例如,团队最初有6个人,那么可以划分为2个微服务,随着业务的发展,业务功能越来越多,逻辑越来越复杂,团队扩展到12个人,那么我们可以将已有的2个微服务进行拆分,变成4个微服务。

为什么是3个人,不是4个,也不是2个呢?

首先,从系统规模来讲,3个人负责开发一个系统,系统的复杂度刚好达到每个人都能全面理解整个系统,又能够进行分工的粒度;如果是2个人开发一个系统,系统的复杂度不够,开发人员可能觉得无法体现自己的技术实力;如果是4个甚至更多人开发一个系统,系统复杂度又会无法让开发人员对系统的细节都了解很深。

其次,从团队管理来说,3个人可以形成一个稳定的备份,即使1个人休假或者调配到其他系统,剩余2个人还可以支撑;如果是2个人,抽调1个后剩余的1个人压力很大;如果是1个人,这就是单点了,团队没有备份,某些情况下是很危险的,假如这个人休假了,系统出问题了怎么办?

最后,从技术提升的角度来讲,3个人的技术小组既能够形成有效的讨论,又能够快速达成一致意见;如果是2个人,可能会出现互相坚持自己的意见,或者2个人经验都不足导致设计缺陷;如果是1个人,由于没有人跟他进行技术讨论,很可能陷入思维盲区导致重大问题;如果是4个人或者更多,可能有的参与的人员并没有认真参与,只是完成任务而已。

“三个火枪手”的原则主要应用于微服务设计和开发阶段,如果微服务经过一段时间发展后已经比较稳定,处于维护期了,无须太多的开发,那么平均1个人维护1个微服务甚至几个微服务都可以。当然考虑到人员备份问题,每个微服务最好都安排2个人维护,每个人都可以维护多个微服务。

拆分方法

基于“三个火枪手”的理论,我们可以计算出拆分后合适的服务数量,但具体怎么拆也是有技巧的,并不是快刀斩乱麻随便拆分成指定数量的微服务就可以了,也不是只能按照业务来进行拆分,而是可以根据目的的不同灵活地选取不同的拆分方式。接下来我一一介绍常见的拆分方式。

1.基于业务逻辑拆分

这是最常见的一种拆分方式,将系统中的业务模块按照职责范围识别出来,每个单独的业务模块拆分为一个独立的服务。

基于业务逻辑拆分虽然看起来很直观,但在实践过程中最常见的一个问题就是团队成员对于“职责范围”的理解差异很大,经常会出现争论,难以达成一致意见。例如:假设我们做一个电商系统,第一种方式是将服务划分为“商品”“交易”“用户”3个服务,第二种方式是划分为“商品”“订单”“支付”“发货”“买家”“卖家”6个服务,哪种方式更合理,是不是划分越细越正确?

导致这种困惑的主要根因在于从业务的角度来拆分的话,规模粗和规模细都没有问题,因为拆分基础都是业务逻辑,要判断拆分粒度,不能从业务逻辑角度,而要根据前面介绍的“三个火枪手”的原则,计算一下大概的服务数量范围,然后再确定合适的“职责范围”,否则就可能出现划分过粗或者过细的情况,而且大部分情况下会出现过细的情况。

例如:如果团队规模是10个人支撑业务,按照“三个火枪手”规则计算,大约需要划分为4个服务,那么“登录、注册、用户信息管理”都可以划到“用户服务”职责范围内;如果团队规模是100人支撑业务,服务数量可以达到40个,那么“用户登录“就是一个服务了;如果团队规模达到1000人支撑业务,那“用户连接管理”可能就是一个独立的服务了。

2.基于可扩展拆分

将系统中的业务模块按照稳定性排序,将已经成熟和改动不大的服务拆分为稳定服务,将经常变化和迭代的服务拆分为变动服务。稳定的服务粒度可以粗一些,即使逻辑上没有强关联的服务,也可以放在同一个子系统中,例如将“日志服务”和“升级服务”放在同一个子系统中;不稳定的服务粒度可以细一些,但也不要太细,始终记住要控制服务的总数量。

这样拆分主要是为了提升项目快速迭代的效率,避免在开发的时候,不小心影响了已有的成熟功能导致线上问题。

3.基于可靠性拆分

将系统中的业务模块按照优先级排序,将可靠性要求高的核心服务和可靠性要求低的非核心服务拆分开来,然后重点保证核心服务的高可用。具体拆分的时候,核心服务可以是一个也可以是多个,只要最终的服务数量满足“三个火枪手”的原则就可以。

这样拆分带来下面几个好处:

  • 避免非核心服务故障影响核心服务

例如,日志上报一般都属于非核心服务,但是在某些场景下可能有大量的日志上报,如果系统没有拆分,那么日志上报可能导致核心服务故障;拆分后即使日志上报有问题,也不会影响核心服务。

  • 核心服务高可用方案可以更简单

核心服务的功能逻辑更加简单,存储的数据可能更少,用到的组件也会更少,设计高可用方案大部分情况下要比不拆分简单很多。

  • 能够降低高可用成本

将核心服务拆分出来后,核心服务占用的机器、带宽等资源比不拆分要少很多。因此,只针对核心服务做高可用方案,机器、带宽等成本比不拆分要节省较多。

4.基于性能拆分

基于性能拆分和基于可靠性拆分类似,将性能要求高或者性能压力大的模块拆分出来,避免性能压力大的服务影响其他服务。常见的拆分方式和具体的性能瓶颈有关,可以拆分Web服务、数据库、缓存等。例如电商的抢购,性能压力最大的是入口的排队功能,可以将排队功能独立为一个服务。

以上几种拆分方式不是多选一,而是可以根据实际情况自由排列组合,例如可以基于可靠性拆分出服务A,基于性能拆分出服务B,基于可扩展拆分出C/D/F三个服务,加上原有的服务X,最后总共拆分出6个服务(A/B/C/D/F/X)。

基础设施

大部分人主要关注的是微服务的“small”和“lightweight”特性,但实际上真正决定微服务成败的,恰恰是那个被大部分人都忽略的“automated”。为何这样说呢?因为服务粒度即使划分不合理,实际落地后如果团队遇到麻烦,自然会想到拆服务或者合服务;如果“automated”相关的基础设施不健全,那微服务就是焦油坑,让研发、测试、运维陷入我上一期讲的各种微服务陷阱中。

微服务基础设施如下图所示:

看到上面这张图,相信很多人都会倒吸一口凉气,说好的微服务的“轻量级”呢?都这么多基础设施还好意思说自己是“轻量级”,感觉比ESB还要复杂啊?

确实如此,微服务并不是很多人认为的那样又简单又轻量级。要做好微服务,这些基础设施都是必不可少的,否则微服务就会变成一个焦油坑,让业务和团队在里面不断挣扎且无法自拔。因此也可以说,微服务并没有减少复杂度,而只是将复杂度从ESB转移到了基础设施。你可以看到,“服务发现”“服务路由”等其实都是ESB的功能,只是在微服务中剥离出来成了独立的基础系统。

虽然建设完善的微服务基础设施是一项庞大的工程,但也不用太过灰心,认为自己团队小或者公司规模不大就不能实施微服务了。第一个原因是已经有开源的微服务基础设施全家桶了,例如大名鼎鼎的Spring Cloud项目,涵盖了服务发现、服务路由、网关、配置中心等功能;第二个原因是如果微服务的数量并不是很多的话,并不是每个基础设施都是必须的。通常情况下,我建议按照下面优先级来搭建基础设施:

1.服务发现、服务路由、服务容错:这是最基本的微服务基础设施。

2.接口框架、API网关:主要是为了提升开发效率,接口框架是提升内部服务的开发效率,API网关是为了提升与外部服务对接的效率。

3.自动化部署、自动化测试、配置中心:主要是为了提升测试和运维效率。

4.服务监控、服务跟踪、服务安全:主要是为了进一步提升运维效率。

以上3和4两类基础设施,其重要性会随着微服务节点数量增加而越来越重要,但在微服务节点数量较少的时候,可以通过人工的方式支撑,虽然效率不高,但也基本能够顶住。

小结

今天我为你讲了微服务架构实践中的三个关键点:如何把握拆分粒度、按照什么维度进行拆分、需要什么基础设施支撑,希望对你有所帮助。

这就是今天的全部内容,留一道思考题给你吧,参考文章中提到的方法,思考一下你所在的业务微服务架构是否还有可以改进和提升的空间?

欢迎你把答案写到留言区,和我一起讨论。相信经过深度思考的回答,也会让你对知识的理解更加深刻。(编辑乱入:精彩的留言有机会获得丰厚福利哦!)

精选留言

  • 云学

    2018-07-17 18:46:41

    这篇很实用,谢谢分享
    作者回复

    仅此一家,别无分店,都是我自己思考出来的😄

    2018-07-18 09:36:54

  • herist

    2018-07-18 09:20:05

    感谢老师对微服务解读,有3个问题:目前公司有个在线交易系统,大概几百个表的单体服务项目,其他业务前端都远程调用这个项目,现在想做微服务的改造。
    1、实施微服务按业务职责划分后,是否对应模块的数据库也必须要独立?
    2、若为每个微服务项目都拆出来新的数据库,原来各业务间的数据依赖(单库的时候Join查询就ok了),拆分多个项目后,有何好的处理办法?
    3、团队开发时的问题,由于每小团队负责一个微服务,但开发时需要访问其他微服务,应该有个开发环境负责集成大家提交的代码,构建新版本供其他团队调用和调试,即:开发团队都可以作为消费者访问服务器上微服务(互通),但是开发人员本机启动调试时,不能注册到这台服务器(隔离),这块如何能很好解决?
    作者回复

    1. 需要,微服务需要独立部署独立运行,数据库不拆分做不到这点
    2. 参考专栏前面分库分表内容
    3. 开发环境也可以搭建微服务,我们是三套环境:开发,测试,线上

    2018-07-18 09:48:06

  • 型火🔥

    2018-07-18 07:55:37

    三个火枪手分前后端吗?
    作者回复

    一般指后端人员,前端人员是多服务公用的,如果用node之类的系统,本身可以算一个独立的微服务

    2018-07-18 09:23:08

  • 赵武艺

    2018-07-17 16:57:37

    看来小企业还是不太适合微服务架构,尤其是开发人员少的?
    作者回复

    是的,等业务发展,人员规模大了再重构,90%以上的新业务还没发展就挂掉了😂😂

    2018-07-18 09:38:19

  • Geek_89bbab

    2018-10-24 19:22:42

    那么对于像kafka,rabbitmq这样的对应的消费者服务的消费地址是否应该放置到配置中心动态配置?还是不建议动态修改?
    作者回复

    任何配置都可以放配置中心,区别只是动态配置还是需要重启,中间件也不例外

    2018-10-24 21:46:53

  • 王刚

    2018-07-18 16:42:24

    听了老师的课对我自己有很大帮助,最近我们公司也在研究微服务~总感觉是一头雾水~希望老师多讲解一下关于微服务经常会涉及到的精髓!
    作者回复

    本篇就是精髓😄😄

    2018-07-19 10:20:02

  • Ivan

    2018-07-17 08:59:46

    使用dubbo体系,开发微服务。那么一个微服务是指一个部署单元(jar or war)还是指一个暴露的接口?我的答案是部署单元。请老师帮忙解惑,谢谢!
    作者回复

    一个可以独立部署和运行的子系统

    2018-07-17 09:39:12

  • 杨陆伟

    2019-03-28 20:46:55

    为什么说配置中心可以提升测试和运维的效率,这里不是太理解
    作者回复

    不用去几十台服务器几百个节点手工修改配置文件

    2019-04-06 15:50:38

  • 森林

    2018-09-20 22:18:02

    这里有个先有鸡还是现有蛋的问题。究竟是先根据人数量决定服务数量,还是根据服务数量决定人的数量。就像文章里提到的,很多时候需要根据各种需求场景拆分服务,当生产确切不拆分就会导致问题时,应该反向以服务数量评估要扩招的人
    作者回复

    招人的第一标准是业务有没有发展😄

    2018-10-07 07:53:24

  • 孙振超

    2018-09-15 13:17:28

    咨询老师一个问题:在服务切分的时候会存两个系统间数据发生交集的情况,比如一个是设备系统,另一个是用户系统,用户的各项操作必然发生在设备上,这样就会存在设备和用户的各种关系和操作记录,像这样的数据设备系统和用户系统都希望以自己为准,而后对外提供相应的服务。如果是数据存储两份,设备系统存储设备和用户的关系,用户系统存储用户和设备的关系,那么在数据一致性和调用链路上就会变得复杂;如果只存储一份,放在那个系统上另一个系统都会有意见。对于此种情况,有什么比较好的解法?
    作者回复

    其实你这句话已经包含了答案“用户操作必然发生在设备上”,这就是说设备是基础数据,用户和设备对应关系应该是用户系统管理的。

    还有一种判断标准是设备数据还可以给其它业务用,如果设备系统存储用户和设备对应关系,这个数据不是通用的,违背了设备系统的职责

    2018-09-16 09:45:51

  • 牛年榴莲

    2022-09-28 20:33:53

    接口框架这个词还是第一次听说,有哪些常用的选型呢?
    作者回复

    ApiFox、Swagger

    2022-10-16 10:20:46

  • wind2017

    2018-07-17 08:37:12

    老师,目前Spring Cloud哪个版本更稳定些?
    作者回复

    通常用GA版本就可以

    2018-07-17 09:43:25

  • 谭方敏

    2020-03-12 08:22:52

    服务粒度
    三个火枪手,一个服务三个人。
    好处包括:1)全面了解系统,2)相互形成备份,3)相互讨论。

    拆分原则
    1)基于业务逻辑
    结合三个火枪手选择,计算服务数量,由此决定服务的职责范围。
    2)基于可扩展性
    将成熟的和不变化的服务分为稳定服务,而将不成熟和变化的服务称为变化服。
    3)基于可靠性
    将业务模块按照优先级排序,将高可用的核心模块和不高可用的非核心模块分开,重点保证核心模块的高可用性。
    好处有a)让非核心业务不再影响核心业务,b)让核心业务变得更加简单,c)降低高可用成本
    4)基于性能
    类似于基于可靠性分析,将对性能要求高的和负载大的模块拆分出来,避免受其它业务影响。
    基础设施
    包括四大块:
    1)服务发现,服务路由,服务容错
    2)接口框架,api网关
    3)自动化部署,自动化测试,配置中心
    4)服务监控,服务跟踪,服务安全。
    在现有微服务上拆分上,之前并没有将研发人数跟服务数量很好地结合起来。三个火枪手的原则很实用。不用特别高大上,异常接地气。
    另外在描述基础设施的时候,表述非常全面。
    作者回复

    可以试试

    2020-03-17 14:11:16

  • 女巫在寒江

    2018-08-17 08:33:42

    我觉着我们现在的微服务架构刚好,我们是四个人负责集成公司的规则引擎,引擎那边有规则的编译器和执行器,对应的服务就划分为 规则编辑 和规则执行这两个部分,基本是两人负责一个服务
  • LB

    2018-07-18 07:31:27

    我所在工作单位系统基本都是外部采购,大概有100多个,开发、测试人员大部分是各个公司的外包人员,开发和运维部门又相对比较独立。请问实施微服务是否是一个明智的选择?代价会有多大?领导觉得SOA的ESB太重,又没有使用。希望华仔帮忙给些架构方面的建议,谢谢。
    作者回复

    采用微服务不明智,你们这种是典型的SOA应用场景,因为基本都是采购的

    2018-07-18 09:24:41

  • Kevin

    2022-06-04 16:59:03

    老师,微服务路由一般指代什么,我的理解现在的微服务网关都可以配置路由,是不是不需要单独的路由组件了?
    作者回复

    Spring Cloud Gateway是微服务网关,负责处理将外部请求转发给内部微服务;Spring Cloud Feign + Ribbon是微服务路由,负责微服务之间的请求调用。

    2022-06-05 15:53:05

  • msgx

    2021-05-18 22:51:10

    老师,问下现在我们APP访问我们业务中台微服务的中间加了一层聚合服务,每次APP调用后台业务都由APP聚合服务统一调用后台服务接口,这样设计感觉虽然方面了APP对接服务的数量,但每次都要聚合层包装一下是否也不好。
    作者回复

    这样可以提升性能,一般是用在首页或者一些比较复杂的页面,需要调用很多次后台接口,通过聚合一次完成,能够提升性能。

    但是不建议所有接口都走聚合层,没有必要,事实上现在很多公司的聚合层都是由前端通过node.js自己来做的,后端只负责细粒度的服务接口。这样的好处是分工明确,职责清晰,前端自己分析自己优化自己来设计聚合接口

    2021-05-19 09:53:11

  • Geek_89bbab

    2018-10-24 18:48:10

    老师,问一下关于配置中心的问题,
    配置中心修改配置,然后通知对应的微服务,那么收到通知的微服务怎么使新的配置生效,我这里特别指的是那些通过配置有创建长生命周期对象的那种。比如mysql连接池,redis-client。比如数据库配置修改了,怎么使新的配置生效?求解惑
    作者回复

    通常这类配置需要重启生效,一般改动频率也低,改动的时候由运维人工参与是可以的

    2018-10-24 19:00:40

  • laolinshi

    2018-09-17 23:26:33

    看评论中的那些问题真是受益良多。
    作者回复

    自古评论出人才😄

    2018-09-19 15:32:56

  • return

    2018-07-21 20:28:24

    三个火枪手, 很犀利。
    作者回复

    很形象,向大仲马和贝索斯借用了一些创意

    2018-07-22 18:32:04