PHP架构师的初级技能，选组件！（2020更新版）

本篇内容涵盖14个方面&＃xff0c;涉及上百个框架和工具。会有你喜欢的&＃xff0c;大概也会有你所讨厌的家伙。这是我平常工作中打交道最多的工具&＃xff0c;大小公司都适用。如果你有更好的&＃xff0c;欢迎留言补充。

一、消息队列
二、缓存
三、分库分表
四、数据同步
五、通讯
六、微服务
七、分布式工具
八、监控系统
九、调度
十、入口工具
十一、OLT&＃xff08;A&＃xff09;P
十二、CI/CD
十三、问题排查
十四、本地工具

10年架构师领你架构-成长之路-&＃xff08;附面试题&＃xff08;含答案&＃xff09;&＃xff09;

&＃xff08;腾讯T3-T4&＃xff09;打造互联网PHP架构师教程目录大全&＃xff0c;只要你看完&＃xff0c;薪资立马提升2倍&＃xff08;持续更新&＃xff09;

原文链接&＃xff1a;juejin.im

点击与我交流企鹅群

一、消息队列

• √ 推荐&＃xff1a;(1) 吞吐量优先选择kafka

• (2) 稳定性优先选择RocketMQ

• (3) 物联网&＃xff1a;VerneMQ

一个大型的分布式系统&＃xff0c;通常都会异步化&＃xff0c;走消息总线。 消息队列作为最主要的基础组件&＃xff0c;在整个体系架构中&＃xff0c;有着及其重要的作用。异步通常意味着编程模型的改变&＃xff0c;时效性会降低。

• kafka是目前最常用的消息队列&＃xff0c;尤其是在大数据方面&＃xff0c;有着极高的吞吐量。而rocketmq和rabbitmq&＃xff0c;都是电信级别的消息队列&＃xff0c;在业务上用的比较多。相比较而言&＃xff0c;ActiveMQ使用的最少&＃xff0c;属于较老一代的消息框架。

• pulsar是为了解决一些kafka上的问题而诞生的消息系统&＃xff0c;比较年轻&＃xff0c;工具链有限。有些激进的团队经过试用&＃xff0c;反响不错&＃xff0c;但实际使用并不多。

• mqtt具体来说是一种协议&＃xff0c;主要用在物联网方面&＃xff0c;能够双向通信&＃xff0c;属于消息队列范畴&＃xff0c;推荐使用vernemq。

二、缓存

• √ 推荐&＃xff1a;(1) 堆内缓存使用默认的caffeine

• (2) 分布式缓存采用redis的cluster集群模式&＃xff0c;但要注意使用限制

数据缓存是减少数据库压力的有效途径&＃xff0c;有单机java内缓存&＃xff0c;和分布式缓存之分。

• 对于单机来说&＃xff0c;guava的LoadingCache和ehcache都是些熟面孔&＃xff0c;不过SpringBoot选择了caffeine作为它的默认堆内缓存&＃xff0c;这是因为caffeine的速度比较快的原因。

• 对于分布式缓存来说&＃xff0c;优先选择的就是redis&＃xff0c;别犹豫。由于redis是单线程的&＃xff08;6.0支持多线程&＃xff0c;但默认不开启&＃xff09;&＃xff0c;并不适合高耗时操作。所以对于一些数据量比较大的缓存&＃xff0c;比如图片、视频等&＃xff0c;使用老牌的memcached效果会好的多。

• JetCache是一个基于Java的缓存系统封装&＃xff0c;提供统一的api和注解来简化缓存的使用。类似SpringCache&＃xff0c;支持本地缓存和分布式缓存&＃xff0c;也是简化开发的利器。

三、分库分表

• √ 推荐&＃xff1a;shardingsphere中的sharding-jdbc

• 分库分表&＃xff0c;几乎每一个上点规模的公司&＃xff0c;都会有自己的方案。目前&＃xff0c;推荐使用驱动层的sharding-jdbc&＃xff08;已经进入apache&＃xff09;&＃xff0c;或者代理层的mycat。如果你没有额外的运维团队&＃xff0c;又不想花钱买其他机器&＃xff0c;那么就选前者。

• 如果分库分表涉及的项目不多&＃xff0c;spring的动态数据源是一个非常好的选择。它直接编码在代码里&＃xff0c;直观但不易扩展。

如果只需要读写分离 &＃xff0c;那么mysql官方驱动里的replication协议&＃xff0c;是更加轻量级的选择。 上面的分库分表组件&＃xff0c;都是大浪淘沙&＃xff0c;最终的优胜品。这些组件不同于其他组件选型&＃xff0c;方案一旦确定&＃xff0c;几乎无法回退&＃xff0c;所以要慎之又慎。 分库分表是小case&＃xff0c;准备分库分表的阶段&＃xff0c;才是重点&＃xff1a;也就是数据同步。

四、数据同步

国内使用mysql的公司居多&＃xff0c;但postgresql凭借其优异的性能&＃xff0c;使用率逐渐攀升。 不管什么数据库&＃xff0c;实时数据同步工具&＃xff0c;都是把自己模拟成一个从库&＃xff0c;进行数据拉取和解析。 具体来说&＃xff0c;mysql是通过binlog进行同步&＃xff1b;postgresql使用wal日志进行同步。

• 对mysql来说&＃xff0c;canal是国内用的最多的方案&＃xff1b;类似的databus也是比较好用的工具。

• 现在&＃xff0c;canal、maxwell等工具&＃xff0c;都支持将要同步的数据写入到mq中&＃xff0c;进行后续处理&＃xff0c;方便了很多。

• 对于ETL&＃xff08;抽取、清洗、转换&＃xff09;来说&＃xff0c;基本上都是source、task、sink路线&＃xff0c;与前面的功能对应。gobblin、datax、logstash、sqoop等&＃xff0c;都是这样的工具。

• 它们的主要工作&＃xff0c;就是怎么方便的定义配置文件&＃xff0c;编写各种各样的数据源适配接口等。这些ETL工具&＃xff0c;也可以作为数据同步&＃xff08;尤其是全量同步&＃xff09;的工具&＃xff0c;通常是根据ID&＃xff0c;或者最后更新时间 等&＃xff0c;进行处理。

• binlog是实时增量工具&＃xff0c;ETL工具做辅助。通常一个数据同步功能&＃xff0c;需要多个组件的参与&＃xff0c;他们共同组成一个整体。

五、通讯

• √ 推荐&＃xff1a;http&＃43;json&＃xff0c;方便调试。高性能要求可选二进制协议

Java 中&＃xff0c;netty已经成为当之无愧的网络开发框架&＃xff0c;包括其上的socketio&＃xff08;不要再和我提mina了&＃xff09;。对于http协议&＃xff0c;有common-httpclient&＃xff0c;以及更加轻量级的工具okhttp来支持。

• 对于一个rpc来说&＃xff0c;要约定一个通讯方式和序列化方式。json是最常用的序列化方式&＃xff0c;但是传输和解析成本大&＃xff0c;xml等文本协议与其类似&＃xff0c;都有很多冗余的信息&＃xff1b;avro和kryo是二进制的序列化工具&＃xff0c;没有这些缺点&＃xff0c;但调试不便。

• rpc是远程过程调用的意思 &＃xff0c;其中&＃xff0c;thrift、dubbo、gRPC默认都是二进制序列化方式的socket通讯框架&＃xff1b;feign、hessian都是onhttp的远程调用框架。

• 对了&＃xff0c;gRPC的序列化工具是protobuf&＃xff0c;一个压缩比很高的二进制序列化工具。

通常&＃xff0c;服务的响应时间主要耗费在业务逻辑以及数据库上&＃xff0c;通讯层耗时在其中的占比很小。可以根据自己公司的研发水平和业务规模来选择。

感谢大家一直来支持&＃xff0c;这是我准备的1000粉丝福利

【1000粉丝福利】10年架构师分享PHP进阶架构资料&＃xff0c;助力大家都能30K

六、微服务

• √ 推荐&＃xff1a;&＃xff08;1&＃xff09; 注册中心&＃xff1a;consul

• &＃xff08;2&＃xff09;网关&＃xff1a;nginx&＃43;Gateway

• &＃xff08;3&＃xff09;配置中心&＃xff1a;Apollo

• &＃xff08;4&＃xff09;调用链&＃xff1a;Skywalking

• &＃xff08;5&＃xff09;熔断&＃xff1a;resilience4j

我们不止一次说到微服务&＃xff0c;这一次我们从围绕它的一堆支持框架&＃xff0c;来窥探一下这个体系。是的&＃xff0c;这里依然是在说spring cloud。

• 默认的注册中心eureka不再维护&＃xff0c;consul已经成为首选&＃xff0c;它使用raft协议开发开箱即用。nacos、zookeeper等&＃xff0c;都可以作为备选方案。其中nacos带有后台&＃xff0c;比较适合国人使用习惯。

• 熔断组件&＃xff0c;官方的hystrix也已经不维护了。推荐使用resilience4j&＃xff0c;最近阿里的sentinel也表现强劲。

• 对于调用链来说&＃xff0c;由于OpenTracing的兴起&＃xff0c;有了很多新的面孔。推荐使用jaeger或者skywalking。spring cloud集成的sleuth&＃43;zipkin功能稍弱&＃xff0c;甚至不如传统侵入式的cat。

• 配置中心是管理多环境配置文件的利器&＃xff0c;尤其在你不想重启服务器的情况下进行配置更新。

• 目前&＃xff0c;开源中做的最好的要数apollo&＃xff0c;并提供了对spring boot的支持。disconf使用也较为广泛。相对来说&＃xff0c;spring cloud config功能就局限了些&＃xff0c;用的很少。

网关方面&＃xff0c;使用最多的就是nginx&＃xff0c;在nginx之上&＃xff0c;有基于lua脚本的openrestry。由于openresty的使用非常繁杂&＃xff0c;所以有了kong这种封装级别更高的网关。 对于spring cloud来说&＃xff0c;zuul系列推荐使用zuul2&＃xff0c;zuul1是多线程阻塞的&＃xff0c;有硬伤。spring-cloud-gateway是spring cloud亲生的&＃xff0c;Spring Cloud 大力支持&＃xff0c;基于 Spring5.0 的新特性 WebFlux 进行开发。底层网络通信框架采用的是 Netty&＃xff0c;吞吐量高。

七、分布式工具

大家都知道分布式系统zookeeper能用在很多场景&＃xff0c;与其类似的还有基于raft协议的etcd和consul。

• 由于它们能够保证极高的一致性&＃xff0c;所以用作协调工具是再好不过了。用途集中在&＃xff1a;配置中心、分布式锁、命名服务、分布式协调、master选举等场所。

• 对于分布式事务方面&＃xff0c;则有阿里的fescar工具进行支持。但如非特别的必要&＃xff0c;还是使用柔性事务&＃xff0c;追寻最终一致性&＃xff0c;比较好。

八、监控系统

• √ 推荐&＃xff1a;prometheus &＃43; grafana &＃43; telegraf

• 日志收集&＃xff1a;大量ELKB&＃xff0c;小量loki

监控系统组件种类繁多&＃xff0c;目前&＃xff0c;最流行的大概就是上面四类。 zabbix在主机数量不多的情况下&＃xff0c;是非常好的选择。 prometheus来势凶猛&＃xff0c;大有一统天下的架势。它也可以使用更加漂亮的grafana进行前端展示。 influxdata的influxdb和telegraf组件&＃xff0c;都比较好用&＃xff0c;主要是功能很全。 使用es存储的elkb工具链&＃xff0c;也是一个较好的选择。我所知道的很多公司&＃xff0c;都在用。

九、调度

大家可能都用过cron表达式。这个表达式&＃xff0c;最初就是来自linux的crontab工具。 quartz是java中比较古老的调度方案&＃xff0c;分布式调度采用数据库锁的方式&＃xff0c;管理界面需要自行开发。 elastic-job-cloud应用比较广泛&＃xff0c;但系统运维复杂&＃xff0c;学习成本较高。相对来说&＃xff0c;xxl-job就更加轻量级一些。中国人开发的系统&＃xff0c;后台都比较漂亮。

十、入口工具

为了统一用户的访问路口&＃xff0c;一般会使用一些入口工具进行支持。

其中&＃xff0c;haproxy、lvs、keepalived等&＃xff0c;使用非常广泛。

服务器一般采用稳定性较好的centos&＃xff0c;并配备ansible工具进行支持&＃xff0c;那叫一个爽。

十一、OLT&＃xff08;A&＃xff09;P

• 现在的企业&＃xff0c;数据量都非常大&＃xff0c;数据仓库是必须的。

搜索方面&＃xff0c;solr和elasticsearch比较流行&＃xff0c;它们都是基于lucene的。solr比较成熟&＃xff0c;稳定性更好一些&＃xff0c;但实时搜索方面不如es。 列式存储方面&＃xff0c;基于Hadoop 的hbase&＃xff0c;使用最是广泛&＃xff1b;基于LSM的leveldb写入性能优越&＃xff0c;但目前主要是作为嵌入式引擎使用多一些。 tidb是国产新贵&＃xff0c;兼容mysql协议&＃xff0c;公司通过培训向外输出dba&＃xff0c;未来可期。 时序数据库方面&＃xff0c;opentsdb用在超大型监控系统多一些。druid和kudu&＃xff0c;在处理多维度数据实时聚合方面&＃xff0c;更胜一筹。 cassandra在刚出现时火了一段时间&＃xff0c;虽然有facebook弃用的新闻&＃xff0c;但生态已经形成&＃xff0c;常年霸占数据库引擎前15名。

十二、CI/CD

为了支持持续集成和虚拟化&＃xff0c;除了耳熟能详的docker&＃xff0c;我们还有其他工具。

• jenkins是打包发布的首选&＃xff0c;毕竟这么多年了&＃xff0c;一直是老大哥。当然&＃xff0c;写Idea的那家公司&＃xff0c;还出了一个叫TeamCity的工具&＃xff0c;操作界面非常流畅。

• solor不得不说是一个神器&＃xff0c;用了它之后&＃xff0c;小伙伴们的代码一片飘红&＃xff0c;我都快被吐沫星子给淹没了。

• 对于公司内部来说&＃xff0c;一般使用gitlab搭建git服务器。其实&＃xff0c;它里面的gitlab CI&＃xff0c;也是非常好用的。

• Harbor&＃xff0c;在 docker registry 基础上扩展了权限控制&＃xff0c;审计&＃xff0c;镜像同步&＃xff0c;管理界面等治理 能力&＃xff0c;推荐使用。

• 调度方面&＃xff0c;k8sGoogle 开源&＃xff0c;社区的强力推动&＃xff0c;有大量的落地方案。Rancher对k8s进行了功能的拓展&＃xff0c;实现了和k8s集群交互的一些便捷工具&＃xff0c;包括执行命令行&＃xff0c;管理多个 k8s集群&＃xff0c;查看k8s集群节点的运行状态等&＃xff0c;推荐集成。

十三、问题排查

java经常发生内存溢出问题。使用jmap导出堆栈后&＃xff0c;我一般使用mat进行深入分析。

如果在线上实时分析&＃xff0c;有arthas和perf两款工具。

当然&＃xff0c;有大批量的linux工具进行支持。

十四、本地工具

本地使用的jar包和工具&＃xff0c;那就多了去了。下面仅仅提一下最最常用的几个。 数据库连接池方面&＃xff0c;国内使用druid最多。目前&＃xff0c;有号称速度最快的hikari数据库连接池&＃xff0c;以及老掉牙的dbcp和c3p0。 json方面&＃xff0c;国内使用fastjson最多&＃xff0c;三天两头冒出个漏洞&＃xff1b;国外则使用jackson多一些。它们的api都类似&＃xff0c;jackson特性多一些&＃xff0c;但fastjson更加容易使用。鉴于fastjson频繁出现安全问题&＃xff0c;现在已经掀起了一股去fastjson的浪潮。 工具包方面&＃xff0c;虽然有各种commons包&＃xff0c;guava首选。 技术日新月异&＃xff0c;新瓶装旧酒&＃xff0c;名词一箩筐&＃xff0c;程序员很辛苦。唯有那背后的基础原理&＃xff0c;大道至简的思想&＃xff0c;经久不衰。

喜欢我的文章就关注我吧&＃xff0c;持续更新中.....

以上内容希望帮助到大家&＃xff0c;很多PHPer在进阶的时候总会遇到一些问题和瓶颈&＃xff0c;业务代码写多了没有方向感&＃xff0c;不知道该从那里入手去提升&＃xff0c;对此我整理了一些资料&＃xff0c;包括但不限于&＃xff1a;分布式架构、高可扩展、高性能、高并发、服务器性能调优、TP6&＃xff0c;laravel&＃xff0c;YII2&＃xff0c;Redis&＃xff0c;Swoole、Swoft、Kafka、Mysql优化、shell脚本、Docker、微服务、Nginx等多个知识点高级进阶干货需要的可以免费分享给大家&＃xff0c;需要的可以点击进入暗号&＃xff1a;知乎。