前言
Linux 网络协议栈是根据 TCP/IP 模型来实现的&＃xff0c;TCP/IP 模型由应用层、传输层、网络层和网络接口层&＃xff0c;共四层组成&＃xff0c;每一层都有各自的职责。
应用程序要发送数据包时&＃xff0c;通常是通过 socket 接口&＃xff0c;于是就会发生系统调用&＃xff0c;把应用层的数据拷贝到内核里的 socket 层&＃xff0c;接着由网络协议栈从上到下逐层处理后&＃xff0c;最后才会送到网卡发送出去。
而对于接收网络包时&＃xff0c;同样也要经过网络协议逐层处理&＃xff0c;不过处理的方向与发送数据时是相反的&＃xff0c;也就是从下到上的逐层处理&＃xff0c;最后才送到应用程序。
网络的速度往往跟用户体验是挂钩的&＃xff0c;那我们又该用什么指标来衡量 Linux 的网络性能呢&＃xff1f;以及如何分析网络问题呢&＃xff1f;
这次&＃xff0c;我们就来说这些。
正文
在写这个文章之前&＃xff0c;我花了点时间&＃xff0c;自己臆想了一个电商系统&＃xff0c;基本上算是麻雀虽小五脏俱全&＃xff0c;我今天就用它开刀&＃xff0c;一步步剖析&＃xff0c;我会讲一下我们可能会接触的技术栈可能不全&＃xff0c;但是够用&＃xff0c;最后给个学习路线。
Tip&＃xff1a;请多欣赏一会&＃xff0c;每个点看一下&＃xff0c;看看什么地方是你接触过的&＃xff0c;什么技术栈是你不太熟悉的&＃xff0c;我觉得还算是比较全的&＃xff0c;有什么建议也可以留言给我。
不知道大家都看了一下没&＃xff0c;现在我们就要庖丁解牛了&＃xff0c;我从上到下依次分析。
前端
你可能会会好奇&＃xff0c;你不是讲后端学习路线嘛&＃xff0c;为啥还有前端的部分&＃xff0c;我只能告诉你&＃xff0c;傻瓜&＃xff0c;肤浅。
我们可不能闭门造车&＃xff0c;谁告诉你后端就不学点前端了&＃xff1f;
前端现在很多也了解后端的技术栈的&＃xff0c;你想我们去一个网站&＃xff0c;最先接触的&＃xff0c;最先看到的是啥&＃xff1f;
没错就是前端&＃xff0c;在大学你要是找不到专门的前端同学&＃xff0c;去做系统肯定也要自己顶一下前端的&＃xff0c;那我觉得最基本的技术栈得熟悉和了解吧&＃xff0c;丙丙现在也是偶尔会开发一下我们的管理系统主要是VUE和React。
在这里我列举了我目前觉得比较简单和我们后端可以了解的技术栈&＃xff0c;都是比较基础的。
作为一名后端了解部分前端知识还是很有必要的&＃xff0c;在以后开发的时候&＃xff0c;公司有前端那能帮助你前后端联调更顺畅&＃xff0c;如果没前端你自己也能顶一下简单的页面。
HTML、CSS、JS、Ajax我觉得是必须掌握的点&＃xff0c;看着简单其实深究或者去操作的话还是有很多东西的&＃xff0c;其他作为扩展有兴趣可以了解&＃xff0c;反正入门简单&＃xff0c;只是精通很难很难。
在这一层不光有这些还有Http协议和Servlet&＃xff0c;request、response、COOKIE、session这些也会伴随你整个技术生涯&＃xff0c;理解他们对后面的你肯定有不少好处。
Tip&＃xff1a;我这里最后删除了JSP相关的技术&＃xff0c;我个人觉得没必要学了&＃xff0c;很多公司除了老项目之外&＃xff0c;新项目都不会使用那些技术了。
前端在我看来比后端难&＃xff0c;技术迭代比较快&＃xff0c;知识好像也没特定的体系&＃xff0c;所以面试大厂的前端很多朋友都说难&＃xff0c;不是技术多难&＃xff0c;而是知识多且复杂&＃xff0c;找不到一个完整的体系&＃xff0c;相比之下后端明朗很多&＃xff0c;我后面就开始讲后端了。
网关层&＃xff1a;
互联网发展到现在&＃xff0c;涌现了很多互联网公司&＃xff0c;技术更新迭代了很多个版本&＃xff0c;从早期的单机时代&＃xff0c;到现在超大规模的互联网时代&＃xff0c;几亿人参与的春运&＃xff0c;几千亿成交规模的双十一&＃xff0c;无数互联网前辈的造就了现在互联网的辉煌。
微服务&＃xff0c;分布式&＃xff0c;负载均衡等我们经常提到的这些名词都是这些技术在场景背后支撑。
单机顶不住&＃xff0c;我们就多找点服务器&＃xff0c;但是怎么将流量均匀的打到这些服务器上呢&＃xff1f;
负载均衡&＃xff0c;LVS
我们机器都是IP访问的&＃xff0c;那怎么通过我们申请的域名去请求到服务器呢&＃xff1f;
DNS
大家刷的抖音&＃xff0c;B站&＃xff0c;快手等等视频服务商&＃xff0c;是怎么保证同时为全国的用户提供快速的体验&＃xff1f;
CDN
我们这么多系统和服务&＃xff0c;还有这么多中间件的调度怎么去管理调度等等&＃xff1f;
zk
这么多的服务器&＃xff0c;怎么对外统一访问呢&＃xff0c;就可能需要知道反向代理的服务器。
Nginx
这一层做了反向负载、服务路由、服务治理、流量管理、安全隔离、服务容错等等都做了&＃xff0c;大家公司的内外网隔离也是这一层做的。
我之前还接触过一些比较有意思的项目&＃xff0c;所有对外的接口都是加密的&＃xff0c;几十个服务会经过网关解密&＃xff0c;找到真的路由再去请求。
这一层的知识点其实也不少&＃xff0c;你往后面学会发现分布式事务&＃xff0c;分布式锁&＃xff0c;还有很多中间件都离不开zk这一层&＃xff0c;我们继续往下看。
服务层&＃xff1a;
这一层有点东西了&＃xff0c;算是整个框架的核心&＃xff0c;如果你跟我帅丙一样以后都是从事后端开发的话&＃xff0c;我们基本上整个技术生涯&＃xff0c;大部分时间都在跟这一层的技术栈打交道了&＃xff0c;各种琳琅满目的中间件&＃xff0c;计算机基础知识&＃xff0c;Linux操作&＃xff0c;算法数据结构&＃xff0c;架构框架&＃xff0c;研发工具等等。
我想在看这个文章的各位&＃xff0c;计算机基础肯定都是学过的吧&＃xff0c;如果大学的时候没好好学&＃xff0c;我觉得还是有必要再看看的。
为什么我们网页能保证安全可靠的传输&＃xff0c;你可能会了解到HTTP&＃xff0c;TCP协议&＃xff0c;什么三次握手&＃xff0c;四次挥手。
还有进程、线程、协程&＃xff0c;什么内存屏障&＃xff0c;指令乱序&＃xff0c;分支预测&＃xff0c;CPU亲和性等等&＃xff0c;在之后的编程生涯&＃xff0c;如果你能掌握这些东西&＃xff0c;会让你在遇到很多问题的时候瞬间get到点&＃xff0c;而不是像个无头苍蝇一样乱撞&＃xff08;然而丙丙还做得不够&＃xff09;。
了解这些计算机知识后&＃xff0c;你就需要接触编程语言了&＃xff0c;大学的C语言基础会让你学什么语言入门都会快点&＃xff0c;我选择了面向对象的JAVA&＃xff0c;但是也不知道为啥现在还没对象。
JAVA的基础也一样重要&＃xff0c;面向对象&＃xff08;包括类、对象、方法、继承、封装、抽象、 多态、消息解析等&＃xff09;&＃xff0c;常见API&＃xff0c;数据结构&＃xff0c;集合框架&＃xff0c;设计模式&＃xff08;包括创建型、结构型、行为型&＃xff09;&＃xff0c;多线程和并发&＃xff0c;I/O流&＃xff0c;Stream&＃xff0c;网络编程你都需要了解。
代码会写了&＃xff0c;你就要开始学习一些能帮助你把系统变得更加规范的框架&＃xff0c;SSM可以会让你的开发更加便捷&＃xff0c;结构层次更加分明。
写代码的时候你会发现你大学用的Eclipse在公司看不到了&＃xff0c;你跟大家一样去用了IDEA&＃xff0c;第一天这是什么玩意&＃xff0c;一周后&＃xff0c;真香&＃xff0c;但是这玩意收费有点贵&＃xff0c;那免费的VSCode真的就是不错的选择了。
代码写的时候你会接触代码的仓库管理工具maven、Gradle&＃xff0c;提交代码的时候会去写项目版本管理工具Git。
代码提交之后&＃xff0c;发布之后你会发现很多东西需要自己去服务器亲自排查&＃xff0c;那Linux的知识点就可以在里面灵活运用了&＃xff0c;查看进程&＃xff0c;查看文件&＃xff0c;各种Vim操作等等。
系统的优化很多地方没优化的空间了&＃xff0c;你可能会尝试从算法&＃xff0c;或者优化数据结构去优化&＃xff0c;你看到了HashMap的源码&＃xff0c;想去了解红黑树&＃xff0c;然后在算法网上看到了二叉树搜索树和各种常见的算法问题&＃xff0c;刷多了&＃xff0c;你也能总结出精华所在&＃xff0c;什么贪心&＃xff0c;分治&＃xff0c;动态规划等。
这么多个服务&＃xff0c;你发现HTTP请求已经开始有点不满足你的需求了&＃xff0c;你想开发更便捷&＃xff0c;像访问本地服务一样访问远程服务&＃xff0c;所以我们去了解了Dubbo&＃xff0c;Spring cloud。
了解Dubbo的过程中&＃xff0c;你发现了RPC的精华所在&＃xff0c;所以你去接触到了高性能的NIO框架&＃xff0c;Netty。
代码写好了&＃xff0c;服务也能通信了&＃xff0c;但是你发现你的代码链路好长&＃xff0c;都耦合在一起了&＃xff0c;所以你接触了消息队列&＃xff0c;这种异步的处理方式&＃xff0c;真香。
他还可以帮你在突发流量的时候用队列做缓冲&＃xff0c;但是你发现分布式的情况&＃xff0c;事务就不好管理了&＃xff0c;你就了解到了分布式事务&＃xff0c;什么两段式&＃xff0c;三段式&＃xff0c;TCC&＃xff0c;XA&＃xff0c;阿里云的全局事务服务GTS等等。
分布式事务的时候你会想去了解RocketMQ&＃xff0c;因为他自带了分布式事务的解决方案&＃xff0c;大数据的场景你又看到了Kafka。
我上面提到过zk&＃xff0c;像Dubbo、Kafka等中间件都是用它做注册中心的&＃xff0c;所以很多技术栈最后都组成了一个知识体系&＃xff0c;你先了解了体系中的每一员&＃xff0c;你才能把它们联系起来。
服务的交互都从进程内通信变成了远程通信&＃xff0c;所以性能必然会受到一些影响。
此外由于很多不确定性的因素&＃xff0c;例如网络拥塞、Server 端服务器宕机、挖掘机铲断机房光纤等等&＃xff0c;需要许多额外的功能和措施才能保证微服务流畅稳定的工作。
Spring Cloud 中就有 Hystrix 熔断器、Ribbon客户端负载均衡器、Eureka注册中心等等都是用来解决这些问题的微服务组件。
你感觉学习得差不多了&＃xff0c;你发现各大论坛博客出现了一些前沿技术&＃xff0c;比如容器化&＃xff0c;你可能就会去了解容器化的知识&＃xff0c;像**Docker&＃xff0c;Kubernetes&＃xff08;K8s&＃xff09;**等。
微服务之所以能够快速发展&＃xff0c;很重要的一个原因就是&＃xff1a;容器化技术的发展和容器管理系统的成熟。
这一层的东西呢其实远远不止这些的&＃xff0c;我不过多赘述&＃xff0c;写多了像个劝退师一样&＃xff0c;但是大家也不用慌&＃xff0c;大部分的技术都是慢慢接触了&＃xff0c;工作中慢慢去了解&＃xff0c;去深入的。
好啦我们继续沿着图往下看&＃xff0c;那再往下是啥呢&＃xff1f;
数据层&＃xff1a;
数据库可能是整个系统中最值钱的部分了&＃xff0c;在我码文字的前一天&＃xff0c;刚好发生了微盟程序员删库跑路的操作&＃xff0c;删库跑路其实是我们在网上最常用的笑话&＃xff0c;没想到还是照进了现实。
这里也提一点点吧&＃xff0c;36小时的故障&＃xff0c;其实在互联网公司应该是个笑话了吧&＃xff0c;权限控制没做好类似rm -rf 、fdisk、drop等等这样的高危命令是可以实时拦截掉的&＃xff0c;备份&＃xff0c;全量备份&＃xff0c;增量备份&＃xff0c;延迟备份&＃xff0c;异地容灾全部都考虑一下应该也不至于这样&＃xff0c;一家上市公司还是有点点不应该。
数据库基本的事务隔离级别&＃xff0c;索引&＃xff0c;SQL&＃xff0c;主被同步&＃xff0c;读写分离等都可能是你学的时候要了解到的。
上面我们提到了安全&＃xff0c;不要把鸡蛋放一个篮子的道理大家应该都知道&＃xff0c;那分库的意义就很明显了&＃xff0c;然后你会发现时间久了表的数据大了&＃xff0c;就会想到去接触分表&＃xff0c;什么TDDL、Sharding-JDBC、DRDS这些插件都会接触到。
你发现流量大的时候&＃xff0c;或者热点数据打到数据库还是有点顶不住&＃xff0c;压力太大了&＃xff0c;那非关系型数据库就进场了&＃xff0c;Redis当然是首选&＃xff0c;但是MongoDB、memcache也有各自的应用场景。
Redis使用后&＃xff0c;真香&＃xff0c;真快&＃xff0c;但是你会开始担心最开始提到的安全问题&＃xff0c;这玩意快是因为在内存中操作&＃xff0c;那断点了数据丢了怎么办&＃xff1f;你就开始阅读官方文档&＃xff0c;了解RDB&＃xff0c;AOF这些持久化机制&＃xff0c;线上用的时候还会遇到缓存雪崩击穿、穿透等等问题。
单机不满足你就用了&＃xff0c;他的集群模式&＃xff0c;用了集群可能也担心集群的健康状态&＃xff0c;所以就得去了解哨兵&＃xff0c;他的主从同步&＃xff0c;时间久了Key多了&＃xff0c;就得了解内存淘汰机制……
他的大容量存储有问题&＃xff0c;你可能需要去了解Pika….
其实远远没完&＃xff0c;每个的点我都点到为止&＃xff0c;但是其实要深究每个点都要学很久&＃xff0c;我们接着往下看。
实时/离线/大数据
等你把几种关系型非关系型数据库的知识点&＃xff0c;整理清楚后&＃xff0c;你会发现数据还是大啊&＃xff0c;而且数据的场景越来越多多样化了&＃xff0c;那大数据的各种中间件你就得了解了。
你会发现很多场景&＃xff0c;不需要实时的数据&＃xff0c;比如你查你的支付宝去年的&＃xff0c;上个月的账单&＃xff0c;这些都是不会变化的数据&＃xff0c;没必要实时&＃xff0c;那你可能会接触像ODPS这样的中间件去做数据的离线分析。
然后你可能会接触Hadoop系列相关的东西&＃xff0c;比如于Hadoop&＃xff08;HDFS&＃xff09;的一个数据仓库工具Hive&＃xff0c;是建立在 Hadoop 文件系统之上的分布式面向列的数据库HBase 。
写多的场景&＃xff0c;适合做一些简单查询&＃xff0c;用他们又有点大材小用&＃xff0c;那Cassandra就再合适不过了。
离线的数据分析没办法满足一些实时的常见&＃xff0c;类似风控&＃xff0c;那Flink你也得略知一二&＃xff0c;他的窗口思想还是很有意思。
数据接触完了&＃xff0c;计算引擎Spark你是不是也不能放过……
搜索引擎&＃xff1a;
传统关系型数据库和NoSQL非关系型数据都没办法解决一些问题&＃xff0c;比如我们在百度&＃xff0c;淘宝搜索东西的时候&＃xff0c;往往都是几个关键字在一起一起搜索东西的&＃xff0c;在数据库除非把几次的结果做交集&＃xff0c;不然很难去实现。
那全文检索引擎就诞生了&＃xff0c;解决了搜索的问题&＃xff0c;你得思考怎么把数据库的东西实时同步到ES中去&＃xff0c;那你可能会思考到logstash去定时跑脚本同步&＃xff0c;又或者去接触伪装成一台MySQL从服务的Canal&＃xff0c;他会去订阅MySQL主服务的binlog&＃xff0c;然后自己解析了去操作Es中的数据。
这些都搞定了&＃xff0c;那可视化的后台查询又怎么解决呢&＃xff1f;Kibana&＃xff0c;他他是一个可视化的平台&＃xff0c;甚至对Es集群的健康管理都做了可视化&＃xff0c;很多公司的日志查询系统都是用它做的。
写在最后 以上就是我的面试过程&＃xff0c;为了这次面试&＃xff0c;也收集了很多的面试题&＃xff0c;反正我已经面过了&＃xff0c;那就免费分享出来吧&＃xff01;
需要的朋友&＃xff1a;关注一下&＃xff0c;然后点击这里即可免费领取
以下是部分面试题截图
[外链图片转存中…(img-I02lmMAR-1620704039706)]
写在最后 以上就是我的面试过程&＃xff0c;为了这次面试&＃xff0c;也收集了很多的面试题&＃xff0c;反正我已经面过了&＃xff0c;那就免费分享出来吧&＃xff01;
需要的朋友&＃xff1a;关注一下&＃xff0c;然后点击这里即可免费领取
以下是部分面试题截图
京公网安备 11010802041100号