作者:码农 | 来源:互联网 | 2023-09-13 13:22
问题的出发点:最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是
问题的出发点:
最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是指令要及时得到响应的频率次数远大于预期。
注:公司架构采集.NET平台架构。
技术障碍:
1. 面对用户量的增长,记录数2W倍的增长,如何保证这些记录能够在比较快的时间内进入存储介质。
2. 应对用户量的增长,如何在规定的时间内完成采集,增加硬件设备处理能力还是使用更多的服务器来处理请求。
3. 服务器的增长,是否能够支持现有的扩展能力。
4. 服务器下发任务给客户端,采集指令易堵塞,造成假死现象。
架构实现?
10 个解决方案
采集什么玩意
不要乱用自己发明的名词
能采集的东西多了,采集的方式多了
如果只说.net,实在不知道你这到底是个什么玩意
很简单,瓶颈在哪儿?明显是在服务器和客户端的交互上。
然后继续分析,瓶颈在哪儿?是带宽吗?是后台数据库读写吗?这些都不是主要问题,都属于可解决的问题。
然后就清楚了,问题就在前后端的接口上,即服务器的“接待”能力上。
服务器的SOCKET是有限的,服务器本身的处理能力也是有限的,那怎么办?
问题定位清楚了,下面就来解决方案了。方案看似也呼之欲出,就是增加前段处理的服务器数量。
然后呢?多个服务器怎么管理呢?再增加一个load balance服务器,一切ok。
“2W增长”最起码也应该有个时间范围吧?如果做个预测时甚至都不知道描述时间范围,那么再怎么开发也是风险极高的。一些想当然的做法、一旦遇到问题就堆砌时髦用语的做法,缺少灵活可控的关键技术,也是风险极高的。
2W倍到底是多大数据量啊?每秒/每分钟/每天?
增加硬件设备处理能力还是服务器?这个一般根据各种方案的成本预估。
服务器的增长是否能够支持现有的扩展能力?取决于你的架构设计方案。
堵塞+假死,正常情况不是你的程序有BUG吗?
架构实现?需求都不明确,拿什么谈架构,楼主还是请个架构师吧。