热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

数据采集高并发的架构应用

问题的出发点:最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是
问题的出发点:

         最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是指令要及时得到响应的频率次数远大于预期。 
        注:公司架构采集.NET平台架构。 

技术障碍:


     1. 面对用户量的增长,记录数2W倍的增长,如何保证这些记录能够在比较快的时间内进入存储介质。

   2. 应对用户量的增长,如何在规定的时间内完成采集,增加硬件设备处理能力还是使用更多的服务器来处理请求。

     3. 服务器的增长,是否能够支持现有的扩展能力。

     4. 服务器下发任务给客户端,采集指令易堵塞,造成假死现象。

架构实现?

10 个解决方案

#1




你想干啥。你想为公司开发一个产品?

#2


采集什么玩意

不要乱用自己发明的名词

能采集的东西多了,采集的方式多了

如果只说.net,实在不知道你这到底是个什么玩意

#3


有点迷糊  ```````

#4


一看就知道 又是一个物联网项目

#5


3W倍什么概念?几何级数递增?那么几天以后全世界所有的硬盘都给你存数据都不够了。

#6


很简单,瓶颈在哪儿?明显是在服务器和客户端的交互上。

然后继续分析,瓶颈在哪儿?是带宽吗?是后台数据库读写吗?这些都不是主要问题,都属于可解决的问题。

然后就清楚了,问题就在前后端的接口上,即服务器的“接待”能力上。
服务器的SOCKET是有限的,服务器本身的处理能力也是有限的,那怎么办?

问题定位清楚了,下面就来解决方案了。方案看似也呼之欲出,就是增加前段处理的服务器数量。
然后呢?多个服务器怎么管理呢?再增加一个load balance服务器,一切ok。

#7


“2W增长”最起码也应该有个时间范围吧?如果做个预测时甚至都不知道描述时间范围,那么再怎么开发也是风险极高的。一些想当然的做法、一旦遇到问题就堆砌时髦用语的做法,缺少灵活可控的关键技术,也是风险极高的。

#8


你们现在应该开发出来了吧?是怎么搞的呢?

#9


2W倍到底是多大数据量啊?每秒/每分钟/每天?
增加硬件设备处理能力还是服务器?这个一般根据各种方案的成本预估。
服务器的增长是否能够支持现有的扩展能力?取决于你的架构设计方案。
堵塞+假死,正常情况不是你的程序有BUG吗?

架构实现?需求都不明确,拿什么谈架构,楼主还是请个架构师吧。

#10


是什么的2w倍,时间的,人数的?……

推荐阅读
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • 深入探讨CPU虚拟化与KVM内存管理
    本文详细介绍了现代服务器架构中的CPU虚拟化技术,包括SMP、NUMA和MPP三种多处理器结构,并深入探讨了KVM的内存虚拟化机制。通过对比不同架构的特点和应用场景,帮助读者理解如何选择最适合的架构以优化性能。 ... [详细]
  • 深入解析 Apache Shiro 安全框架架构
    本文详细介绍了 Apache Shiro,一个强大且灵活的开源安全框架。Shiro 专注于简化身份验证、授权、会话管理和加密等复杂的安全操作,使开发者能够更轻松地保护应用程序。其核心目标是提供易于使用和理解的API,同时确保高度的安全性和灵活性。 ... [详细]
  • 探讨如何通过编程技术实现100个并发连接,解决线程创建顺序问题,并提供高效的并发测试方案。 ... [详细]
  • 数据管理权威指南:《DAMA-DMBOK2 数据管理知识体系》
    本书提供了全面的数据管理职能、术语和最佳实践方法的标准行业解释,构建了数据管理的总体框架,为数据管理的发展奠定了坚实的理论基础。适合各类数据管理专业人士和相关领域的从业人员。 ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
  • 本文详细介绍了 MySQL 的查询处理流程,包括从客户端连接到服务器、查询缓存检查、语句解析、查询优化及执行等步骤。同时,深入探讨了 MySQL 中的乐观锁机制及其在并发控制中的应用。 ... [详细]
  • Ralph的Kubernetes进阶之旅:集群架构与对象解析
    本文深入探讨了Kubernetes集群的架构和核心对象,详细介绍了Pod、Service、Volume等基本组件,以及更高层次的抽象如Deployment、StatefulSet等,帮助读者全面理解Kubernetes的工作原理。 ... [详细]
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 通过与阿里云的合作,牛客网成功解决了跨国视频面试中的网络卡顿问题,为求职者和面试官提供了更加流畅的沟通体验。 ... [详细]
  • 本文探讨了 Spring Boot 应用程序在不同配置下支持的最大并发连接数,重点分析了内置服务器(如 Tomcat、Jetty 和 Undertow)的默认设置及其对性能的影响。 ... [详细]
  • 作者:守望者1028链接:https:www.nowcoder.comdiscuss55353来源:牛客网面试高频题:校招过程中参考过牛客诸位大佬的面经,但是具体哪一块是参考谁的我 ... [详细]
author-avatar
码农
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有