热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

数据采集高并发的架构应用

问题的出发点:最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是
问题的出发点:

         最近公司为了发展需要,要扩大对用户的信息采集,每个用户的采集量估计约2W。如果用户量增加的话,将会大量照成采集量成3W倍的增长,但是又要满足日常业务需要,特别是指令要及时得到响应的频率次数远大于预期。 
        注:公司架构采集.NET平台架构。 

技术障碍:


     1. 面对用户量的增长,记录数2W倍的增长,如何保证这些记录能够在比较快的时间内进入存储介质。

   2. 应对用户量的增长,如何在规定的时间内完成采集,增加硬件设备处理能力还是使用更多的服务器来处理请求。

     3. 服务器的增长,是否能够支持现有的扩展能力。

     4. 服务器下发任务给客户端,采集指令易堵塞,造成假死现象。

架构实现?

10 个解决方案

#1




你想干啥。你想为公司开发一个产品?

#2


采集什么玩意

不要乱用自己发明的名词

能采集的东西多了,采集的方式多了

如果只说.net,实在不知道你这到底是个什么玩意

#3


有点迷糊  ```````

#4


一看就知道 又是一个物联网项目

#5


3W倍什么概念?几何级数递增?那么几天以后全世界所有的硬盘都给你存数据都不够了。

#6


很简单,瓶颈在哪儿?明显是在服务器和客户端的交互上。

然后继续分析,瓶颈在哪儿?是带宽吗?是后台数据库读写吗?这些都不是主要问题,都属于可解决的问题。

然后就清楚了,问题就在前后端的接口上,即服务器的“接待”能力上。
服务器的SOCKET是有限的,服务器本身的处理能力也是有限的,那怎么办?

问题定位清楚了,下面就来解决方案了。方案看似也呼之欲出,就是增加前段处理的服务器数量。
然后呢?多个服务器怎么管理呢?再增加一个load balance服务器,一切ok。

#7


“2W增长”最起码也应该有个时间范围吧?如果做个预测时甚至都不知道描述时间范围,那么再怎么开发也是风险极高的。一些想当然的做法、一旦遇到问题就堆砌时髦用语的做法,缺少灵活可控的关键技术,也是风险极高的。

#8


你们现在应该开发出来了吧?是怎么搞的呢?

#9


2W倍到底是多大数据量啊?每秒/每分钟/每天?
增加硬件设备处理能力还是服务器?这个一般根据各种方案的成本预估。
服务器的增长是否能够支持现有的扩展能力?取决于你的架构设计方案。
堵塞+假死,正常情况不是你的程序有BUG吗?

架构实现?需求都不明确,拿什么谈架构,楼主还是请个架构师吧。

#10


是什么的2w倍,时间的,人数的?……

推荐阅读
  • 对象存储与块存储、文件存储等对比
    看到一篇文档,讲对象存储,好奇,搜索文章,摘抄,学习记录!背景:传统存储在面对海量非结构化数据时,在存储、分享与容灾上面临很大的挑战,主要表现在以下几个方面:传统存储并非为非结 ... [详细]
  • Redis:缓存与内存数据库详解
    本文介绍了数据库的基本分类,重点探讨了关系型与非关系型数据库的区别,并详细解析了Redis作为非关系型数据库的特点、工作模式、优点及持久化机制。 ... [详细]
  • 2021年Java开发实战:当前时间戳转换方法详解与实用网址推荐
    在当前的就业市场中,金九银十过后,金三银四也即将到来。本文将分享一些实用的面试技巧和题目,特别是针对正在寻找新工作机会的Java开发者。作者在准备字节跳动的面试过程中积累了丰富的经验,并成功获得了Offer。文中详细介绍了如何将当前时间戳进行转换的方法,并推荐了一些实用的在线资源,帮助读者更好地应对技术面试。 ... [详细]
  • 协程作为一种并发设计模式,能有效简化Android平台上的异步代码处理。自Kotlin 1.3版本引入协程以来,这一特性基于其他语言的成熟理念,为开发者提供了新的工具,以增强应用的响应性和效率。 ... [详细]
  • 电商高并发解决方案详解
    本文以京东为例,详细探讨了电商中常见的高并发解决方案,包括多级缓存和Nginx限流技术,旨在帮助读者更好地理解和应用这些技术。 ... [详细]
  • 英特尔推出第三代至强可扩展处理器及傲腾持久内存,AI性能显著提升
    英特尔在数据创新峰会上发布了第三代至强可扩展处理器和第二代傲腾持久内存,全面增强AI能力和系统性能。 ... [详细]
  • ABP框架是ASP.NET Boilerplate的简称,它不仅是一个开源且文档丰富的应用程序框架,还提供了一套基于领域驱动设计(DDD)的最佳实践架构模型。本文将详细介绍ABP框架的特点、项目结构及其在Web API优先架构中的应用。 ... [详细]
  • 阿里面试题解析:分库分表后的无限扩容瓶颈与解决方案
    本文探讨了在分布式系统中,分库分表后的无限扩容问题及其解决方案。通过分析不同阶段的服务架构演变,提出了单元化作为解决数据库连接数过多的有效方法。 ... [详细]
  • RocketMQ在秒杀时的应用
    目录一、RocketMQ是什么二、broker和nameserver2.1Broker2.2NameServer三、MQ在秒杀场景下的应用3.1利用MQ进行异步操作3. ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • Java高并发与多线程(二):线程的实现方式详解
    本文将深入探讨Java中线程的三种主要实现方式,包括继承Thread类、实现Runnable接口和实现Callable接口,并分析它们之间的异同及其应用场景。 ... [详细]
  • Juval Löwy主张,每个类都应被视为服务,这并非是为了让服务无处不在,而是因为微服务是经过深思熟虑后系统分解的自然结果。在他的设计和构建的系统中,这种理念有助于提高模块化、可维护性和扩展性。通过将每个类视为独立的服务,系统能够更好地应对复杂性,实现更灵活的部署和更高的性能。 ... [详细]
  • 深入探讨:Actor模型如何解决并发与分布式计算难题
    在现代软件开发中,高并发和分布式系统的设计面临着诸多挑战。本文基于Akka最新文档,详细探讨了Actor模型如何有效地解决这些挑战,并提供了对并发和分布式计算的新视角。 ... [详细]
  • 如何在U8系统中连接服务器并获取数据
    本文介绍了如何在U8系统中通过不同的方法连接服务器并获取数据,包括使用MySQL客户端连接实例的方法,如非SSL连接和SSL连接,并提供了详细的步骤和注意事项。 ... [详细]
  • MySQL Administrator: 监控与管理工具
    本文介绍了 MySQL Administrator 的主要功能,包括图形化监控 MySQL 服务器的实时状态、连接健康度、内存健康度以及如何创建自定义的健康图表。此外,还详细解释了状态变量和系统变量的管理。 ... [详细]
author-avatar
码农
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有