热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

求教如何能实时的将socket服务端接受的数据存入数据库

现有一个TCPsocket服务端,并发连接数据大概有1W左右,没个连接没隔30秒发一条数据到服务端,如何将这些数据能实时的插入到数据库中!
现有一个TCP socket服务端,并发连接数据大概有1W左右,没个连接没隔30秒发一条数据到服务端,如何将这些数据能实时的插入到数据库中!

6 个解决方案

#1


所有的连接把收到的数据放到Queue里,然后单独启动一个线程循环取Queue里的数据进行存储。

#2


队列+数据库批处理

#3


引用 1 楼 wqc5461 的回复:
所有的连接把收到的数据放到Queue里,然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制,连接少可以,但是连接数一多入库的速度就跟不上接收速度!

#4


引用 3 楼 a8282542 的回复:
Quote: 引用 1 楼 wqc5461 的回复:

所有的连接把收到的数据放到Queue里,然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制,连接少可以,但是连接数一多入库的速度就跟不上接收速度!

那就用线程池多启动几个这样的线程。

#5


引用 4 楼 wqc5461 的回复:
Quote: 引用 3 楼 a8282542 的回复:

Quote: 引用 1 楼 wqc5461 的回复:

所有的连接把收到的数据放到Queue里,然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制,连接少可以,但是连接数一多入库的速度就跟不上接收速度!

那就用线程池多启动几个这样的线程。
入库已经开启多个线程了,但是每秒只能处理70-80个

#6


引用 5 楼 a8282542 的回复:
Quote: 引用 4 楼 wqc5461 的回复:

Quote: 引用 3 楼 a8282542 的回复:

Quote: 引用 1 楼 wqc5461 的回复:

所有的连接把收到的数据放到Queue里,然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制,连接少可以,但是连接数一多入库的速度就跟不上接收速度!

那就用线程池多启动几个这样的线程。
入库已经开启多个线程了,但是每秒只能处理70-80个

压力在数据库 I/O 并不在程序。

推荐阅读
  • 优化Flask应用的并发处理:解决Mysql连接过多问题
    本文探讨了在Flask应用中通过优化后端架构来应对高并发请求,特别是针对Mysql 'too many connections' 错误的解决方案。我们将介绍如何利用Redis缓存、Gunicorn多进程和Celery异步任务队列来提升系统的性能和稳定性。 ... [详细]
  • 本文介绍了Java并发库中的阻塞队列(BlockingQueue)及其典型应用场景。通过具体实例,展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递,并结合线程池和原子类优化性能。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • 本文探讨了 Spring Boot 应用程序在不同配置下支持的最大并发连接数,重点分析了内置服务器(如 Tomcat、Jetty 和 Undertow)的默认设置及其对性能的影响。 ... [详细]
  • 微软Exchange服务器遭遇2022年版“千年虫”漏洞
    微软Exchange服务器在新年伊始遭遇了一个类似于‘千年虫’的日期处理漏洞,导致邮件传输受阻。该问题主要影响配置了FIP-FS恶意软件引擎的Exchange 2016和2019版本。 ... [详细]
  • 作者:守望者1028链接:https:www.nowcoder.comdiscuss55353来源:牛客网面试高频题:校招过程中参考过牛客诸位大佬的面经,但是具体哪一块是参考谁的我 ... [详细]
  • FinOps 与 Serverless 的结合:破解云成本难题
    本文探讨了如何通过 FinOps 实践优化 Serverless 应用的成本管理,提出了首个 Serverless 函数总成本估计模型,并分享了多种有效的成本优化策略。 ... [详细]
  • Netflix利用Druid实现高效实时数据分析
    本文探讨了全球领先的在线娱乐公司Netflix如何通过采用Apache Druid,实现了高效的数据采集、处理和实时分析,从而显著提升了用户体验和业务决策的准确性。文章详细介绍了Netflix在系统架构、数据摄取、管理和查询方面的实践,并展示了Druid在大规模数据处理中的卓越性能。 ... [详细]
  • 本文详细介绍了Grand Central Dispatch (GCD) 的核心概念和使用方法,探讨了任务队列、同步与异步执行以及常见的死锁问题。通过具体示例和代码片段,帮助开发者更好地理解和应用GCD进行多线程开发。 ... [详细]
  • 并发编程 12—— 任务取消与关闭 之 shutdownNow 的局限性
    Java并发编程实践目录并发编程01——ThreadLocal并发编程02——ConcurrentHashMap并发编程03——阻塞队列和生产者-消费者模式并发编程04——闭锁Co ... [详细]
  • 本题要求在一组数中反复取出两个数相加,并将结果放回数组中,最终求出最小的总加法代价。这是一个经典的哈夫曼编码问题,利用贪心算法可以有效地解决。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 由二叉树到贪心算法
    二叉树很重要树是数据结构中的重中之重,尤其以各类二叉树为学习的难点。单就面试而言,在 ... [详细]
  • 深入解析RDMA中的队列对(Queue Pair)
    本文将详细探讨RDMA架构中的关键组件——队列对(Queue Pair,简称QP),包括其基本概念、硬件与软件实现、QPC的作用、QPN的分配机制以及用户接口和状态机。通过这些内容,读者可以更全面地理解QP在RDMA通信中的重要性和工作原理。 ... [详细]
  • 深入解析Java多线程与并发库的应用:空中网实习生面试题详解
    本文详细探讨了Java多线程与并发库的高级应用,结合空中网在挑选实习生时的面试题目,深入分析了相关技术要点和实现细节。文章通过具体的代码示例展示了如何使用Semaphore和SynchronousQueue来管理线程同步和任务调度。 ... [详细]
author-avatar
伤不起饼子_132
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有