当前位置: 开发笔记 > 后端 > 正文

求教如何能实时的将socket服务端接受的数据存入数据库

作者：伤不起饼子_132 | 来源：互联网 | 2023-08-24 17:51

现有一个TCPsocket服务端，并发连接数据大概有1W左右，没个连接没隔30秒发一条数据到服务端，如何将这些数据能实时的插入到数据库中！

现有一个TCP socket服务端，并发连接数据大概有1W左右，没个连接没隔30秒发一条数据到服务端，如何将这些数据能实时的插入到数据库中！

6 个解决方案

#1

所有的连接把收到的数据放到Queue里，然后单独启动一个线程循环取Queue里的数据进行存储。

#2

队列+数据库批处理

#3

引用 1 楼 wqc5461 的回复:

所有的连接把收到的数据放到Queue里，然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制，连接少可以，但是连接数一多入库的速度就跟不上接收速度！

#4

引用 3 楼 a8282542 的回复:

Quote: 引用 1 楼 wqc5461 的回复:

所有的连接把收到的数据放到Queue里，然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制，连接少可以，但是连接数一多入库的速度就跟不上接收速度！

那就用线程池多启动几个这样的线程。

#5

引用 4 楼 wqc5461 的回复:

Quote: 引用 3 楼 a8282542 的回复:

Quote: 引用 1 楼 wqc5461 的回复:

所有的连接把收到的数据放到Queue里，然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制，连接少可以，但是连接数一多入库的速度就跟不上接收速度！

那就用线程池多启动几个这样的线程。

入库已经开启多个线程了，但是每秒只能处理70-80个

#6

引用 5 楼 a8282542 的回复:

Quote: 引用 4 楼 wqc5461 的回复:

Quote: 引用 3 楼 a8282542 的回复:

Quote: 引用 1 楼 wqc5461 的回复:

所有的连接把收到的数据放到Queue里，然后单独启动一个线程循环取Queue里的数据进行存储。

现在是这样的处理机制，连接少可以，但是连接数一多入库的速度就跟不上接收速度！

那就用线程池多启动几个这样的线程。

入库已经开启多个线程了，但是每秒只能处理70-80个

压力在数据库 I/O 并不在程序。

推荐阅读

timeout
Java高并发与多线程（二）：线程的实现方式详解

本文将深入探讨Java中线程的三种主要实现方式，包括继承Thread类、实现Runnable接口和实现Callable接口，并分析它们之间的异同及其应用场景。 ... [详细]

蜡笔小新 2024-11-12 14:31:23
timeout
深入解析数据库并发控制机制

本文详细介绍了数据库并发控制的基本概念、重要性和具体实现方法。并发控制是确保多个事务在同时操作数据库时保持数据一致性的关键机制。文章涵盖了锁机制、多版本并发控制（MVCC）、乐观并发控制和悲观并发控制等内容。 ... [详细]

蜡笔小新 2024-11-12 12:37:08
http
开发中遇到的一些常见问题及解决方案

本文总结了一些开发中常见的问题及其解决方案，包括特性过滤器的使用、NuGet程序集版本冲突、线程存储、溢出检查、ThreadPool的最大线程数设置、Redis使用中的问题以及Task.Result和Task.GetAwaiter().GetResult()的区别。 ... [详细]

蜡笔小新 2024-11-12 08:20:05
http
Java并发编程指南：深入理解信号量机制

本文是Java并发编程系列的开篇之作，将详细解析Java 1.5及以上版本中提供的并发工具。文章假设读者已经具备同步和易失性关键字的基本知识，重点介绍信号量机制的内部工作原理及其在实际开发中的应用。 ... [详细]

蜡笔小新 2024-11-11 15:49:02
http
深入解析 Synchronized 锁的升级机制及其在并发编程中的应用

深入解析 Synchronized 锁的升级机制及其在并发编程中的应用 ... [详细]

蜡笔小新 2024-11-11 13:09:38
http
性能测试中的关键监控指标与深入分析

在软件性能测试中，关键监控指标的选取至关重要。主要目的包括：1. 评估系统的当前性能，确保其符合预期的性能标准；2. 发现软件性能瓶颈，定位潜在问题；3. 优化系统性能，提高用户体验。通过综合分析这些指标，可以全面了解系统的运行状态，为后续的性能改进提供科学依据。 ... [详细]

蜡笔小新 2024-11-11 01:42:16
http
B站服务器故障影响豆瓣评分？别担心，阿里巴巴架构师分享预防策略与技术方案

13日晚上，在视频观看高峰时段，B站出现了服务器故障，引发网友在各大平台上的广泛吐槽。这一事件导致了连锁反应，大量用户纷纷涌入A站、豆瓣和晋江等平台，给这些网站带来了突如其来的流量压力。为了防止类似问题的发生，阿里巴巴架构师分享了一系列预防策略和技术方案，包括负载均衡、弹性伸缩和容灾备份等措施，以确保系统的稳定性和可靠性。 ... [详细]

蜡笔小新 2024-11-10 15:59:22
http
深入解析CAS机制：全面替代传统锁的底层原理与应用

本文深入探讨了CAS（Compare-and-Swap）机制，分析了其作为传统锁的替代方案在并发控制中的优势与原理。CAS通过原子操作确保数据的一致性，避免了传统锁带来的性能瓶颈和死锁问题。文章详细解析了CAS的工作机制，并结合实际应用场景，展示了其在高并发环境下的高效性和可靠性。 ... [详细]

蜡笔小新 2024-11-09 15:45:07
redis
从小微企业到大型企业：Java架构师实战训练营首周体验

在当今的软件开发领域，分布式技术已成为程序员不可或缺的核心技能之一，尤其在面试中更是考察的重点。无论是小微企业还是大型企业，掌握分布式技术对于提升工作效率和解决实际问题都至关重要。本周的Java架构师实战训练营中，我们深入探讨了Kafka这一高效的分布式消息系统，它不仅支持发布订阅模式，还能在高并发场景下保持高性能和高可靠性。通过实际案例和代码演练，学员们对Kafka的应用有了更加深刻的理解。 ... [详细]

蜡笔小新 2024-11-09 11:21:43
python
Python 数据可视化实战指南

本文详细介绍如何使用 Python 进行数据可视化，涵盖从环境搭建到具体实例的全过程。 ... [详细]

蜡笔小新 2024-11-13 06:03:30
http
使用JDBC实现ActiveMQ消息持久化机制深入解析

本文深入解析了通过JDBC实现ActiveMQ消息持久化的机制。JDBC能够将消息可靠地存储在多种关系型数据库中，如MySQL、SQL Server、Oracle和DB2等。采用JDBC持久化方式时，数据库会自动生成三个关键表：`activemq_msgs`、`activemq_lock`和`activemq_ACKS`，分别用于存储消息数据、锁定信息和确认状态。这种机制不仅提高了消息的可靠性，还增强了系统的可扩展性和容错能力。 ... [详细]

蜡笔小新 2024-11-10 14:41:02
http
构建基础的字符串队列实现方法

在探讨如何构建基础的字符串队列实现方法时，我们发现许多开发者在面对这一问题时常常感到困惑。实际上，队列的基本原理非常简单，即遵循先进先出的原则。然而，在具体实现过程中，需要注意的是Java语言中并没有指针的概念，因此需要通过嵌套类来模拟指针，进而构建链表结构。这种实现方式不仅能够有效地管理字符串数据，还能提升代码的可读性和维护性。 ... [详细]

蜡笔小新 2024-11-10 11:11:18
http
Python多线程编程技巧与实战应用详解

Python多线程编程技巧与实战应用详解 ... [详细]

蜡笔小新 2024-11-09 20:44:15
api
深入解析Android 4.4中的Fence机制及其应用

在Android 4.4中，Fence机制是处理缓冲区交换和同步问题的关键技术。该机制广泛应用于生产者-消费者模式中，确保了不同组件之间高效、安全的数据传输。通过深入解析Fence机制的工作原理和应用场景，本文探讨了其在系统性能优化和资源管理中的重要作用。 ... [详细]

蜡笔小新 2024-11-09 19:30:27
php
深入解析Linux内核中的进程上下文切换机制

在现代操作系统中，进程作为核心概念之一，负责管理和分配系统资源，如CPU和内存。深入了解Linux内核中的进程上下文切换机制，需要首先明确进程与程序的区别。进程是一个动态的执行流，而程序则是静态的数据和指令集合。进程上下文切换涉及保存当前进程的状态信息，并加载下一个进程的状态，以实现多任务处理。这一过程不仅影响系统的性能，还关系到资源的有效利用。通过分析Linux内核中的具体实现，可以更好地理解其背后的原理和技术细节。 ... [详细]

蜡笔小新 2024-11-09 15:00:44

伤不起饼子_132

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章