当前位置: 开发笔记 > 数据库 > 正文

求指导如何均匀分配生成存放千万级用户的log文件

作者：jojo | 来源：互联网 | 2017-05-13 02:14

用户的唯一标识是111111111~999999999生成的随机数未来预估的用户量是千万级的存储用户上传的坐标点以来画行动轨迹没存储到数据库生成的log文件我是用取模算法来分配还是用hash来分配如果用hash分配请详细说一...

用户的唯一标识是111111111~999999999生成的随机数
未来预估的用户量是千万级的
存储用户上传的坐标点以来画行动轨迹没存储到数据库生成的log文件
我是用取模算法来分配
还是用hash来分配
如果用hash分配请详细说一下。

回复内容：

日志存储用nosql，比如mongodb, hbase或者elasticsearch，都自动帮你做了sharding

推荐阅读

mongodb
构建高性能Feed流系统的设计指南

随着移动互联网的发展，Feed流系统成为了众多社交应用的核心组成部分。本文将深入探讨如何设计一个高效、稳定的Feed流系统，涵盖从基础架构到高级特性的各个方面。 ... [详细]

蜡笔小新 2024-11-26 12:55:53
mongodb
对MariaDB未来发展的思考与担忧

本文探讨了MariaDB在当前数据库市场中的地位和挑战，分析其可能面临的困境，并提出了对未来发展的几点看法。 ... [详细]

蜡笔小新 2024-12-25 18:20:32
mongodb
字节跳动夏季招聘面试经验分享

本文详细记录了字节跳动夏季招聘的面试经历，涵盖了一、二、三轮面试的技术问题及项目讨论，旨在为准备类似面试的求职者提供参考。 ... [详细]

蜡笔小新 2024-12-18 09:31:48
mongodb
58同城的Elasticsearch应用与平台构建实践

本文由58同城高级架构师于伯伟分享，由陈树昌编辑整理，内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用，特别是在58同城的实施案例，包括集群优化、典型应用实例及自动化平台建设等方面。 ... [详细]

蜡笔小新 2024-12-11 19:31:21
mongodb
Python入门指南：从零开始的全面学习路线

本文详细介绍了Python编程语言的学习路径，涵盖基础语法、常用组件、开发工具、数据库管理、Web服务开发、大数据分析、人工智能、爬虫开发及办公自动化等多个方向。通过系统化的学习计划，帮助初学者快速掌握Python的核心技能。 ... [详细]

蜡笔小新 2024-12-25 12:54:33
mongodb
2019年前端技术趋势及职业发展路径

本文探讨了2019年前端技术的发展趋势，包括工具化、配置化和泛前端化等方面，并提供了详细的学习路线和职业规划建议。 ... [详细]

蜡笔小新 2024-12-19 10:19:35
mongodb
利用 Jest 和 Supertest 实现接口测试的全面指南

本文深入探讨了如何使用 Jest 和 Supertest 进行接口测试，通过实际案例详细解析了测试环境的搭建、测试用例的编写以及异步测试的处理方法。 ... [详细]

蜡笔小新 2024-12-14 19:04:38
sql
厘清机器学习与数据分析的界限

本文旨在探讨机器学习与数据分析之间的差异，不仅在于它们处理的数据类型，还包括技术背景、业务应用场景以及参与者的不同。通过深入分析，希望能为读者提供清晰的理解。 ... [详细]

蜡笔小新 2024-12-12 15:15:36
mongodb
程序员必备：深入解析分布式文件系统

本文深入探讨了分布式文件系统的核心概念及其在现代数据存储解决方案中的应用，特别是针对大规模数据处理的需求。文章不仅介绍了多种流行的分布式文件系统和NoSQL数据库，还提供了选择合适系统的指导原则。 ... [详细]

蜡笔小新 2024-11-27 09:49:40
数据库
时序数据库的应用与设计策略

时序数据是指按时间顺序排列的数据集。通过时间轴上的数据点连接，可以构建多维度报表，揭示数据的趋势、规律及异常情况。 ... [详细]

蜡笔小新 2024-11-26 17:30:42
mongodb
MongoDB入门指南

本文档旨在为初学者提供MongoDB的基础知识介绍，包括其作为文档型数据库的特点、基本概念以及如何通过命令行界面（CLI）执行基本的操作。 ... [详细]

蜡笔小新 2024-11-23 19:43:20
redis
从迷茫到收获：阿里腾讯实习Offer的求取之路

本文回顾了作者在求职阿里和腾讯实习生过程中，从最初的迷茫到最后成功获得Offer的心路历程。文中不仅分享了个人的面试经历，还提供了宝贵的面试准备建议和技巧。 ... [详细]

蜡笔小新 2024-11-22 19:32:32
mongodb
Redis：缓存与内存数据库详解

本文介绍了数据库的基本分类，重点探讨了关系型与非关系型数据库的区别，并详细解析了Redis作为非关系型数据库的特点、工作模式、优点及持久化机制。 ... [详细]

蜡笔小新 2024-11-18 14:16:11
mongodb
MongoDB核心概念详解

本文介绍了NoSQL数据库的概念及其应用场景，重点解析了MongoDB的基本特性、数据结构以及常用操作。MongoDB是一个高性能、高可用且易于扩展的文档数据库系统。 ... [详细]

蜡笔小新 2024-11-15 10:24:19
redis
Python 数据可视化实战指南

本文详细介绍如何使用 Python 进行数据可视化，涵盖从环境搭建到具体实例的全过程。 ... [详细]

蜡笔小新 2024-11-13 06:03:30

jojo

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章