云HBase独享本盘实例发布,存储成本下降7倍,专为物联网\车联网等大规模结构化存储服务
作者:nilue1_203 | 来源:互联网 | 2023-06-20 21:37
云,hbase,独享,本,盘,实例,发布,存储,成本,下降,7,倍,专为,物,联网,车,联网,等,大规模,
前言
在云HBase商业化几个月内,不少物联网客户找到我们,说我们有100T,1P的HBase,想迁移到云HBase成本怎么样,我们算了一下100T的集群为:120w每年,1P的集群为1200w左右。在此报价的基础之上,客户是比较难以接受的。另外还有一些基于云盘构建的HBase集群,有好几百T的存储量,费用动辄都是三五百万。 为此,我们谋求一个低成本的方案,在大量的调研工作及咨询客户后,我们做一款以本地盘作为直接的存储的集群。
一个实际的例子
某车联网公司需要做车联网的存储,数据要实时存放到云上。他有100w辆车,每10s上传一次信息,每次信息1KB(压缩过的),则一年的数据存储大致为3P左右,这是一个海量的存储量。且客户还需要随机的分析一些车辆的信息,包括轨迹。
基本架构
Master使用云盘作为系统盘,这样成本最低,Slave节点选用本
推荐阅读
-
本文将详细介绍如何利用Python的Paramiko库实现远程执行Linux脚本和命令,帮助读者快速掌握这一实用技能。通过具体的示例和详尽的解释,让初学者也能轻松上手。 ...
[详细]
蜡笔小新 2024-12-26 19:47:05
-
最近重新审视了新浪云平台(SAE)提供的服务,发现其已支持Python开发。本文将详细介绍如何利用Django框架构建一个简单的新浪微博应用,并分享开发过程中的关键步骤。 ...
[详细]
蜡笔小新 2024-12-26 13:36:52
-
-
本系列教程将引导您使用 Vue CLI 3 构建一个功能齐全的移动应用。我们将深入探讨项目中涉及的每一个知识点,并确保这些内容与实际工作中的需求紧密结合。 ...
[详细]
蜡笔小新 2024-12-26 13:30:37
-
本文介绍了一款用于帝国CMS的多图上传插件,该插件通过Flash技术实现批量图片上传功能,显著提升了多图上传效率。文章详细说明了插件的安装、配置和使用方法。 ...
[详细]
蜡笔小新 2024-12-26 13:30:01
-
本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ...
[详细]
蜡笔小新 2024-12-26 13:12:48
-
本文深入探讨了HBase常用的运维工具,详细介绍了每种工具的功能、使用场景及操作示例。对于HBase的开发人员和运维工程师来说,这些工具是日常管理和故障排查的重要手段。 ...
[详细]
蜡笔小新 2024-12-24 17:00:59
-
本文介绍如何使用微软的 Visual Studio Online(VSO)创建和管理开发项目。作为一款基于云计算的开发平台,VSO 提供了丰富的工具和服务,简化了项目的配置和部署流程。 ...
[详细]
蜡笔小新 2024-12-24 14:27:35
-
本文探讨了全球领先的在线娱乐公司Netflix如何通过采用Apache Druid,实现了高效的数据采集、处理和实时分析,从而显著提升了用户体验和业务决策的准确性。文章详细介绍了Netflix在系统架构、数据摄取、管理和查询方面的实践,并展示了Druid在大规模数据处理中的卓越性能。 ...
[详细]
蜡笔小新 2024-12-23 11:10:01
-
本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ...
[详细]
蜡笔小新 2024-12-22 20:38:12
-
本文探讨了Java项目中应用分层的最佳实践,不仅介绍了常见的三层架构(Controller、Service、DAO),还深入分析了各层的职责划分及优化建议。通过合理的分层设计,可以提高代码的可维护性、扩展性和团队协作效率。 ...
[详细]
蜡笔小新 2024-12-22 12:14:24
-
本文介绍了微服务架构的基本概念及其在Spring Cloud中的实现。讨论了微服务架构的主要优势,如简化开发和维护、快速启动、灵活的技术栈选择以及按需扩展的能力。同时,也探讨了微服务架构面临的挑战,包括较高的运维要求、分布式系统的复杂性、接口调整的成本等问题。最后,文章提出了实施微服务时应遵循的设计原则。 ...
[详细]
蜡笔小新 2024-12-19 09:25:36
-
在互联网信息爆炸的时代,当用户需求模糊或难以通过精确查询表达时,推荐系统成为解决信息过载的有效手段。美团作为国内领先的O2O平台,通过深入分析用户行为,运用先进的机器学习技术优化推荐算法,提升用户体验。 ...
[详细]
蜡笔小新 2024-12-17 17:56:15
-
本文探讨了随着并发需求的增长,MySQL数据库架构如何从简单的单一实例发展到复杂的分布式系统,以及每一步演进背后的原理和技术解决方案。 ...
[详细]
蜡笔小新 2024-12-16 09:00:35
-
本文由58同城高级架构师于伯伟分享,由陈树昌编辑整理,内容源自DataFunTalk。文章探讨了Elasticsearch作为分布式搜索和分析引擎的应用,特别是在58同城的实施案例,包括集群优化、典型应用实例及自动化平台建设等方面。 ...
[详细]
蜡笔小新 2024-12-11 19:31:21
-
本文基于作者的个人经验和学术背景,详细探讨了撰写毕业论文的过程,包括选题、研究方向的选择、资料收集、论文结构的构建以及最终的写作和修改过程。文章旨在为即将面临毕业论文撰写的本科生和研究生提供实用的建议。 ...
[详细]
蜡笔小新 2024-12-06 14:08:55
-
nilue1_203
这个家伙很懒,什么也没留下!