热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

OpenStack将结合Hadoop发展大数据

据国外媒体报道,4月15日OpenStack峰会在俄勒冈州的波特兰举行,此次峰会上Mirantis项目被推出。Mirantis是OpenStack(一个美国国家航空航天局和Rackspace合作研发的云端运算软件,以Apache许可证授权,并且是一个自由软件和开放源代码项目)已形成的关键

据国外媒体报道,4月15日OpenStack峰会在俄勒冈州的波特兰举行,此次峰会上 Mirantis 项目被推出。

  Mirantis是OpenStack(一个美国国家航空航天局和Rackspace合作研发的云端运算软件,以Apache许可证授权,并且是一个自 由软件和开放源代码项目)已形成的关键开源项目之一,它试图使基于Apache Hadoop的 OpenStack在云上运行。 

  而相对于Mirantis, Hadoop是当前云端主流环境之一,和亚马逊的MapReduce(EMR)、Amazon EC2和Amazon  S3一起工作。Hadoop是一个开源的大数据平台,用于创建和分发密集型数据的应用程序,一些厂商也可以在调查的方式上使用Hadoop的云。

  Mirantis试图使Apache Hadoop在 OpenStack云项目上运行, 并给由亚马逊组织的不同的基于云计算的Hadoop提供服务。

  由于亚马逊的API是专有的,不能自由迁移,所以应用仅限于私有云EMR。 因 此Mirantis项目旨在创建开放源码的API,这将意味着Hadoop的工作负载可以在公共云和私有云之间转移,Mirantis作为领袖项目,将确 保各项指标达标。并且该项目具有OpenStack的结构基础设施管理的Hadoop连接工具。为了实现这一个基本的基础设施和为了尽快使Hadoop的 特性得到发挥,Mirantis和Red Hat这两个合作伙伴正在努力开发它的一个基本框架。

  Mirantis的CEO,艾德里安会,说:“我们提供的硬件和软件开发技术,将是推动我们前进的驱动力。我们会把从Red Hat和Hortonworks获得的想法融合,并力争成为该项目的领导者。”

  约内尔表示:“相对于Hadoop和OpenStack,我们需要看到客户统一的计算基础设施使用开源。”

  存储策略的高级总监,格雷格克莱曼表示,亚马逊EMR Hadoop试点项目,可以限制标价太高的服务。他说:“今天我们有很多为了Hadoop使用云存储大数据的客户。他们希望Hadoop有一个更为开放的态度,但他们不希望失去成本效益或易用性。”

  消息称,该项目理念是Mirantis在工作中创建大规模的生产平台去帮助客户,包括Gap、NASA、戴尔和惠普。现在大约320名工程师正致力于构建OpenStack云平台。


推荐阅读
  • HBase 数据复制与灾备同步策略
    本文探讨了HBase在企业级应用中的数据复制与灾备同步解决方案,包括存量数据迁移及增量数据实时同步的方法。 ... [详细]
  • 流处理中的计数挑战与解决方案
    本文探讨了在流处理中进行计数的各种技术和挑战,并基于作者在2016年圣何塞举行的Hadoop World大会上的演讲进行了深入分析。文章不仅介绍了传统批处理和Lambda架构的局限性,还详细探讨了流处理架构的优势及其在现代大数据应用中的重要作用。 ... [详细]
  • 本文介绍了如何在 MapReduce 作业中使用 SequenceFileOutputFormat 生成 SequenceFile 文件,并详细解释了 SequenceFile 的结构和用途。 ... [详细]
  • 本文介绍了如何使用Flume从Linux文件系统收集日志并存储到HDFS,然后通过MapReduce清洗数据,使用Hive进行数据分析,并最终通过Sqoop将结果导出到MySQL数据库。 ... [详细]
  • Hadoop 2.6 主要由 HDFS 和 YARN 两大部分组成,其中 YARN 包含了运行在 ResourceManager 的 JVM 中的组件以及在 NodeManager 中运行的部分。本文深入探讨了 Hadoop 2.6 日志文件的解析方法,并详细介绍了 MapReduce 日志管理的最佳实践,旨在帮助用户更好地理解和优化日志处理流程,提高系统运维效率。 ... [详细]
  • 在Hive中合理配置Map和Reduce任务的数量对于优化不同场景下的性能至关重要。本文探讨了如何控制Hive任务中的Map数量,分析了当输入数据超过128MB时是否会自动拆分,以及Map数量是否越多越好的问题。通过实际案例和实验数据,本文提供了具体的配置建议,帮助用户在不同场景下实现最佳性能。 ... [详细]
  • HBase在金融大数据迁移中的应用与挑战
    随着最后一台设备的下线,标志着超过10PB的HBase数据迁移项目顺利完成。目前,新的集群已在新机房稳定运行超过两个月,监控数据显示,新集群的查询响应时间显著降低,系统稳定性大幅提升。此外,数据消费的波动也变得更加平滑,整体性能得到了显著优化。 ... [详细]
  • com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • 为了在Hadoop 2.7.2中实现对Snappy压缩和解压功能的原生支持,本文详细介绍了如何重新编译Hadoop源代码,并优化其Native编译过程。通过这一优化,可以显著提升数据处理的效率和性能。此外,还探讨了编译过程中可能遇到的问题及其解决方案,为用户提供了一套完整的操作指南。 ... [详细]
  • Apache Hadoop HDFS QJournalProtocol 中 getJournalCTime 方法的应用与代码实例分析 ... [详细]
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • 本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤,包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践,涵盖节点选择、网络优化和性能调优等方面,旨在提升系统的稳定性和处理能力。此外,还提供了常见的故障排查方法和监控方案,帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • 2012年9月12日优酷土豆校园招聘笔试题目解析与备考指南
    2012年9月12日,优酷土豆校园招聘笔试题目解析与备考指南。在选择题部分,有一道题目涉及中国人的血型分布情况,具体为A型30%、B型20%、O型40%、AB型10%。若需确保在随机选取的样本中,至少有一人为B型血的概率不低于90%,则需要选取的最少人数是多少?该问题不仅考察了概率统计的基本知识,还要求考生具备一定的逻辑推理能力。 ... [详细]
  • Python 数据分析领域不仅拥有高质量的开发环境,还提供了众多功能强大的第三方库。本文将介绍六个关键步骤,帮助读者掌握 Python 数据分析的核心技能,并深入探讨六款虽不广为人知但却极具潜力的数据处理库,如 Pandas 的替代品和新兴的可视化工具,助力数据科学家和分析师提升工作效率。 ... [详细]
author-avatar
道貌岸然小皇猪_497_603
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有