热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

OpenStack将结合Hadoop发展大数据

据国外媒体报道,4月15日OpenStack峰会在俄勒冈州的波特兰举行,此次峰会上Mirantis项目被推出。Mirantis是OpenStack(一个美国国家航空航天局和Rackspace合作研发的云端运算软件,以Apache许可证授权,并且是一个自由软件和开放源代码项目)已形成的关键

据国外媒体报道,4月15日OpenStack峰会在俄勒冈州的波特兰举行,此次峰会上 Mirantis 项目被推出。

  Mirantis是OpenStack(一个美国国家航空航天局和Rackspace合作研发的云端运算软件,以Apache许可证授权,并且是一个自 由软件和开放源代码项目)已形成的关键开源项目之一,它试图使基于Apache Hadoop的 OpenStack在云上运行。 

  而相对于Mirantis, Hadoop是当前云端主流环境之一,和亚马逊的MapReduce(EMR)、Amazon EC2和Amazon  S3一起工作。Hadoop是一个开源的大数据平台,用于创建和分发密集型数据的应用程序,一些厂商也可以在调查的方式上使用Hadoop的云。

  Mirantis试图使Apache Hadoop在 OpenStack云项目上运行, 并给由亚马逊组织的不同的基于云计算的Hadoop提供服务。

  由于亚马逊的API是专有的,不能自由迁移,所以应用仅限于私有云EMR。 因 此Mirantis项目旨在创建开放源码的API,这将意味着Hadoop的工作负载可以在公共云和私有云之间转移,Mirantis作为领袖项目,将确 保各项指标达标。并且该项目具有OpenStack的结构基础设施管理的Hadoop连接工具。为了实现这一个基本的基础设施和为了尽快使Hadoop的 特性得到发挥,Mirantis和Red Hat这两个合作伙伴正在努力开发它的一个基本框架。

  Mirantis的CEO,艾德里安会,说:“我们提供的硬件和软件开发技术,将是推动我们前进的驱动力。我们会把从Red Hat和Hortonworks获得的想法融合,并力争成为该项目的领导者。”

  约内尔表示:“相对于Hadoop和OpenStack,我们需要看到客户统一的计算基础设施使用开源。”

  存储策略的高级总监,格雷格克莱曼表示,亚马逊EMR Hadoop试点项目,可以限制标价太高的服务。他说:“今天我们有很多为了Hadoop使用云存储大数据的客户。他们希望Hadoop有一个更为开放的态度,但他们不希望失去成本效益或易用性。”

  消息称,该项目理念是Mirantis在工作中创建大规模的生产平台去帮助客户,包括Gap、NASA、戴尔和惠普。现在大约320名工程师正致力于构建OpenStack云平台。


推荐阅读
  • HBase运维工具全解析
    本文深入探讨了HBase常用的运维工具,详细介绍了每种工具的功能、使用场景及操作示例。对于HBase的开发人员和运维工程师来说,这些工具是日常管理和故障排查的重要手段。 ... [详细]
  • Hadoop发行版本选择指南:技术解析与应用实践
    本文详细介绍了Hadoop的不同发行版本及其特点,帮助读者根据实际需求选择最合适的Hadoop版本。内容涵盖Apache Hadoop、Cloudera CDH等主流版本的特性及应用场景。 ... [详细]
  • 深入解析Hadoop的核心组件与工作原理
    本文详细介绍了Hadoop的三大核心组件:分布式文件系统HDFS、资源管理器YARN和分布式计算框架MapReduce。通过分析这些组件的工作机制,帮助读者更好地理解Hadoop的架构及其在大数据处理中的应用。 ... [详细]
  • 深入解析Spark核心架构与部署策略
    本文详细探讨了Spark的核心架构,包括其运行机制、任务调度和内存管理等方面,以及四种主要的部署模式:Standalone、Apache Mesos、Hadoop YARN和Kubernetes。通过本文,读者可以深入了解Spark的工作原理及其在不同环境下的部署方式。 ... [详细]
  • Hadoop MapReduce 实战案例:手机流量使用统计分析
    本文通过一个具体的Hadoop MapReduce案例,详细介绍了如何利用MapReduce框架来统计和分析手机用户的流量使用情况,包括上行和下行流量的计算以及总流量的汇总。 ... [详细]
  • 本文详细分析了Hive在启动过程中遇到的权限拒绝错误,并提供了多种解决方案,包括调整文件权限、用户组设置以及环境变量配置等。 ... [详细]
  • 本文详细探讨了 org.apache.hadoop.ha.HAServiceTarget 类中的 checkFencingConfigured 方法,包括其功能、应用场景及代码示例。通过实际代码片段,帮助开发者更好地理解和使用该方法。 ... [详细]
  • 简化报表生成:EasyReport工具的全面解析
    本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]
  • 本文探讨了如何在Hive(基于Hadoop)环境中编写类似SQL的语句,以去除字段中的空格。特别是在处理邮政编码等数据时,去除特定位置的空格是常见的需求。 ... [详细]
  • 本文详细介绍如何使用 Apache Spark 执行基本任务,包括启动 Spark Shell、运行示例程序以及编写简单的 WordCount 程序。同时提供了参数配置的注意事项和优化建议。 ... [详细]
  • 优化使用Apache + Memcached-Session-Manager + Tomcat集群方案
    本文探讨了使用Apache、Memcached-Session-Manager和Tomcat集群构建高性能Web应用过程中遇到的问题及解决方案。通过重新设计物理架构,解决了单虚拟机环境无法真实模拟分布式环境的问题,并详细记录了性能测试结果。 ... [详细]
  • 构建Filebeat-Kafka-Logstash-ElasticSearch-Kibana日志收集体系
    本文介绍了如何使用Filebeat、Kafka、Logstash、ElasticSearch和Kibana构建一个高效、可扩展的日志收集与分析系统。各组件分别承担不同的职责,确保日志数据能够被有效收集、处理、存储及可视化。 ... [详细]
  • 在CentOS上构建Ntopng实时网络流量监控平台
    本文详细介绍了如何在CentOS操作系统上安装和配置Ntopng,一个强大的网络流量监控工具。Ntopng能够提供实时的网络流量分析,并通过Web界面展示详细的流量报告。 ... [详细]
  • 大数据时代的机器学习:人工特征工程与线性模型的局限
    本文探讨了在大数据背景下,人工特征工程与线性模型的应用及其局限性。随着数据量的激增和技术的进步,传统的特征工程方法面临挑战,文章提出了未来发展的可能方向。 ... [详细]
  • 本文介绍了Hive作为基于Hadoop的数据仓库工具的核心概念,包括其基本功能、使用理由、特点以及与Hadoop的关系。同时,文章还探讨了Hive相较于传统关系型数据库的不同之处,并展望了Hive的发展前景。 ... [详细]
author-avatar
道貌岸然小皇猪_497_603
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有