热门标签 | HotTags
当前位置:  开发笔记 > 开放平台 > 正文

大数据项目为什么失败,2017年将有何不同

大,数据,项目,为什么,失败,2017

 

随着企业努力在数字时代完全采用数据驱动,生态系统正在发生重大转变。由于企业应用程序生成数据成为一种趋势和潮流,收集数据的洞察力变得越来越复杂。

此外,数十亿用户和数万亿连接的物联网设备在企业外部产生指数级更多的数据。企业部署云计算,移动和分析技术,希望将这些数据转化为洞察力。然而根据调配机构Gartner预测,2017年将有60%的大数据项目失败。他们不会超越试验阶段,最终将会放弃。

企业在将数据资产链接到战略价值之间发生了什么脱节?根据专家的经验,主要是有工作人员缺乏技能或专业知识,以及技术战略与整体公司需求之间的不匹配这两个主要障碍。

专业知识的差距

当大数据处于起步阶段时,当时可用的技术并不成熟。谷歌,雅虎和Facebook等拥有非常深厚技术底蕴的企业不得不从根本上建立基础设施来处理这些问题。由于这些公司取得了成功,许多企业试图用他们自己的基于Hadoop的大数据项目来效仿他们。

从那里,IT和数据专业人员对Hadoop作为一个技术工具包可能做什么,以及对产生结果需要多少精力和资源有着不当的期望。Gartner公司的一项调查发现,49%的受访者引用“确定如何从Hadoop获取价值”作为是否采纳的关键抑制因素。大多数企业缺乏部署这种技术的技能。而具有讽刺意味的是,他们不需要这样的规模。

大数据已经变得过于依赖于技术。许多大数据项目失败,是因为它们需要大量的前期资源,并且部署刚性架构,一旦项目进行之后,却没有提高灵活性。

一个成功的大数据项目是从对想要解决的业务问题和想要获得的价值的深刻理解开始的。如果没有,无论企业达到什么目标,项目将无法达到预期或提供足够的投资回报率,可能会失败或取消。

下一个关键要素是建立一个团队,将IT,数据科学和业务线的视角结合在一起。业务专家可以通过数据计划确定需要解决的主要业务挑战。IT专家可以提供访问数据的技能,并精确定位执行项目所需的适当基础设施。最后,数据专家可以提供分析和提取洞察所需的数学和定量技能。这对于围绕这些技能建立团队的项目的成功至关重要。

第三个元素是短时间值(TtV)。一个团队成立越快,并产生具体和可衡量的价值,就越容易让组织和高级管理层在这个空间继续投资,以避免失败或取消。

大多数基于Hadoop的项目都在这三个方面失败。项目太过专注技术工作。此外,难以找到足够技能的人才,并且需要太多的时间和精力来建立基础设施。最后,初始投资太高,实施时间太长,使得很难快速实验和迭代成功。

采用更好的方法

随着企业通过大数据项目工作,我专家看到的一个趋势是采用基于云计算的数据仓库和数据湖解决方案作为Hadoop项目的替代品。企业已经开始进行这样的努力,这将更容易和更快从云计算中获得价值,而不是在基础设施建设上投资。正确的云计算解决方案避免了重大的前期资本支出,提供轻松和成本有效的扩展,并以高度管理的解决方案的形式将技术负担转移给技术供应商。

专家建议,如果企业没有内部的经验和技能,可以建设在云中,并避开广泛和成本高昂的基础设施。

2017年将是人们开始远离Hadoop的一年。人们将看到从大数据的魅力和理想化的概念转变为更实用和有效的用例。人们期望半结构化数据和机器学习将继续推动大数据的需求,并且在这些领域拥有专业知识将至关重要。对于企业来说,最终要成功,他们需要明确的商业挑战来解决,他们必须经历失败早期,从小到大的过程。他们应该在过度投资不必要的架构之前探索采用云计算。


本文作者:佚名

来源:51CTO


推荐阅读
  • Presto:高效即席查询引擎的深度解析与应用
    本文深入解析了Presto这一高效的即席查询引擎,详细探讨了其架构设计及其优缺点。Presto通过内存到内存的数据处理方式,显著提升了查询性能,相比传统的MapReduce查询,不仅减少了数据传输的延迟,还提高了查询的准确性和效率。然而,Presto在大规模数据处理和容错机制方面仍存在一定的局限性。本文还介绍了Presto在实际应用中的多种场景,展示了其在大数据分析领域的强大潜力。 ... [详细]
  • com.sun.javadoc.PackageDoc.exceptions()方法的使用及代码示例 ... [详细]
  • 本文详细介绍了在 Ubuntu 系统上搭建 Hadoop 集群时遇到的 SSH 密钥认证问题及其解决方案。通过本文,读者可以了解如何在多台虚拟机之间实现无密码 SSH 登录,从而顺利启动 Hadoop 集群。 ... [详细]
  • Python 数据可视化实战指南
    本文详细介绍如何使用 Python 进行数据可视化,涵盖从环境搭建到具体实例的全过程。 ... [详细]
  • Spark与HBase结合处理大规模流量数据结构设计
    本文将详细介绍如何利用Spark和HBase进行大规模流量数据的分析与处理,包括数据结构的设计和优化方法。 ... [详细]
  • 本文介绍如何使用 Python 的 DOM 和 SAX 方法解析 XML 文件,并通过示例展示了如何动态创建数据库表和处理大量数据的实时插入。 ... [详细]
  • 从0到1搭建大数据平台
    从0到1搭建大数据平台 ... [详细]
  • Hadoop平台警告解决:无法加载本机Hadoop库的全面应对方案
    本文探讨了在Hadoop平台上遇到“无法加载本机Hadoop库”警告的多种解决方案。首先,通过修改日志配置文件来忽略该警告,这一方法被证明是有效的。其次,尝试指定本地库的路径,但未能解决问题。接着,尝试不使用Hadoop本地库,同样没有效果。然后,通过替换现有的Hadoop本地库,成功解决了问题。最后,根据Hadoop的源代码自行编译本地库,也达到了预期的效果。以上方法适用于macOS系统。 ... [详细]
  • 为了在Hadoop 2.7.2中实现对Snappy压缩和解压功能的原生支持,本文详细介绍了如何重新编译Hadoop源代码,并优化其Native编译过程。通过这一优化,可以显著提升数据处理的效率和性能。此外,还探讨了编译过程中可能遇到的问题及其解决方案,为用户提供了一套完整的操作指南。 ... [详细]
  • 在List和Set集合中存储Object类型的数据元素 ... [详细]
  • Facebook开发先进AI系统,深入解析个人生活视角
    Facebook正大力投资于增强现实技术,与Ray-Ban合作开发AR眼镜。目前,这些设备主要用于图像的记录和分享,但公司展望未来,认为这些装置将具备更广泛的功能。一个由研究人员组成的团队正在开发先进的AI系统,旨在深入解析用户的个人生活视角,从而提供更加个性化的体验和服务。 ... [详细]
  • 随着“大数据”价值的日益凸显,从互联网、电商到金融和政府机构等各个领域都在积极应对海量数据的处理需求。如何以较低成本快速高效地构建大数据处理平台,已成为推动大数据应用创新的重要因素。为了帮助用户以最简便的方式实现这一目标,本文将详细介绍如何利用Hadoop和Spark技术搭建稳定可靠的大数据处理环境。 ... [详细]
  • Apache Hadoop HDFS QJournalProtocol 中 getJournalCTime 方法的应用与代码实例分析 ... [详细]
  • 本文探讨了 Kafka 集群的高效部署与优化策略。首先介绍了 Kafka 的下载与安装步骤,包括从官方网站获取最新版本的压缩包并进行解压。随后详细讨论了集群配置的最佳实践,涵盖节点选择、网络优化和性能调优等方面,旨在提升系统的稳定性和处理能力。此外,还提供了常见的故障排查方法和监控方案,帮助运维人员更好地管理和维护 Kafka 集群。 ... [详细]
  • 2012年9月12日优酷土豆校园招聘笔试题目解析与备考指南
    2012年9月12日,优酷土豆校园招聘笔试题目解析与备考指南。在选择题部分,有一道题目涉及中国人的血型分布情况,具体为A型30%、B型20%、O型40%、AB型10%。若需确保在随机选取的样本中,至少有一人为B型血的概率不低于90%,则需要选取的最少人数是多少?该问题不仅考察了概率统计的基本知识,还要求考生具备一定的逻辑推理能力。 ... [详细]
author-avatar
杨子忧愁_347
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有