作者：蔡少暖_171 | 来源：互联网 | 2022-12-28 09:42
盘点过去两年，ApacheSpark无疑是最热门的开源大数据框架，然而作为一个高速发展的开源项目其生产环境使用仍然存在一些问题。本期问答（2016-5-3----2016-5-8），我们特邀请8位技
盘点过去两年，Apache Spark无疑是最热门的开源大数据框架，然而作为一个高速发展的开源项目其生产环境使用仍然存在一些问题。本期问答（2016-5-3----2016-5-8），我们特邀请8位技术大牛，为大家答疑解惑。
本期问答内容：
1. Spark方向
专家介绍：
1.
TalkingData研发副总裁阎志涛
2.
祝海林，现就职于乐视云计算，资深数据工程师。从事大数据平台架构相关工作,现专注在机器学习/数据查询分析领域。对Spark/ES较为熟悉，业余时间喜欢研究通用资源管理相关课题
3.
刘喆（Zhe Liu）2013年加入AdMaster，现任架构师。主要负责数据处理的全流程技术支持, 高性能和高可用的分布式架构设计, DSL 语言抽象, Hadoop/HBase/Storm/Spark等大数据平台优化。2010年硕士毕业后, 刘喆在百度就职, 负责当时全球规模最大的 hadoop 平台的运维开发工作. 2011年底加入人民搜索, 代理运维总监。近 7 年的大学生活和近 5 年的工作经历中, 刘喆一直在追求简单直接,关注于数据挖掘/大数据/DSL/系统架构, 对分布式计算/分布式架构和程序语言情有独钟, 曾多次被51CTO/spark 峰会/into100峰会等邀请为嘉宾分享Hadoop/spark/开源软件等相关经验。
4.
田毅，目前在数据分析服务公司GrowingIO数据平台部门工作，Spark社区的Contributor，北京Spark Meetup组织者，2010年开始在电信领域实践应用hadoop，2013年开始关注Spark，从Shark开始向社区贡献代码。目前主要的研究方向是使用Spark搭建企业级的数据计算分析平台。
5.
黄忠，目前主要从事数据挖掘及大数据平台等相关工作，Spark技术实践和研究者，多次担任Spark线下公开课讲师，曾参与云平台，分布式爬虫，推荐系统等项目。
6.
梁堰波Hortonworks技术专家，曾明略数据技术合伙人，更早的时候还曾就职于France Telecom、美团、Yahoo!等企业。梁堰波是Spark活跃贡献者，主要聚焦Spark ML/MLlib和SparkR项目，精通统计和机器学习算法在类似Spark这样分布式系统上的实现。
7.
顾荣，南京大学计算机系博士生，Alluxio项目核心开发者。完成了Alluxio很多功能/性能增强的工作，并主持实现性能测试框架和社区中文文档等。顾荣曾在微软亚洲研究院、英特尔、百度、星环科技从事大数据系统相关的研发工作
8.
王庚，目前就职于亚信数据，担任橘云大数据平台技术经理。曾经就职于腾讯，从事网络负载均衡，数据中心系统的研发工作；之后加入IBM Platform Computing，从事大数据产品Platform Symphony的研发工作。
欢迎大家留言提问，机会难得，不容错过！
49 个解决方案
请问一下，Spark它在实际生产环境下有哪些应用？
Spark在生产环境中能够构建实时应用吗？
Spark最新的DataSet会最终替代RDD吗？DataSet与RDD之间的区别？
相问一下 Hadoop、HBase、Storm、Spark之间的同异及各种的应用场景（或业务特性）
想问一下，Spark 有交互式的 spark sql，有 准实时计算的 spark streaming ，还有 MLlib。再有五年会完全替代 mapreduce吗。 Hadoop下一步的发展趋势会是怎样的。以后在企业中 hadoop会使用越来越少吗。
spark 1.6 + MLlib 的决策树是否支持交叉校验呢
大牛们，请问个神奇的问题，目标网站是需要插入加密狗然后连接上它的VPN才能访问，加密狗和VPN我都有了，然后我的爬虫程序要开着HttpAnalyzer V7并启动就能访问到数据，不启动访问目标网站着会报错。。
报错的详细信息：
{System.Net.WebException: 基础连接已经关闭: 发送时发生错误。 ---> System.IO.IOException: 由于意外的数据包格式，握手失败。
在 System.Net.Security.SslState.StartReadFrame(Byte[] buffer, Int32 readBytes, AsyncProtocolRequest asyncRequest)
在 System.Net.Security.SslState.StartReceiveBlob(Byte[] buffer, AsyncProtocolRequest asyncRequest)
在 System.Net.Security.SslState.CheckCompletionBeforeNextReceive(ProtocolToken message, AsyncProtocolRequest asyncRequest)
在 System.Net.Security.SslState.StartSendBlob(Byte[] incoming, Int32 count, AsyncProtocolRequest asyncRequest)
在 System.Net.Security.SslState.ForceAuthentication(Boolean receiveFirst, Byte[] buffer, AsyncProtocolRequest asyncRequest)
在 System.Net.Security.SslState.ProcessAuthentication(LazyAsyncResult lazyResult)
在 System.Net.TlsStream.CallProcessAuthentication(Object state)
在 System.Threading.ExecutionContext.RunInternal(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
在 System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state, Boolean preserveSyncCtx)
在 System.Threading.ExecutionContext.Run(ExecutionContext executionContext, ContextCallback callback, Object state)
在 System.Net.TlsStream.ProcessAuthentication(LazyAsyncResult result)
在 System.Net.TlsStream.Write(Byte[] buffer, Int32 offset, Int32 size)
在 System.Net.PooledStream.Write(Byte[] buffer, Int32 offset, Int32 size)
在 System.Net.ConnectStream.WriteHeaders(Boolean async)
--- 内部异常堆栈跟踪的结尾 ---
在 System.Net.HttpWebRequest.GetResponse()
在 WindowsFormsApplication10.dafuhao._GetHTML(String URL, Int32 bufflen) 位置 c:\Users\Administrator\Desktop\getRenBaoData\getRenBaoData\dafuhao.cs:行号 173}
微信小程序socket请求协议能不能不使用wss 而使用ws ?
支持支持支持支持支持支持支持支持支持支持支持支持支持支持支持支持
好事情,人才济济,为了拿分,看看回复是不是真能拿分.
好事情,人才济济,为了拿分,看看回复是不是真能拿分.
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有 