概况spark提供了一些方案来调度资源。首先，每个spark程序都在跑在若干个独立的executor集群上的（其中executor是一个jvm来runtask和storedata） ... [详细]

Spark中常用端口号区分:-Master进程的通信端口号-7077-Master进程webui查看端口号-8080-Worker进程的通信端口号-7078-Worker进程web ... [详细]

spark,与,hadoop,大数,据分析,一一,2,3,为何,把,hadoop,和,s ... [详细]

【公众号回复“1024”，免费领取程序员赚钱实操经验】大家好，我是章鱼猫，今天给大家分享的这个开源项目是一个非常不错的系统的学习数据库系统 ... [详细]

各个组件confspark-env.sh配置spark的环境变量confspark-default.conf配置spark应用默认的配置项和spark-env.sh有重合之处，可在 ... [详细]

一、贝叶斯定理数学基础我们都知道条件概率的数学公式形式为即B发生的条件下A发生的概率等于A和B同时发生的概率除以B发生的概率。根据此公式变换，得到贝叶斯公式：即贝叶斯定律是关于随机 ... [详细]

2019独角兽企业重金招聘Python工程师标准1.中国式Dashboard中国式报表和Dashboard有很多的相像之处。主要用于显示汇总的数据。大都显示在一页(屏幕)&# ... [详细]

后端开发|php教程PHP,Warning,Module,modulename,already,loaded后端开发-php教程出现标题这样的错误大概是：充值网站源码,虚拟机下运行 ... [详细]

本文介绍了在Win10上安装WinPythonHadoop的详细步骤，包括安装Python环境、安装JDK8、安装pyspark、安装Hadoop和Spark、设置环境变量、下载winutils.exe等。同时提醒注意Hadoop版本与pyspark版本的一致性，并建议重启电脑以确保安装成功。 ... [详细]

本文介绍了作者在2018年的深入java目标计划，包括学习计划和工作中要用到的内容。作者计划学习的内容包括kafka、zookeeper、hbase、hdoop、spark、elasticsearch、solr、spring cloud、mysql、mybatis等。其中，作者对jvm的学习有一定了解，并计划通读《jvm》一书。此外，作者还提到了《HotSpot实战》和《高性能MySQL》等书籍。 ... [详细]

本文介绍了使用Spark实现低配版高斯朴素贝叶斯模型的原因和原理。随着数据量的增大，单机上运行高斯朴素贝叶斯模型会变得很慢，因此考虑使用Spark来加速运行。然而，Spark的MLlib并没有实现高斯朴素贝叶斯模型，因此需要自己动手实现。文章还介绍了朴素贝叶斯的原理和公式，并对具有多个特征和类别的模型进行了讨论。最后，作者总结了实现低配版高斯朴素贝叶斯模型的步骤。 ... [详细]

本文介绍了SparkStreaming微批量处理的方法与技巧，包括参考文章spark_streaming_微批量处理Spark流的内容。通过本文的阅读，读者可以了解到在SparkStreaming中如何进行微批量处理，并掌握相关的方法和技巧。阅读本文可以帮助读者更好地理解和应用SparkStreaming的微批量处理功能。 ... [详细]