热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

如果启用ApacheArrow,SparkR代码将失败

我在SparkRDataframe上运行gapply函数,如下所示df<-gapply(sp_Stack,function(key,e){

我在 SparkRDataframe 上运行 gapply 函数,如下所示

df<-gapply(sp_Stack, function(key,e) { Sys.setlocale('LC_COLLATE','C')
suppressPackageStartupMessages({
library(Rcpp)
library(Matrix)
library(reshape)
require(parallel)
require(lubridate)
library(plyr)
library(reticulate)
library(stringr)
library(data.table)
})
calcDecsOnly(e,RequestNumber=RequestNumber,
...)
},cols="udim",schema=schema3)

如果我们设置 spark.sql.execution.arrow.sparkr.enabled = "false" 上面的代码运行没有任何错误,但如果我设置 spark.sql.execution.arrow.sparkr.enabled = "true" 火花作业失败低于错误

Caused by: java.io.EOFException
at java.io.DataInputStream.readInt(DataInputStream.java:392)
at org.apache.spark.sql.execution.r.ArrowRRunner$$anon$2.read(ArrowRRunner.scala:154)

环境:Google Cloud Dataproc Spark 版本:3.1.1 Dataproc 版本:基于 2.0.9-debian10 构建的自定义映像

感谢这里的任何帮助,提前致谢


推荐阅读
author-avatar
夜幕下的猫眼_398
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有