作者:咿呀最有味先 | 来源:互联网 | 2023-09-24 10:20
刚接触spark平台没多久,最近在spark上面练手的时候,发现spark把一些函数私有化了,导致在自己的项目中不能使用,比如:
1
| import org.apache.spark.mllib.linalg.BLAS |
会报错:
symbol BLAS is inaccessible in this place
我google了一下发现是因为源码中,mllib把重写的BLAS私有化了:
1
| private[spark] object BLAS ... |
除此之外,还包括了fromBreeze,toBreeze函数等等
那么,如果要把自己的算法迁移至spark平台,其中涉及线性代数的计算,你们都是怎么解决的?