热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

pythonrpy2setseed_带rpy2和多处理的熊猫

我想用熊猫和R来加速这个过程假设我有以下数据帧:importpandasaspdfromrandomimportrandintdfpd.DataFrame({mpg:

我想用熊猫和R来加速这个过程

假设我有以下数据帧:import pandas as pd

from random import randint

df = pd.DataFrame({'mpg': [randint(1, 9) for x in xrange(10)],

'wt': [randint(1, 9)*10 for x in xrange(10)],

'cyl': [randint(1, 9)*100 for x in xrange(10)]})

df

mpg wt cyl

0 3 40 100

1 6 30 200

2 7 70 800

3 3 50 200

4 7 50 400

5 4 10 400

6 3 70 500

7 8 30 200

8 3 40 800

9 6 60 200

然后,我使用rpy2对一些数据进行建模:

^{pr2}$

在这之后,我做了一些预测:rfits = stats.predict(fit_full, newdata=df)

这段代码对于一个小数据帧运行没有问题,但实际上我有一个大数据帧,有数百万行,我正试图使用其他rpy2模型来加速预测部分,但不幸的是,这需要很长时间来处理。在

我第一次尝试将多处理库用于此任务,但没有成功:import multiprocessing as mp

pool = mp.Pool(processes=4)

rfits = pool.map(predict(fit_full, newdata=df))

但可能是我做错了什么,因为我看不到速度的提高。在

我认为这里的主要问题是,我试图将pool.map应用于rpy2函数,而不是Python预定义的函数。可能有一些不使用多处理库的解决方案,但是我看不到任何解决方案。在

如有任何帮助,将不胜感激。提前谢谢。在



推荐阅读
  • 利用决策树预测NBA比赛胜负的Python数据挖掘实践
    本文通过使用2013-14赛季NBA赛程与结果数据集以及2013年NBA排名数据,结合《Python数据挖掘入门与实践》一书中的方法,展示如何应用决策树算法进行比赛胜负预测。我们将详细讲解数据预处理、特征工程及模型评估等关键步骤。 ... [详细]
  • 本文探讨了如何在给定整数N的情况下,找到两个不同的整数a和b,使得它们的和最大,并且满足特定的数学条件。 ... [详细]
  • 尽管使用TensorFlow和PyTorch等成熟框架可以显著降低实现递归神经网络(RNN)的门槛,但对于初学者来说,理解其底层原理至关重要。本文将引导您使用NumPy从头构建一个用于自然语言处理(NLP)的RNN模型。 ... [详细]
  • 毕业设计:基于机器学习与深度学习的垃圾邮件(短信)分类算法实现
    本文详细介绍了如何使用机器学习和深度学习技术对垃圾邮件和短信进行分类。内容涵盖从数据集介绍、预处理、特征提取到模型训练与评估的完整流程,并提供了具体的代码示例和实验结果。 ... [详细]
  • #点球小游戏fromrandomimportchoiceimporttimescore[0,0]direction[left,center,right]defkick() ... [详细]
  • 对象自省自省在计算机编程领域里,是指在运行时判断一个对象的类型和能力。dir能够返回一个列表,列举了一个对象所拥有的属性和方法。my_list[ ... [详细]
  • 采用IKE方式建立IPsec安全隧道
    一、【组网和实验环境】按如上的接口ip先作配置,再作ipsec的相关配置,配置文本见文章最后本文实验采用的交换机是H3C模拟器,下载地址如 ... [详细]
  • 社交网络中的级联行为 ... [详细]
  • Coursera ML 机器学习
    2019独角兽企业重金招聘Python工程师标准线性回归算法计算过程CostFunction梯度下降算法多变量回归![选择特征](https:static.oschina.n ... [详细]
  • 1.如何在运行状态查看源代码?查看函数的源代码,我们通常会使用IDE来完成。比如在PyCharm中,你可以Ctrl+鼠标点击进入函数的源代码。那如果没有IDE呢?当我们想使用一个函 ... [详细]
  • 本文深入探讨了Python中的高阶函数和Lambda表达式的使用方法,结合实际案例解析其应用场景,帮助开发者更好地理解和运用这些强大的工具。 ... [详细]
  • 深入理解Shell脚本编程
    本文详细介绍了Shell脚本编程的基础概念、语法结构及其在操作系统中的应用。通过具体的示例代码,帮助读者掌握如何编写和执行Shell脚本。 ... [详细]
  • 本文详细介绍了网络存储技术的基本概念、分类及应用场景。通过分析直连式存储(DAS)、网络附加存储(NAS)和存储区域网络(SAN)的特点,帮助读者理解不同存储方式的优势与局限性。 ... [详细]
  • ABBYY FineReader:高效PDF转换、精准OCR识别与文档对比工具
    在处理PDF转换和OCR识别时,您是否遇到过格式混乱、识别率低或图表无法正常识别的问题?ABBYY FineReader以其强大的功能和高精度的识别技术,完美解决这些问题,帮助您轻松找到最终版文档。 ... [详细]
  • springMVC JRS303验证 ... [详细]
author-avatar
骚扰list_238
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有