热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

php调用python绘图程序_SPL中调用Python程序

【摘要】集算器SPL集成了对python程序的调用,也提供对建模算法接口支持。具体开发要求、使用详细情况,请前往乾学院:SPL中调用Pyt

【摘要】
集算器 SPL 集成了对 python 程序的调用,也提供对建模算法接口支持。具体开发要求、使用详细情况,请前往乾学院:SPL 中调用 Python 程序!

集算器是强大的数据计算引擎,但目前对于机器学习算法的提供还不够丰富。而 python 中有许多此类算法。借助 YM 外部库,就可以让集算器 SPL 调用 python 写的代码,从而弥补这一不足。

下面具体说明:

1.SPL 与 python 环境配置2.python 模块开发规范要求3.ym_exec 接口调用4.建模算法模块使用

SPL、python、接口关系示意图:

90e7bd760f91171abb6bc14f99ef523a.png


SPL 中调用 ym_exec 接口,将参数传递给 python 下的 apply() 接口,apply 调用 python 程序处理后返回结果给 SPL。

1. SPL 与 python 环境配置

为了 SPL 与 python 之间能通信,实现相互访问,需要进行有关的设置。
下面以在 win10 下,python3.7+SPL 为例来说明如何设置的。

本接口依赖集算器 SPL 外部库 Yimming。 Yimming 与 python 通过 userconfig.xml 关联。A、安装 Python 软件:
下载 python3 软件安装包,安装位置如 c:Program FilesaqsoftyimmingPython37。B:外部库安装:
缺省安装在集算器 SPL 软件的 esProcextlibYimming 路径下,在集算器的外部库设置中勾选 Yimming 项让其生效。( 通过外部库指南能找到 Yimming jar 依赖包 )

ae8c9ad6e96f831655741ab3fdce30a0.png

C、 配置文件: 在外部库目录 esProcextlibYimming甥敳捲onfig.xml 文件中设置参数,参数如下:

fe81abcd6dd6c89a56b265636d5ed656.png

D、服务端程序应用程序指提供的 python 服务端程序:

aa430650abcbd5a7144a8e098f233e49.png

以上配置完成之后,重启集算器后就可以使用 ym_exec() 接口。

2. python 模块开发规范要求

A、def apply(ls) 接口,python 程序的对外接口,实现与 SPL 交互处理。
B、参数 ls 为 list 数据类型,它类似于 java 中的入口函数 void main(string argv[]) 中的 argv 参数。
C、返回值,返回 dataframe 结构数据存放在 list 类型的变量中, 可在 SPL 中显示。
D、样例说明:demo.py
import pandas as pd
import sys
def apply(lists):
cols = [“value”]
ls = []
for x in lists:
ls.append(“{}”.format(x))
df = pd.DataFrame(ls, columns=cols)
lls=[]
lls.append(df)
return lls
if __name__ == “__main__”:
res = apply(sys.argv[1:])
print(‘res={}’.format(res))运行:python demo.py “AAA” “BBB” 1000输出:res=[ value
0 AA
1 BBB
2 1000]
本程序 apply()接口,实现将传递的参数加入到变量列表 ls 中,然后 ls 放入 dataframe 结构里,dataframe 再放入要返回的变量列表 lls 里。开发中,先在 python 下测试 apply() 接口正常后,就可以在 SPL 中调用了。

需要注意的是,由于 dataframe 是通过 msgpack 编码后返回的数据,因此要求 dataframe 中同一列的数据类型一致,否则 msgpack 编码时出错,SPL 中收不到 dataframe 数据.

3.ym_exec 接口调用格式: ym_exec(pyfile, p1,p2,…)。
调用 pyfile 文件并运行它,后面跟传入的参数 p1,p2 等。参数个数不定, 只要与接口 apply() 对应。

具体用法 如 demo.py:

50ec74e545d1711c4391fc58666e7721.png

运行结果:

d494e54c9c5db364e725e8e8366615a0.png

4. 建模算法模块使用

下面再演示一下如何在集算器调用 python 实现偏最小二乘算法(PLS,目前集算器本身未提供)。在运行它之前,需要安装易明外部库,配置设置参考《SPL 实现自动建模和预测》。

由于 PLS 算法的参数较为复杂,我们将调用格式约定为:ym_exec(pyfile, data, jsonstr)

SPL 中调用 pyfile 文件并运行它,data 为需要建模的数据(序表),将 PLS 算法众多参数写成 json 串。同样地,需要与 pyfile 中 apply() 处理对应起来,才能正确解析各参数值。

data: data 为预表或带头文件的数据文件名。数据中包括目标变量 target 所在的列。jsonstr: json 字符串,例如:
{target:0,n_components:3,deflation_mode:‘regression’,
mode:‘A’,norm_y_weights:False,
scale:False,algorithm:‘nipals’,
max_iter:500,tol:0.000001,copy:True}
其中 target 指定目标变量所在的列,不可缺少。

SPL 脚本 pls_demo.dfx:

f359980d7415bd62f042ccd07e62e7d6.png

首行为 target 的数据 data_test.csv:

953b5a1a43ab39cf0815273f151d7233.png

pls_demo.py 文件,针对 python 模块算法使用参考

from scipy.linalg import pinv2
import numpy as np
import pandas as pd
import demjson
#算法类 pls_demo:
class pls_demo():
… … .
Pass# 接口实现def apply(lists):
if len(lists)<2:
return None
data &#61; lists[0] # 数据参数
val &#61; lists[1] #jsonstr 串参数
if (type(data).__name__ &#61;&#61;“str”):
data &#61; pd.read_csv(data)
# 1. 对 json 字符串中特定值处理
#print(val)
val &#61; val.lower().replace(“false”, “‘False’”)
val &#61; val.replace(“true”, “‘True’”)
val &#61; val.replace(“none”, “‘None’”)
dic &#61; demjson.decode(val)
if dic.__contains__(‘target’) &#61;&#61;False:
print(“param target is not set”)
return
# 2. 对 target 参数的处理&#xff0c;它可能为列数&#xff0c;也可能为名称
targ &#61; dic[‘target’]
if type(targ).__name__ &#61;&#61; “int”:
col &#61; data.columns
colname &#61; col.tolist()[targ]
else:
colname &#61; targ
Y &#61; data[colname]
X &#61; data.drop(colname, axis&#61;1)
# 3. 模型参数处理&#xff0c;没有传递的参数需要设定缺省值.
if dic.__contains__(‘n_components’) :n_components&#61;dic[‘n_components’]
else: n_components&#61;15
if dic.__contains__(‘deflation_mode’) :deflation_mode&#61;dic[‘deflation_mode’]
else: deflation_mode&#61;“regression”
if dic.__contains__(‘mode’):mode&#61;dic[‘mode’]
else: mode&#61;“A”
…….
# 4. 模型算法加载
#print(“n_components&#61;{}”.format(n_components))
pls_model &#61; pls_demo(n_components,
deflation_mode,
mode,…)
# 训练数据
pls_model.fit(X, Y)
# 预测
y_pred &#61; pls_model.predict(X)
# 5. 填充返回值
f &#61; [“value”]
df &#61; pd.DataFrame(y_pred, columns&#61;f)
#print(y_pred)
lls&#61;[]
lls.append(df)
return lls

#6. 测试
if __name__ &#61;&#61; ‘__main__’:
ls &#61; []
ls.append(“a2ef764c53ec1fbc_X.new.csv”)
val &#61; “{target:0,n_components:3,deflation_mode:‘regression’,”
“mode:‘a’,norm_y_weights:False,”
“scale:False,algorithm:‘nipals’,”
“max_iter:500,tol:0.000001,copy:True}”
ls.append(val)
apply(ls)

开发过程中&#xff0c;先在 python 下通过 main 函数测试 apply() 接口正常后&#xff0c;就可以在 SPL 中调用了。



推荐阅读
  • 本文介绍了Java并发库中的阻塞队列(BlockingQueue)及其典型应用场景。通过具体实例,展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递,并结合线程池和原子类优化性能。 ... [详细]
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • IneedtofocusTextCellsonebyoneviaabuttonclick.ItriedlistView.ScrollTo.我需要通过点击按钮逐个关注Tex ... [详细]
  • 深入解析Spring Cloud Ribbon负载均衡机制
    本文详细介绍了Spring Cloud中的Ribbon组件如何实现服务调用的负载均衡。通过分析其工作原理、源码结构及配置方式,帮助读者理解Ribbon在分布式系统中的重要作用。 ... [详细]
  • 本文详细探讨了KMP算法中next数组的构建及其应用,重点分析了未改良和改良后的next数组在字符串匹配中的作用。通过具体实例和代码实现,帮助读者更好地理解KMP算法的核心原理。 ... [详细]
  • 深入解析Android自定义View面试题
    本文探讨了Android Launcher开发中自定义View的重要性,并通过一道经典的面试题,帮助开发者更好地理解自定义View的实现细节。文章不仅涵盖了基础知识,还提供了实际操作建议。 ... [详细]
  • 本文详细介绍了Java中org.neo4j.helpers.collection.Iterators.single()方法的功能、使用场景及代码示例,帮助开发者更好地理解和应用该方法。 ... [详细]
  • Explore a common issue encountered when implementing an OAuth 1.0a API, specifically the inability to encode null objects and how to resolve it. ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • 主要用了2个类来实现的,话不多说,直接看运行结果,然后在奉上源代码1.Index.javaimportjava.awt.Color;im ... [详细]
  • 本文详细介绍了 Dockerfile 的编写方法及其在网络配置中的应用,涵盖基础指令、镜像构建与发布流程,并深入探讨了 Docker 的默认网络、容器互联及自定义网络的实现。 ... [详细]
  • 本文介绍了一款用于自动化部署 Linux 服务的 Bash 脚本。该脚本不仅涵盖了基本的文件复制和目录创建,还处理了系统服务的配置和启动,确保在多种 Linux 发行版上都能顺利运行。 ... [详细]
  • 本文详细介绍了Java中org.eclipse.ui.forms.widgets.ExpandableComposite类的addExpansionListener()方法,并提供了多个实际代码示例,帮助开发者更好地理解和使用该方法。这些示例来源于多个知名开源项目,具有很高的参考价值。 ... [详细]
  • 使用 Azure Service Principal 和 Microsoft Graph API 获取 AAD 用户列表
    本文介绍了一段通用代码示例,该代码不仅能够操作 Azure Active Directory (AAD),还可以通过 Azure Service Principal 的授权访问和管理 Azure 订阅资源。Azure 的架构可以分为两个层级:AAD 和 Subscription。 ... [详细]
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
author-avatar
dasda
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有