php调用python绘图程序_SPL中调用Python程序

【摘要】
集算器 SPL 集成了对 python 程序的调用&＃xff0c;也提供对建模算法接口支持。具体开发要求、使用详细情况&＃xff0c;请前往乾学院&＃xff1a;SPL 中调用 Python 程序!

集算器是强大的数据计算引擎&＃xff0c;但目前对于机器学习算法的提供还不够丰富。而 python 中有许多此类算法。借助 YM 外部库&＃xff0c;就可以让集算器 SPL 调用 python 写的代码&＃xff0c;从而弥补这一不足。

下面具体说明&＃xff1a;

1&＃xff0e;SPL 与 python 环境配置2&＃xff0e;python 模块开发规范要求3&＃xff0e;ym_exec 接口调用4&＃xff0e;建模算法模块使用

SPL、python、接口关系示意图&＃xff1a;

SPL 中调用 ym_exec 接口&＃xff0c;将参数传递给 python 下的 apply() 接口&＃xff0c;apply 调用 python 程序处理后返回结果给 SPL。

1&＃xff0e; SPL 与 python 环境配置

为了 SPL 与 python 之间能通信&＃xff0c;实现相互访问&＃xff0c;需要进行有关的设置。
下面以在 win10 下&＃xff0c;python3.7&＃43;SPL 为例来说明如何设置的。

本接口依赖集算器 SPL 外部库 Yimming。 Yimming 与 python 通过 userconfig.xml 关联。A、安装 Python 软件&＃xff1a;
下载 python3 软件安装包&＃xff0c;安装位置如 c:Program FilesaqsoftyimmingPython37。B&＃xff1a;外部库安装&＃xff1a;
缺省安装在集算器 SPL 软件的 esProcextlibYimming 路径下&＃xff0c;在集算器的外部库设置中勾选 Yimming 项让其生效。( 通过外部库指南能找到 Yimming jar 依赖包 )

C、 配置文件&＃xff1a; 在外部库目录 esProcextlibYimming甥敳捲onfig.xml 文件中设置参数&＃xff0c;参数如下&＃xff1a;

D、服务端程序应用程序指提供的 python 服务端程序&＃xff1a;

以上配置完成之后&＃xff0c;重启集算器后就可以使用 ym_exec() 接口。

2&＃xff0e; python 模块开发规范要求

A、def apply(ls) 接口&＃xff0c;python 程序的对外接口&＃xff0c;实现与 SPL 交互处理。
B、参数 ls 为 list 数据类型&＃xff0c;它类似于 java 中的入口函数 void main(string argv[]) 中的 argv 参数。
C、返回值&＃xff0c;返回 dataframe 结构数据存放在 list 类型的变量中, 可在 SPL 中显示。
D、样例说明&＃xff1a;demo.py
import pandas as pd
import sys
def apply(lists):
cols &＃61; [“value”]
ls &＃61; []
for x in lists:
ls.append(“{}”.format(x))
df &＃61; pd.DataFrame(ls, columns&＃61;cols)
lls&＃61;[]
lls.append(df)
return lls
if __name__ &＃61;&＃61; “__main__”:
res &＃61; apply(sys.argv[1:])
print(‘res&＃61;{}’.format(res))运行&＃xff1a;python demo.py “AAA” “BBB” 1000输出&＃xff1a;res&＃61;[ value
0 AA
1 BBB
2 1000]
本程序 apply()接口&＃xff0c;实现将传递的参数加入到变量列表 ls 中&＃xff0c;然后 ls 放入 dataframe 结构里&＃xff0c;dataframe 再放入要返回的变量列表 lls 里。开发中&＃xff0c;先在 python 下测试 apply() 接口正常后&＃xff0c;就可以在 SPL 中调用了。

需要注意的是&＃xff0c;由于 dataframe 是通过 msgpack 编码后返回的数据&＃xff0c;因此要求 dataframe 中同一列的数据类型一致&＃xff0c;否则 msgpack 编码时出错&＃xff0c;SPL 中收不到 dataframe 数据.

3&＃xff0e;ym_exec 接口调用格式&＃xff1a; ym_exec(pyfile, p1,p2,…)。
调用 pyfile 文件并运行它&＃xff0c;后面跟传入的参数 p1,p2 等。参数个数不定, 只要与接口 apply() 对应。

具体用法 如 demo.py&＃xff1a;

运行结果&＃xff1a;

4. 建模算法模块使用

下面再演示一下如何在集算器调用 python 实现偏最小二乘算法(PLS&＃xff0c;目前集算器本身未提供)。在运行它之前&＃xff0c;需要安装易明外部库&＃xff0c;配置设置参考《SPL 实现自动建模和预测》。

由于 PLS 算法的参数较为复杂&＃xff0c;我们将调用格式约定为&＃xff1a;ym_exec(pyfile, data, jsonstr)

SPL 中调用 pyfile 文件并运行它&＃xff0c;data 为需要建模的数据(序表)&＃xff0c;将 PLS 算法众多参数写成 json 串。同样地&＃xff0c;需要与 pyfile 中 apply() 处理对应起来&＃xff0c;才能正确解析各参数值。

data&＃xff1a; data 为预表或带头文件的数据文件名。数据中包括目标变量 target 所在的列。jsonstr: json 字符串&＃xff0c;例如&＃xff1a;
{target:0,n_components:3,deflation_mode:‘regression’,
mode:‘A’,norm_y_weights:False,
scale:False,algorithm:‘nipals’,
max_iter:500,tol:0.000001,copy:True}
其中 target 指定目标变量所在的列&＃xff0c;不可缺少。

SPL 脚本 pls_demo.dfx&＃xff1a;

首行为 target 的数据 data_test.csv&＃xff1a;

pls_demo.py 文件&＃xff0c;针对 python 模块算法使用参考

from scipy.linalg import pinv2
import numpy as np
import pandas as pd
import demjson
#算法类 pls_demo&＃xff1a;
class pls_demo():
… … .
Pass# 接口实现def apply(lists):
if len(lists)<2:
return None
data &＃61; lists[0] # 数据参数
val &＃61; lists[1] #jsonstr 串参数
if (type(data).__name__ &＃61;&＃61;“str”):
data &＃61; pd.read_csv(data)
# 1. 对 json 字符串中特定值处理
#print(val)
val &＃61; val.lower().replace(“false”, “‘False’”)
val &＃61; val.replace(“true”, “‘True’”)
val &＃61; val.replace(“none”, “‘None’”)
dic &＃61; demjson.decode(val)
if dic.__contains__(‘target’) &＃61;&＃61;False:
print(“param target is not set”)
return
# 2. 对 target 参数的处理&＃xff0c;它可能为列数&＃xff0c;也可能为名称
targ &＃61; dic[‘target’]
if type(targ).__name__ &＃61;&＃61; “int”:
col &＃61; data.columns
colname &＃61; col.tolist()[targ]
else:
colname &＃61; targ
Y &＃61; data[colname]
X &＃61; data.drop(colname, axis&＃61;1)
# 3. 模型参数处理&＃xff0c;没有传递的参数需要设定缺省值.
if dic.__contains__(‘n_components’) :n_components&＃61;dic[‘n_components’]
else: n_components&＃61;15
if dic.__contains__(‘deflation_mode’) :deflation_mode&＃61;dic[‘deflation_mode’]
else: deflation_mode&＃61;“regression”
if dic.__contains__(‘mode’):mode&＃61;dic[‘mode’]
else: mode&＃61;“A”
…….
# 4. 模型算法加载
#print(“n_components&＃61;{}”.format(n_components))
pls_model &＃61; pls_demo(n_components,
deflation_mode,
mode,…)
# 训练数据
pls_model.fit(X, Y)
# 预测
y_pred &＃61; pls_model.predict(X)
# 5. 填充返回值
f &＃61; [“value”]
df &＃61; pd.DataFrame(y_pred, columns&＃61;f)
#print(y_pred)
lls&＃61;[]
lls.append(df)
return lls

#6. 测试
if __name__ &＃61;&＃61; ‘__main__’:
ls &＃61; []
ls.append(“a2ef764c53ec1fbc_X.new.csv”)
val &＃61; “{target:0,n_components:3,deflation_mode:‘regression’,”
“mode:‘a’,norm_y_weights:False,”
“scale:False,algorithm:‘nipals’,”
“max_iter:500,tol:0.000001,copy:True}”
ls.append(val)
apply(ls)

开发过程中&＃xff0c;先在 python 下通过 main 函数测试 apply() 接口正常后&＃xff0c;就可以在 SPL 中调用了。