热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

php调用python绘图程序_SPL中调用Python程序

【摘要】集算器SPL集成了对python程序的调用,也提供对建模算法接口支持。具体开发要求、使用详细情况,请前往乾学院:SPL中调用Pyt

【摘要】
集算器 SPL 集成了对 python 程序的调用,也提供对建模算法接口支持。具体开发要求、使用详细情况,请前往乾学院:SPL 中调用 Python 程序!

集算器是强大的数据计算引擎,但目前对于机器学习算法的提供还不够丰富。而 python 中有许多此类算法。借助 YM 外部库,就可以让集算器 SPL 调用 python 写的代码,从而弥补这一不足。

下面具体说明:

1.SPL 与 python 环境配置2.python 模块开发规范要求3.ym_exec 接口调用4.建模算法模块使用

SPL、python、接口关系示意图:

90e7bd760f91171abb6bc14f99ef523a.png


SPL 中调用 ym_exec 接口,将参数传递给 python 下的 apply() 接口,apply 调用 python 程序处理后返回结果给 SPL。

1. SPL 与 python 环境配置

为了 SPL 与 python 之间能通信,实现相互访问,需要进行有关的设置。
下面以在 win10 下,python3.7+SPL 为例来说明如何设置的。

本接口依赖集算器 SPL 外部库 Yimming。 Yimming 与 python 通过 userconfig.xml 关联。A、安装 Python 软件:
下载 python3 软件安装包,安装位置如 c:Program FilesaqsoftyimmingPython37。B:外部库安装:
缺省安装在集算器 SPL 软件的 esProcextlibYimming 路径下,在集算器的外部库设置中勾选 Yimming 项让其生效。( 通过外部库指南能找到 Yimming jar 依赖包 )

ae8c9ad6e96f831655741ab3fdce30a0.png

C、 配置文件: 在外部库目录 esProcextlibYimming甥敳捲onfig.xml 文件中设置参数,参数如下:

fe81abcd6dd6c89a56b265636d5ed656.png

D、服务端程序应用程序指提供的 python 服务端程序:

aa430650abcbd5a7144a8e098f233e49.png

以上配置完成之后,重启集算器后就可以使用 ym_exec() 接口。

2. python 模块开发规范要求

A、def apply(ls) 接口,python 程序的对外接口,实现与 SPL 交互处理。
B、参数 ls 为 list 数据类型,它类似于 java 中的入口函数 void main(string argv[]) 中的 argv 参数。
C、返回值,返回 dataframe 结构数据存放在 list 类型的变量中, 可在 SPL 中显示。
D、样例说明:demo.py
import pandas as pd
import sys
def apply(lists):
cols = [“value”]
ls = []
for x in lists:
ls.append(“{}”.format(x))
df = pd.DataFrame(ls, columns=cols)
lls=[]
lls.append(df)
return lls
if __name__ == “__main__”:
res = apply(sys.argv[1:])
print(‘res={}’.format(res))运行:python demo.py “AAA” “BBB” 1000输出:res=[ value
0 AA
1 BBB
2 1000]
本程序 apply()接口,实现将传递的参数加入到变量列表 ls 中,然后 ls 放入 dataframe 结构里,dataframe 再放入要返回的变量列表 lls 里。开发中,先在 python 下测试 apply() 接口正常后,就可以在 SPL 中调用了。

需要注意的是,由于 dataframe 是通过 msgpack 编码后返回的数据,因此要求 dataframe 中同一列的数据类型一致,否则 msgpack 编码时出错,SPL 中收不到 dataframe 数据.

3.ym_exec 接口调用格式: ym_exec(pyfile, p1,p2,…)。
调用 pyfile 文件并运行它,后面跟传入的参数 p1,p2 等。参数个数不定, 只要与接口 apply() 对应。

具体用法 如 demo.py:

50ec74e545d1711c4391fc58666e7721.png

运行结果:

d494e54c9c5db364e725e8e8366615a0.png

4. 建模算法模块使用

下面再演示一下如何在集算器调用 python 实现偏最小二乘算法(PLS,目前集算器本身未提供)。在运行它之前,需要安装易明外部库,配置设置参考《SPL 实现自动建模和预测》。

由于 PLS 算法的参数较为复杂,我们将调用格式约定为:ym_exec(pyfile, data, jsonstr)

SPL 中调用 pyfile 文件并运行它,data 为需要建模的数据(序表),将 PLS 算法众多参数写成 json 串。同样地,需要与 pyfile 中 apply() 处理对应起来,才能正确解析各参数值。

data: data 为预表或带头文件的数据文件名。数据中包括目标变量 target 所在的列。jsonstr: json 字符串,例如:
{target:0,n_components:3,deflation_mode:‘regression’,
mode:‘A’,norm_y_weights:False,
scale:False,algorithm:‘nipals’,
max_iter:500,tol:0.000001,copy:True}
其中 target 指定目标变量所在的列,不可缺少。

SPL 脚本 pls_demo.dfx:

f359980d7415bd62f042ccd07e62e7d6.png

首行为 target 的数据 data_test.csv:

953b5a1a43ab39cf0815273f151d7233.png

pls_demo.py 文件,针对 python 模块算法使用参考

from scipy.linalg import pinv2
import numpy as np
import pandas as pd
import demjson
#算法类 pls_demo:
class pls_demo():
… … .
Pass# 接口实现def apply(lists):
if len(lists)<2:
return None
data &#61; lists[0] # 数据参数
val &#61; lists[1] #jsonstr 串参数
if (type(data).__name__ &#61;&#61;“str”):
data &#61; pd.read_csv(data)
# 1. 对 json 字符串中特定值处理
#print(val)
val &#61; val.lower().replace(“false”, “‘False’”)
val &#61; val.replace(“true”, “‘True’”)
val &#61; val.replace(“none”, “‘None’”)
dic &#61; demjson.decode(val)
if dic.__contains__(‘target’) &#61;&#61;False:
print(“param target is not set”)
return
# 2. 对 target 参数的处理&#xff0c;它可能为列数&#xff0c;也可能为名称
targ &#61; dic[‘target’]
if type(targ).__name__ &#61;&#61; “int”:
col &#61; data.columns
colname &#61; col.tolist()[targ]
else:
colname &#61; targ
Y &#61; data[colname]
X &#61; data.drop(colname, axis&#61;1)
# 3. 模型参数处理&#xff0c;没有传递的参数需要设定缺省值.
if dic.__contains__(‘n_components’) :n_components&#61;dic[‘n_components’]
else: n_components&#61;15
if dic.__contains__(‘deflation_mode’) :deflation_mode&#61;dic[‘deflation_mode’]
else: deflation_mode&#61;“regression”
if dic.__contains__(‘mode’):mode&#61;dic[‘mode’]
else: mode&#61;“A”
…….
# 4. 模型算法加载
#print(“n_components&#61;{}”.format(n_components))
pls_model &#61; pls_demo(n_components,
deflation_mode,
mode,…)
# 训练数据
pls_model.fit(X, Y)
# 预测
y_pred &#61; pls_model.predict(X)
# 5. 填充返回值
f &#61; [“value”]
df &#61; pd.DataFrame(y_pred, columns&#61;f)
#print(y_pred)
lls&#61;[]
lls.append(df)
return lls

#6. 测试
if __name__ &#61;&#61; ‘__main__’:
ls &#61; []
ls.append(“a2ef764c53ec1fbc_X.new.csv”)
val &#61; “{target:0,n_components:3,deflation_mode:‘regression’,”
“mode:‘a’,norm_y_weights:False,”
“scale:False,algorithm:‘nipals’,”
“max_iter:500,tol:0.000001,copy:True}”
ls.append(val)
apply(ls)

开发过程中&#xff0c;先在 python 下通过 main 函数测试 apply() 接口正常后&#xff0c;就可以在 SPL 中调用了。



推荐阅读
  • 优化ListView性能
    本文深入探讨了如何通过多种技术手段优化ListView的性能,包括视图复用、ViewHolder模式、分批加载数据、图片优化及内存管理等。这些方法能够显著提升应用的响应速度和用户体验。 ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文介绍了Java并发库中的阻塞队列(BlockingQueue)及其典型应用场景。通过具体实例,展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递,并结合线程池和原子类优化性能。 ... [详细]
  • 本文详细介绍了 Dockerfile 的编写方法及其在网络配置中的应用,涵盖基础指令、镜像构建与发布流程,并深入探讨了 Docker 的默认网络、容器互联及自定义网络的实现。 ... [详细]
  • 深入解析JVM垃圾收集器
    本文基于《深入理解Java虚拟机:JVM高级特性与最佳实践》第二版,详细探讨了JVM中不同类型的垃圾收集器及其工作原理。通过介绍各种垃圾收集器的特性和应用场景,帮助读者更好地理解和优化JVM内存管理。 ... [详细]
  • 本文将介绍如何使用 Go 语言编写和运行一个简单的“Hello, World!”程序。内容涵盖开发环境配置、代码结构解析及执行步骤。 ... [详细]
  • 本文详细介绍了如何在Linux系统上安装和配置Smokeping,以实现对网络链路质量的实时监控。通过详细的步骤和必要的依赖包安装,确保用户能够顺利完成部署并优化其网络性能监控。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
  • 本文探讨了如何在给定整数N的情况下,找到两个不同的整数a和b,使得它们的和最大,并且满足特定的数学条件。 ... [详细]
  • 2023年京东Android面试真题解析与经验分享
    本文由一位拥有6年Android开发经验的工程师撰写,详细解析了京东面试中常见的技术问题。涵盖引用传递、Handler机制、ListView优化、多线程控制及ANR处理等核心知识点。 ... [详细]
  • 本文介绍了如何使用 Spring Boot DevTools 实现应用程序在开发过程中自动重启。这一特性显著提高了开发效率,特别是在集成开发环境(IDE)中工作时,能够提供快速的反馈循环。默认情况下,DevTools 会监控类路径上的文件变化,并根据需要触发应用重启。 ... [详细]
  • 如何在PHPCMS V9中实现多站点功能并配置独立域名与动态URL
    本文介绍如何在PHPCMS V9中创建和管理多个站点,包括配置独立域名、设置动态URL,并确保各子站能够正常运行。我们将详细讲解从新建站点到最终配置路由的每一步骤。 ... [详细]
  • 机器学习中的相似度度量与模型优化
    本文探讨了机器学习中常见的相似度度量方法,包括余弦相似度、欧氏距离和马氏距离,并详细介绍了如何通过选择合适的模型复杂度和正则化来提高模型的泛化能力。此外,文章还涵盖了模型评估的各种方法和指标,以及不同分类器的工作原理和应用场景。 ... [详细]
author-avatar
dasda
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有