Java解析python使用pickle序列化后的数据

    换了新公司&＃xff0c;一切也重新开始&＃xff0c;接触到的第一个活就是可能需要将之前python写的一套数据传输的代码&＃xff0c;改用Java实现&＃xff0c;提高开发效率&＃xff1b;

    python代码结构很清晰&＃xff0c;分为两部分&＃xff1a;

1. 抽取接口数据&＃xff0c;pickle序列化后打包上传到云服务器&＃xff1b;
2. 从云服务器下载&＃xff0c;解析入库&＃xff1b;

    我主要做的是先将解析入库这部分Java化&＃xff0c;其中一个很大的问题就是解析pickle序列化后的数据&＃xff0c;这个问题折磨我了2天。。

    主要是好像这种问题网上很少解决方案&＃xff0c;也不知道是不是我这操作太奇葩了。。度娘就别想了&＃xff0c;只能借助梯子了。看过网上的示例都没有能正常跑的&＃xff0c;或多或少都有些问题&＃xff0c;不过也让我了解到了目前的解决方案&＃xff0c;也主要分为两种&＃xff1a;

1. 借助Jython来做&＃xff0c;引入jar包后&＃xff0c;可以在Java里使用python的代码&＃xff0c;当然这应该是对应的Java实现吧&＃xff0c;但是感觉有点重&＃xff0c;jar包有30多M
2. 使用pyrolite包&＃xff0c;这个包主要是用于与python通信&＃xff0c;进行远程调用python的方法&＃xff1b;

    因为我们数据打包上传跟下载解析是分开部署的&＃xff0c; 如果在解析那块还去单独部署个python用来解析数据&＃xff0c;再用Java去远程调用去获取返回值&＃xff0c;这就有点多此一举了。。所以我们这边使用的就是通过引入Jython来实现了&＃xff0c;到时候数据打包如果也改成Java实现的话&＃xff0c;那就再改造了。

    先说说遇到的几个坑吧&＃xff1a;

           init: Bootstrapping class not in BootstrapTypesSingleton.getClassToType()[class&＃61;class org.python.core.PyBaseString]

           解决这个问题花的时间最久&＃xff0c;不解决的话使用pystring的时候会报空指针错误&＃xff1b;之前从网上看到过类似的&＃xff0c;需要在使用前先执行.gcMonitorGlobal方法&＃xff0c;但是由于个人粗心。跑去调用pystring.gcMonitorGlobal&＃xff0c;所以并没有卵用&＃xff0c;最后仔细看错误发现是PyBaseString的问题&＃xff0c;而PyString又是继承PyBaseString的&＃xff0c;后来在代码中加入静态块解决该问题&＃xff1b;

            不安全的值&＃xff0c;原因是也是格式问题&＃xff0c;python序列化后的格式是这样的

        然后读取时&＃xff0c;在每行尾部需要加上"\n"换行才可以

                至此遇到的大问题都已经解决&＃xff0c;其他问题的话就比较常见了&＃xff08;比如格式转换异常这种&＃xff09;&＃xff0c;主要是也没有搜到什么完整的解决方案&＃xff0c;也是自己东拼西凑才搞定的&＃xff0c;也是不容易&＃xff0c;还是因为对python也不太了解吧&＃xff0c;遇到没见过的报错有点懵&＃xff0c;而且有时候报的错也不一定是真实的错。例如ValueError这个错&＃xff0c;最开始报的是空指针&＃xff0c;通过调试代码看&＃xff0c;是Jython里的异常类toString的时候空指针&＃xff0c;导致无法发现真实的错误&＃xff0c;只能一步步调试&＃xff0c;才发现。。有点坑

            因为确实搜索过没有发现什么完整的解决方案或代码示例&＃xff0c;所以整理出来希望能帮到大家&＃xff01;

参考网站&＃xff1a;http://bugs.jython.org/issue2492

                https://github.com/irmen/Pyrolite

                https://nikoskatsanos.com/blog/2017/01/08/python-unpickling-in-java/

                http://www.roman10.net/2012/10/10/loading-python-pickle-files-from-java/