热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

读取pickle文件时的AttributeError

如何解决《读取pickle文件时的AttributeError》经验,为你挑选了1个好方法。

当我在spyder(python 3.6.5)上读取我的.pkl文件时出现以下错误:

IN: with open(file, "rb") as f:
       data = pickle.load(f)  

Traceback (most recent call last):

 File "", line 2, in 
   data = pickle.load(f)

AttributeError: Can't get attribute 'Signal' on 

上下文:

我的程序由一个文件组成:program.py 在程序中,Signal定义了一个类以及许多函数.下面提供了该计划的简要概述:

import numpy as np
import _pickle as pickle
import os

# The unique class
class Signal:
    def __init__(self, fq, t0, tf):
        self.fq = fq
        self.t0 = t0
        self.tf = tf
        self.timeline = np.round(np.arange(t0, tf, 1/fq*1000), 3)

# The functions
def write_file(data, folder_path, file_name):
    with open(join(folder_path, file_name), "wb") as output:
        pickle.dump(data, output, -1)

def read_file(folder_path, file_name):
    with open(join(folder_path, file_name), "rb") as input:
        data= pickle.load(input)
    return data

def compute_data(# parameters):
    # do stuff

该函数compute_data将返回表单元组的列表:

data = [((Signal_1_1, Signal_1_2, ...), val 1), ((Signal_2_1, Signal_2_2, ...), val 2)...]

当然,Signal_i_k是一个对象Signal.此列表将以.pkl格式保存.而且,我正在使用不同的compute_data函数参数进行大量迭代.许多迭代将使用过去的计算数据作为起点,因此将读取相应的和所需的.pkl文件.

最后,我同时使用多台计算机,每台计算机都将计算数据保存在本地网络上.因此,每台计算机都可以访问其他计算机生成的数据并将其用作起点.

回到错误:

我的主要问题是,当我通过双击文件或通过windows cmd或PowerShell启动程序时,我从未遇到此错误.该程序永远不会崩溃抛出此错误并运行没有明显的问题.

但是,我无法在spyder中读取.pkl文件.每次我尝试,都会抛出错误.

知道为什么我有这种奇怪的行为吗?

谢谢!



1> Dunes..:

当你把东西转储成a时,pickle你应该避免在主模块中声明的pickling类和函数.您的问题是(部分)因为您的程序中只有一个文件.pickle是惰性的,不会序列化类定义或函数定义.相反,它保存了如何查找类(它所在的模块及其名称)的参考.

当python直接运行脚本/文件时,它将程序作为__main__模块运行(无论其实际文件名如何).但是,当加载文件而不是主模块时(例如,当您执行类似操作时import program),其模块名称将基于其名称.所以program.py被召唤program.

当您从命令行运行时,您正在执行前者,并调用该模块__main__.因此,pickle会创建对类的引用__main__.Signal.当spyder尝试加载pickle文件时,它会被告知导入__main__并查找Signal.但是,spyder的__main__模块是用来启动spyder而不是你的模块,program.py所以pickle找不到Signal.

您可以通过运行检查pickle文件的内容(-a打印每个命令的描述).从这里你会看到你的类被引用为__main__.Signal.

python -m pickletools -a file.pkl

你会看到类似的东西:

    0: \x80 PROTO      3              Protocol version indicator.
    2: c    GLOBAL     '__main__ Signal' Push a global object (module.attr) on the stack.
   19: q    BINPUT     0                 Store the stack top into the memo.  The stack is not popped.
   21: )    EMPTY_TUPLE                  Push an empty tuple.
   22: \x81 NEWOBJ                       Build an object instance.
   23: q    BINPUT     1                 Store the stack top into the memo.  The stack is not popped.
   ...
   51: b    BUILD                        Finish building an object, via __setstate__ or dict update.
   52: .    STOP                         Stop the unpickling machine.
highest protocol among opcodes = 2
解决方案

您可以使用多种解决方案:

    不要序列化__main__模块中定义的类的实例.最简单,最好的解决方案.而是将这些类移动到另一个模块,或编写一个main.py脚本来调用您的程序(两者都意味着在__main__模块中不再找到这样的类).

    写一个定制的derserialiser

    编写自定义序列化程序

以下解决方案将使用out.pkl由以下代码创建的pickle文件(在名为的文件中program.py):

import pickle

class MyClass:
    def __init__(self, name):
        self.name = name

if __name__ == '__main__':
    o = MyClass('test')
    with open('out.pkl', 'wb') as f:
        pickle.dump(o, f)

Custom Deserialiser解决方案

您可以编写一个客户反序列化器,它知道何时遇到__main__模块的引用您真正的意思是program模块.

import pickle

class MyCustomUnpickler(pickle.Unpickler):
    def find_class(self, module, name):
        if module == "__main__":
            module = "program"
        return super().find_class(module, name)

with open('out.pkl', 'rb') as f:
    unpickler = MyCustomUnpickler(f)
    obj = unpickler.load()

print(obj)
print(obj.name)

这是加载已创建的pickle文件的最简单方法.该程序是它将责任推到反序列化代码上,当序列化代码真正负责正确创建pickle文件时.

自定义序列化解决方案

与之前的解决方案相比,您可以确保任何人都可以轻松地对序列化的pickle对象进行反序列化,而无需了解自定义反序列化逻辑.为此,您可以使用该copyreg模块来通知pickle如何反序列化各种类.所以在这里,你要做的就是告诉pickle我们将所有__main__类的实例反序列化,就好像它们是program类的实例一样.您需要为每个类注册一个自定义序列化程序

import program
import pickle
import copyreg

class MyClass:
    def __init__(self, name):
        self.name = name

def pickle_MyClass(obj):
    assert type(obj) is MyClass
    return program.MyClass, (obj.name,)

copyreg.pickle(MyClass, pickle_MyClass)

if __name__ == '__main__':
    o = MyClass('test')
    with open('out.pkl', 'wb') as f:
        pickle.dump(o, f)


推荐阅读
  • 深入理解Redis的数据结构与对象系统
    本文详细探讨了Redis中的数据结构和对象系统的实现,包括字符串、列表、集合、哈希表和有序集合等五种核心对象类型,以及它们所使用的底层数据结构。通过分析源码和相关文献,帮助读者更好地理解Redis的设计原理。 ... [详细]
  • 本文详细介绍了在 Windows 2000 系统中启用 TELNET 服务时需要注意的 NTLM 配置问题,帮助用户解决常见的身份验证失败错误。 ... [详细]
  • 本文详细介绍了 org.apache.commons.io.IOCase 类中的 checkCompareTo() 方法,通过多个代码示例展示其在不同场景下的使用方法。 ... [详细]
  • 在创建新的Android项目时,您可能会遇到aapt错误,提示无法打开libstdc++.so.6共享对象文件。本文将探讨该问题的原因及解决方案。 ... [详细]
  • JavaScript 基础语法指南
    本文详细介绍了 JavaScript 的基础语法,包括变量、数据类型、运算符、语句和函数等内容,旨在为初学者提供全面的入门指导。 ... [详细]
  • 在 Flutter 开发过程中,开发者经常会遇到 Widget 构造函数中的可选参数 Key。对于初学者来说,理解 Key 的作用和使用场景可能是一个挑战。本文将详细探讨 Key 的概念及其应用场景,并通过实例帮助你更好地掌握这一重要工具。 ... [详细]
  • Startup 类配置服务和应用的请求管道。Startup类ASP.NETCore应用使用 Startup 类,按照约定命名为 Startup。 Startup 类:可选择性地包括 ... [详细]
  • 本文详细介绍了如何准备和安装 Eclipse 开发环境及其相关插件,包括 JDK、Tomcat、Struts 等组件的安装步骤及配置方法。 ... [详细]
  • 本文详细介绍了 JavaScript 中类 (class) 的基本语法、定义方式、属性保护方法、私有属性的实现以及继承机制。通过具体的代码示例和详细的解释,帮助开发者更好地掌握 JavaScript 类的相关知识。 ... [详细]
  • 20100423:Fixes:更新批处理,以兼容WIN7。第一次系统地玩QT,于是诞生了此预备式:【QT版本4.6.0&#x ... [详细]
  • Struts与Spring框架的集成指南
    本文详细介绍了如何将Struts和Spring两个流行的Java Web开发框架进行整合,涵盖从环境配置到代码实现的具体步骤。 ... [详细]
  • 在Oracle数据库中,使用Dbms_Output.Put_Line进行输出调试时,若单行字符超过255个,则会遇到ORA-20000错误。本文介绍了一种有效的方法来处理这种情况,通过创建自定义包和视图,实现对长字符串的分割和正确输出。 ... [详细]
  • 反向投影技术主要用于在大型输入图像中定位特定的小型模板图像。通过直方图对比,它能够识别出最匹配的区域或点,从而确定模板图像在输入图像中的位置。 ... [详细]
  • 本文介绍了一个SQL Server自定义函数,用于从字符串中提取仅包含数字和小数点的子串。该函数通过循环删除非数字字符来实现,并附带创建测试表、存储过程以演示其应用。 ... [详细]
  • 解决Anaconda安装TensorFlow时遇到的TensorBoard版本问题
    本文介绍了在使用Anaconda安装TensorFlow时遇到的“Could not find a version that satisfies the requirement tensorboard”错误,并提供详细的解决方案,包括创建虚拟环境和配置PyCharm项目。 ... [详细]
author-avatar
留心6_136
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有