热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Python爬虫技术基础篇面向对象高级编程(中)的多重继承

本文介绍了Python爬虫技术基础篇面向对象高级编程(中)中的多重继承概念。通过继承,子类可以扩展父类的功能。文章以动物类层次的设计为例,讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例,以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。

1.多重继承

继承是面向对象编程的一个重要的方式,因为通过继承,子类就可以扩展父类的功能。

回忆一下Animal类层次的设计,假设我们要实现以下4种动物:

Dog - 狗狗;

Bat - 蝙蝠;

Parrot - 鹦鹉;

Ostrich - 鸵鸟。

如果按照哺乳动物和鸟类归类,我们可以设计出这样的类的层次:

但是如果按照“能跑”和“能飞”来归类,我们就应该设计出这样的类的层次:

如果要把上面的两种分类都包含进来,我们就得设计更多的层次:

哺乳类:能跑的哺乳类,能飞的哺乳类;

鸟类:能跑的鸟类,能飞的鸟类。

这么一来,类的层次就复杂了:

如果要再增加“宠物类”和“非宠物类”,这么搞下去,类的数量会呈指数增长,很明显这样设计是不行的。

正确的做法是采用多重继承。首先,主要的类层次仍按照哺乳类和鸟类设计:

class Animal(object):

pass

# 大类:

class Mammal(Animal):

pass

class Bird(Animal):

pass

# 各种动物:

class Dog(Mammal):

pass

class Bat(Mammal):

pass

class Parrot(Bird):

pass

class Ostrich(Bird):

pass

现在,我们要给动物再加上Runnable和Flyable的功能,只需要先定义好Runnable和Flyable的类:

class Runnable(object):

def run(self):

print('Running...')

class Flyable(object):

def fly(self):

print('Flying...')

对于需要Runnable功能的动物,就多继承一个Runnable,例如Dog:

class Dog(Mammal, Runnable):

pass

对于需要Flyable功能的动物,就多继承一个Flyable,例如Bat:

class Bat(Mammal, Flyable):

pass

通过多重继承,一个子类就可以同时获得多个父类的所有功能。

MixIn

在设计类的继承关系时,通常,主线都是单一继承下来的,例如,Ostrich继承自Bird。但是,如果需要“混入”额外的功能,通过多重继承就可以实现,比如,让Ostrich除了继承自Bird外,再同时继承Runnable。这种设计通常称之为MixIn。

为了更好地看出继承关系,我们把Runnable和Flyable改为RunnableMixIn和FlyableMixIn。类似的,你还可以定义出肉食动物CarnivorousMixIn和植食动物HerbivoresMixIn,让某个动物同时拥有好几个MixIn:

class Dog(Mammal, RunnableMixIn, CarnivorousMixIn):

pass

MixIn的目的就是给一个类增加多个功能,这样,在设计类的时候,我们优先考虑通过多重继承来组合多个MixIn的功能,而不是设计多层次的复杂的继承关系。

Python自带的很多库也使用了MixIn。举个例子,Python自带了TCPServer和UDPServer这两类网络服务,而要同时服务多个用户就必须使用多进程或多线程模型,这两种模型由ForkingMixIn和ThreadingMixIn提供。通过组合,我们就可以创造出合适的服务来。

比如,编写一个多进程模式的TCP服务,定义如下:

class MyTCPServer(TCPServer, ForkingMixIn):

pass

编写一个多线程模式的UDP服务,定义如下:

class MyUDPServer(UDPServer, ThreadingMixIn):

pass

如果你打算搞一个更先进的协程模型,可以编写一个CoroutineMixIn:

class MyTCPServer(TCPServer, CoroutineMixIn):

pass

这样一来,我们不需要复杂而庞大的继承链,只要选择组合不同的类的功能,就可以快速构造出所需的子类。

小结

由于Python允许使用多重继承,因此,MixIn就是一种常见的设计。

只允许单一继承的语言(如Java)不能使用MixIn的设计。

2.定制类

看到类似__slots__这种形如__xxx__的变量或者函数名就要注意,这些在Python中是有特殊用途的。

__slots__我们已经知道怎么用了,__len__()方法我们也知道是为了能让class作用于len()函数。

除此之外,Python的class中还有许多这样有特殊用途的函数,可以帮助我们定制类。

__str__

我们先定义一个Student类,打印一个实例:

>>> class Student(object):

... def __init__(self, name):

... self.name = name

...

>>> print(Student('Michael'))

打印出一堆<__main__.student object at>&#xff0c;不好看。

怎么才能打印得好看呢&#xff1f;只需要定义好__str__()方法&#xff0c;返回一个好看的字符串就可以了&#xff1a;

>>> class Student(object):

... def __init__(self, name):

... self.name &#61; name

... def __str__(self):

... return &#39;Student object (name: %s)&#39; % self.name

...

>>> print(Student(&#39;Michael&#39;))

Student object (name: Michael)

这样打印出来的实例&#xff0c;不但好看&#xff0c;而且容易看出实例内部重要的数据。

但是细心的朋友会发现直接敲变量不用print&#xff0c;打印出来的实例还是不好看&#xff1a;

>>> s &#61; Student(&#39;Michael&#39;)

>>> s

这是因为直接显示变量调用的不是__str__()&#xff0c;而是__repr__()&#xff0c;两者的区别是__str__()返回用户看到的字符串&#xff0c;而__repr__()返回程序开发者看到的字符串&#xff0c;也就是说&#xff0c;__repr__()是为调试服务的。

解决办法是再定义一个__repr__()。但是通常__str__()和__repr__()代码都是一样的&#xff0c;所以&#xff0c;有个偷懒的写法&#xff1a;

class Student(object):

def __init__(self, name):

self.name &#61; name

def __str__(self):

return &#39;Student object (name&#61;%s)&#39; % self.name

__repr__ &#61; __str__

__iter__

如果一个类想被用于for ... in循环&#xff0c;类似list或tuple那样&#xff0c;就必须实现一个__iter__()方法&#xff0c;该方法返回一个迭代对象&#xff0c;然后&#xff0c;Python的for循环就会不断调用该迭代对象的__next__()方法拿到循环的下一个值&#xff0c;直到遇到StopIteration错误时退出循环。

我们以斐波那契数列为例&#xff0c;写一个Fib类&#xff0c;可以作用于for循环&#xff1a;

class Fib(object):

def __init__(self):

self.a, self.b &#61; 0, 1 # 初始化两个计数器a&#xff0c;b

def __iter__(self):

return self # 实例本身就是迭代对象&#xff0c;故返回自己

def __next__(self):

self.a, self.b &#61; self.b, self.a &#43; self.b # 计算下一个值

if self.a > 100000: # 退出循环的条件

raise StopIteration()

return self.a # 返回下一个值

现在&#xff0c;试试把Fib实例作用于for循环&#xff1a;

>>> for n in Fib():

... print(n)

...

1

1

2

3

5

...

46368

75025

__getitem__

Fib实例虽然能作用于for循环&#xff0c;看起来和list有点像&#xff0c;但是&#xff0c;把它当成list来使用还是不行&#xff0c;比如&#xff0c;取第5个元素&#xff1a;

>>> Fib()[5]

Traceback (most recent call last):

File "", line 1, in

TypeError: &#39;Fib&#39; object does not support indexing

要表现得像list那样按照下标取出元素&#xff0c;需要实现__getitem__()方法&#xff1a;

class Fib(object):

def __getitem__(self, n):

a, b &#61; 1, 1

for x in range(n):

a, b &#61; b, a &#43; b

return a

现在&#xff0c;就可以按下标访问数列的任意一项了&#xff1a;

>>> f &#61; Fib()

>>> f[0]

1

>>> f[1]

1

>>> f[2]

2

>>> f[3]

3

>>> f[10]

89

>>> f[100]

573147844013817084101

但是list有个神奇的切片方法&#xff1a;

>>> list(range(100))[5:10]

[5, 6, 7, 8, 9]

对于Fib却报错。原因是__getitem__()传入的参数可能是一个int&#xff0c;也可能是一个切片对象slice&#xff0c;所以要做判断&#xff1a;

class Fib(object):

def __getitem__(self, n):

if isinstance(n, int): # n是索引

a, b &#61; 1, 1

for x in range(n):

a, b &#61; b, a &#43; b

return a

if isinstance(n, slice): # n是切片

start &#61; n.start

stop &#61; n.stop

if start is None:

start &#61; 0

a, b &#61; 1, 1

L &#61; []

for x in range(stop):

if x >&#61; start:

L.append(a)

a, b &#61; b, a &#43; b

return L

现在试试Fib的切片&#xff1a;

>>> f &#61; Fib()

>>> f[0:5]

[1, 1, 2, 3, 5]

>>> f[:10]

[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

但是没有对step参数作处理&#xff1a;

>>> f[:10:2]

[1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]

也没有对负数作处理&#xff0c;所以&#xff0c;要正确实现一个__getitem__()还是有很多工作要做的。

此外&#xff0c;如果把对象看成dict&#xff0c;__getitem__()的参数也可能是一个可以作key的object&#xff0c;例如str。

与之对应的是__setitem__()方法&#xff0c;把对象视作list或dict来对集合赋值。最后&#xff0c;还有一个__delitem__()方法&#xff0c;用于删除某个元素。

总之&#xff0c;通过上面的方法&#xff0c;我们自己定义的类表现得和Python自带的list、tuple、dict没什么区别&#xff0c;这完全归功于动态语言的“鸭子类型”&#xff0c;不需要强制继承某个接口。

__getattr__

正常情况下&#xff0c;当我们调用类的方法或属性时&#xff0c;如果不存在&#xff0c;就会报错。比如定义Student类&#xff1a;

class Student(object):

def __init__(self):

self.name &#61; &#39;Michael&#39;

调用name属性&#xff0c;没问题&#xff0c;但是&#xff0c;调用不存在的score属性&#xff0c;就有问题了&#xff1a;

>>> s &#61; Student()

>>> print(s.name)

Michael

>>> print(s.score)

Traceback (most recent call last):

...

AttributeError: &#39;Student&#39; object has no attribute &#39;score&#39;

错误信息很清楚地告诉我们&#xff0c;没有找到score这个attribute。

要避免这个错误&#xff0c;除了可以加上一个score属性外&#xff0c;Python还有另一个机制&#xff0c;那就是写一个__getattr__()方法&#xff0c;动态返回一个属性。修改如下&#xff1a;

class Student(object):

def __init__(self):

self.name &#61; &#39;Michael&#39;

def __getattr__(self, attr):

if attr&#61;&#61;&#39;score&#39;:

return 99

当调用不存在的属性时&#xff0c;比如score&#xff0c;Python解释器会试图调用__getattr__(self, &#39;score&#39;)来尝试获得属性&#xff0c;这样&#xff0c;我们就有机会返回score的值&#xff1a;

>>> s &#61; Student()

>>> s.name

&#39;Michael&#39;

>>> s.score

99

返回函数也是完全可以的&#xff1a;

class Student(object):

def __getattr__(self, attr):

if attr&#61;&#61;&#39;age&#39;:

return lambda: 25

只是调用方式要变为&#xff1a;

>>> s.age()

25

注意&#xff0c;只有在没有找到属性的情况下&#xff0c;才调用__getattr__&#xff0c;已有的属性&#xff0c;比如name&#xff0c;不会在__getattr__中查找。

此外&#xff0c;注意到任意调用如s.abc都会返回None&#xff0c;这是因为我们定义的__getattr__默认返回就是None。要让class只响应特定的几个属性&#xff0c;我们就要按照约定&#xff0c;抛出AttributeError的错误&#xff1a;

class Student(object):

def __getattr__(self, attr):

if attr&#61;&#61;&#39;age&#39;:

return lambda: 25

raise AttributeError(&#39;\&#39;Student\&#39; object has no attribute \&#39;%s\&#39;&#39; % attr)

这实际上可以把一个类的所有属性和方法调用全部动态化处理了&#xff0c;不需要任何特殊手段。

这种完全动态调用的特性有什么实际作用呢&#xff1f;作用就是&#xff0c;可以针对完全动态的情况作调用。

举个例子&#xff1a;

现在很多网站都搞REST API&#xff0c;比如新浪微博、豆瓣啥的&#xff0c;调用API的URL类似&#xff1a;

http://api.server/user/friends

http://api.server/user/timeline/list

如果要写SDK&#xff0c;给每个URL对应的API都写一个方法&#xff0c;那得累死&#xff0c;而且&#xff0c;API一旦改动&#xff0c;SDK也要改。

利用完全动态的__getattr__&#xff0c;我们可以写出一个链式调用&#xff1a;

class Chain(object):

def __init__(self, path&#61;&#39;&#39;):

self._path &#61; path

def __getattr__(self, path):

return Chain(&#39;%s/%s&#39; % (self._path, path))

def __str__(self):

return self._path

__repr__ &#61; __str__

试试&#xff1a;

>>> Chain().status.user.timeline.list

&#39;/status/user/timeline/list&#39;

这样&#xff0c;无论API怎么变&#xff0c;SDK都可以根据URL实现完全动态的调用&#xff0c;而且&#xff0c;不随API的增加而改变&#xff01;

还有些REST API会把参数放到URL中&#xff0c;比如GitHub的API&#xff1a;

GET /users/:user/repos

调用时&#xff0c;需要把:user替换为实际用户名。如果我们能写出这样的链式调用&#xff1a;

Chain().users(&#39;michael&#39;).repos

就可以非常方便地调用API了。有兴趣的童鞋可以试试写出来。

__call__

一个对象实例可以有自己的属性和方法&#xff0c;当我们调用实例方法时&#xff0c;我们用instance.method()来调用。能不能直接在实例本身上调用呢&#xff1f;在Python中&#xff0c;答案是肯定的。

任何类&#xff0c;只需要定义一个__call__()方法&#xff0c;就可以直接对实例进行调用。请看示例&#xff1a;

class Student(object):

def __init__(self, name):

self.name &#61; name

def __call__(self):

print(&#39;My name is %s.&#39; % self.name)

调用方式如下&#xff1a;

>>> s &#61; Student(&#39;Michael&#39;)

>>> s() # self参数不要传入

My name is Michael.

__call__()还可以定义参数。对实例进行直接调用就好比对一个函数进行调用一样&#xff0c;所以你完全可以把对象看成函数&#xff0c;把函数看成对象&#xff0c;因为这两者之间本来就没啥根本的区别。

如果你把对象看成函数&#xff0c;那么函数本身其实也可以在运行期动态创建出来&#xff0c;因为类的实例都是运行期创建出来的&#xff0c;这么一来&#xff0c;我们就模糊了对象和函数的界限。

那么&#xff0c;怎么判断一个变量是对象还是函数呢&#xff1f;其实&#xff0c;更多的时候&#xff0c;我们需要判断一个对象是否能被调用&#xff0c;能被调用的对象就是一个Callable对象&#xff0c;比如函数和我们上面定义的带有__call__()的类实例&#xff1a;

>>> callable(Student())

True

>>> callable(max)

True

>>> callable([1, 2, 3])

False

>>> callable(None)

False

>>> callable(&#39;str&#39;)

False

通过callable()函数&#xff0c;我们就可以判断一个对象是否是“可调用”对象。

小结

Python的class允许定义许多定制方法&#xff0c;可以让我们非常方便地生成特定的类。



推荐阅读
  • 深入解析Spring启动过程
    本文详细介绍了Spring框架的启动流程,帮助开发者理解其内部机制。通过具体示例和代码片段,解释了Bean定义、工厂类、读取器以及条件评估等关键概念,使读者能够更全面地掌握Spring的初始化过程。 ... [详细]
  • 深入解析Java虚拟机(JVM)架构与原理
    本文旨在为读者提供对Java虚拟机(JVM)的全面理解,涵盖其主要组成部分、工作原理及其在不同平台上的实现。通过详细探讨JVM的结构和内部机制,帮助开发者更好地掌握Java编程的核心技术。 ... [详细]
  • 本文详细探讨了如何通过分析单个或多个线程在瓶颈情况下的表现,来了解处理器资源的消耗。无论是单进程还是多进程环境,监控关键指标如线程数量、占用时间及调度优先级等,有助于揭示潜在的性能问题。 ... [详细]
  • 深入解析SpringMVC核心组件:DispatcherServlet的工作原理
    本文详细探讨了SpringMVC的核心组件——DispatcherServlet的运作机制,旨在帮助有一定Java和Spring基础的开发人员理解HTTP请求是如何被映射到Controller并执行的。文章将解答以下问题:1. HTTP请求如何映射到Controller;2. Controller是如何被执行的。 ... [详细]
  • 在高并发需求的C++项目中,我们最初选择了JsonCpp进行JSON解析和序列化。然而,在处理大数据量时,JsonCpp频繁抛出异常,尤其是在多线程环境下问题更为突出。通过分析发现,旧版本的JsonCpp存在多线程安全性和性能瓶颈。经过评估,我们最终选择了RapidJSON作为替代方案,并实现了显著的性能提升。 ... [详细]
  • 在尝试使用C# Windows Forms客户端通过SignalR连接到ASP.NET服务器时,遇到了内部服务器错误(500)。本文将详细探讨问题的原因及解决方案。 ... [详细]
  • 采用IKE方式建立IPsec安全隧道
    一、【组网和实验环境】按如上的接口ip先作配置,再作ipsec的相关配置,配置文本见文章最后本文实验采用的交换机是H3C模拟器,下载地址如 ... [详细]
  • 二维几何变换矩阵解析
    本文详细介绍了二维平面上的三种常见几何变换:平移、缩放和旋转。通过引入齐次坐标系,使得这些变换可以通过统一的矩阵乘法实现,从而简化了计算过程。文中不仅提供了理论推导,还附有Python代码示例,帮助读者更好地理解这些概念。 ... [详细]
  • 本文介绍如何使用 Angular 6 的 HttpClient 模块来获取 HTTP 响应头,包括代码示例和常见问题的解决方案。 ... [详细]
  • 本文介绍了SVD(奇异值分解)和QR分解的基本原理及其在Python中的实现方法。通过具体代码示例,展示了如何使用这两种矩阵分解技术处理图像数据和计算特征值。 ... [详细]
  • 我有一个SpringRestController,它处理API调用的版本1。继承在SpringRestControllerpackagerest.v1;RestCon ... [详细]
  • 历经三十年的开发,Mathematica 已成为技术计算领域的标杆,为全球的技术创新者、教育工作者、学生及其他用户提供了一个领先的计算平台。最新版本 Mathematica 12.3.1 增加了多项核心语言、数学计算、可视化和图形处理的新功能。 ... [详细]
  • 在PHP后端开发中遇到一个难题:通过第三方类文件发送短信功能返回的JSON字符串无法解析。本文将探讨可能的原因并提供解决方案。 ... [详细]
  • 深入解析动态代理模式:23种设计模式之三
    在设计模式中,动态代理模式是应用最为广泛的一种代理模式。它允许我们在运行时动态创建代理对象,并在调用方法时进行增强处理。本文将详细介绍动态代理的实现机制及其应用场景。 ... [详细]
  • This post discusses an issue encountered while using the @name annotation in documentation generation, specifically regarding nested class processing and unexpected output. ... [详细]
author-avatar
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有