python列表去重效率_你应该学会的python列表去重

列表去重是写Python脚本时常遇问题&＃xff0c;因为不管源数据来自哪里&＃xff0c;当我们转换成列表的方式时&＃xff0c;有可能预期的结果不是我们最终的结果&＃xff0c;最常见的就是列表中元素有重复&＃xff0c;这时候第一件事我们就要做去重处理&＃xff0c;我们先来个最简单的方式&＃xff0c;用python内置的数据类型set来实现。

假设我们的列表数据是这样的&＃xff1a;

level_names &＃61; [

u&＃39;Second Level&＃39;,

u&＃39;Second Level&＃39;,

u&＃39;Second Level&＃39;,

u&＃39;First Level&＃39;,

u&＃39;First Level&＃39;

]

1

2

3

4

5

6

7

level_names&＃61;[

u&＃39;Second Level&＃39;,

u&＃39;Second Level&＃39;,

u&＃39;Second Level&＃39;,

u&＃39;First Level&＃39;,

u&＃39;First Level&＃39;

]

因为集合的元素是不能重复的&＃xff0c;所以将列表转换成集合时&＃xff0c;会自动去掉重复的元素&＃xff0c;这就是基本原理&＃xff0c;代码如下&＃xff1a;

>>> the_list &＃61; set(level_names)

>>> print(the_list)

set([u&＃39;Second Level&＃39;, u&＃39;First Level&＃39;])

1

2

3

>>>the_list&＃61;set(level_names)

>>>print(the_list)

set([u&＃39;Second Level&＃39;,u&＃39;First Level&＃39;])

这种方式缺点是再转换成列表时无法保存之前的列表顺序&＃xff0c;如果没这个要求&＃xff0c;这种方式是最简答的&＃xff0c; 也许有的小伙伴觉得好简单呀&＃xff0c;这没什么技术含量吗&＃xff0c;没错&＃xff0c;所以一般面试题里让你列表去重一般会这么写&＃xff1a;

请写出列表去重的方法(不能用set)

人家写明不能用set了&＃xff0c;所以呢&＃xff0c;这招有时候还不能用&＃xff0c;那当然也难不倒我们&＃xff0c;我们还有其他方法。

我们都知道列表可以遍历&＃xff0c;能遍历问题也就简单了&＃xff0c;我们再定义空列表&＃xff0c;然后遍历有数据的列表&＃xff0c;再遍历时加一个判断&＃xff0c;如果在空列表里没有&＃xff0c;就加进去&＃xff0c;如果有了就丢掉&＃xff0c;代码如下&＃xff1a;

the_list &＃61; []

for level in level_names:

if level not in the_list:

the_list.append(level)

print(the_list)

1

2

3

4

5

the_list&＃61;[]

forlevelinlevel_names:

iflevelnotinthe_list:

the_list.append(level)

print(the_list)

大家觉得这种方式是不是还可以&＃xff0c;但这种方式对付一般的小列表是没问题的&＃xff0c;但如果遇到一个超级大列表&＃xff0c;也会力不从心&＃xff0c;因为在the_list列表变的非常大&＃xff0c;在判断时候会影响效率&＃xff0c;因为列表是按索引顺序去查找的&＃xff0c;当数据量很大时会变慢。

也许你要问了&＃xff0c;那我遇到大的列表咋办&＃xff1f; 有更牛掰点的方法吗&＃xff1f;当然有&＃xff0c;让我们继续&＃xff0c;既然在判断时用列表会影响效率&＃xff0c;那我们就转换一个思路&＃xff0c;我们用集合&＃xff0c;那你可能要问了&＃xff0c;那集合就快了?没错&＃xff0c;因为set使用的hash函数查找值&＃xff0c;虽然set无序&＃xff0c;但位置是固定的&＃xff0c;只需一次就可以查到特定元素是否存在&＃xff0c;网上有人做了列表和set的元素查找对比&＃xff0c;相同的数据条件下&＃xff0c;用list耗时16分钟&＃xff0c;用set耗时是52秒&＃xff0c;这一对比看出效果了吧&＃xff0c;别的不多说了&＃xff0c;贴代码&＃xff1a;

the_list &＃61; []

the_set &＃61; set()

for level in level_names:

if level not in the_set:

the_set.add(level)

the_list.append(level)

print(the_list)

1

2

3

4

5

6

7

the_list&＃61;[]

the_set&＃61;set()

forlevelinlevel_names:

iflevelnotinthe_set:

the_set.add(level)

the_list.append(level)

print(the_list)

列表去重的方法就介绍到这里&＃xff0c;欢迎转发~