delhpi7tcombobox清楚重复项_重复数据问题重要性从未改变，3种方法清楚认识python如何处理...

前言

数据的价值在当今社会被大众广泛认知&＃xff0c;特别是在互联网行业&＃xff0c;数据价值的媒介被不断探索、发现、沉淀&＃xff0c;最后进行价值输出。在普通大众眼里&＃xff0c;可能对大数据的概念并不熟悉&＃xff0c;但是其社会行动及日常生活却被大数据仅仅围绕。比如&＃xff0c;现在渗透率极高对电商行业&＃xff0c;出行等&＃xff0c;一些服务方式正是通过大数据手段来实现的。

大数据概念一度被热议&＃xff0c;且具有争议。小编比较认同的一个概念是&＃xff0c;大数据指的是内存中无法存储下的数据&＃xff0c;比较模糊&＃xff0c;至少觉得比用数据量来衡量更好&＃xff0c;原因是数据量是个相对概念&＃xff0c;存疑点较多。

无论是大数据还是其他&＃xff0c;数据是基础&＃xff0c;这是毋庸置疑的。结构化数据、非结构化数据或半结构化数据&＃xff0c;三种数据类型想必大家是经常听说的。那么&＃xff0c;于此之前&＃xff0c;一个重要的环节则是数据采集&＃xff0c;采集来的数据针对不同的类型&＃xff0c;存储到不同的数据库中。数据库类型中常用的结构化数据库有MySQL&＃xff0c;非结构化数据库有MongoDB、HBase等。

数据采集后&＃xff0c;接下来更为重要的是数据处理&＃xff0c;此环节关乎数据质量以及后期的数据应用、数据可视化、机器学习、深度学习等。

数据处理涉及的内容叶较为丰富&＃xff0c;比如缺失值、异常值、重复数据等。拥有数据处理能力的工具和语言也比较丰富&＃xff0c;如SPSS、SAS、R语言、Python语言等。

小编接下来使用python语言&＃xff0c;分享重复数据处理方法。大家可能会认为&＃xff0c;重复数据耳熟能详&＃xff0c;很简单啊。如果以往未进行细致研究的人&＃xff0c;若有此类观点&＃xff0c;接下来的内容会其则是有助益的。

什么是重复数据&＃xff1f;

在日常的数据采集中&＃xff0c;经常会发现重复数据&＃xff0c;那么什么是重复数据呢&＃xff1f;我们通过一个例子来直观感受一下。

我们以python 包pandas 数据结构为例&＃xff0c;来看重复数据处理问题。小编在下文生成来一份data数据&＃xff0c;具体如下&＃xff1a;

对于上述data数据集进行重复数据统计视图&＃xff0c;以柱状图的方式直观查看数据重复情况&＃xff0c;具体如下图所示&＃xff1a;

从上文数据中&＃xff0c;我们可以发现k1&＃61;‘one’且k2&＃61;1的数据有两条&＃xff0c;k1&＃61;‘two’且k2&＃61;3的数据有两条&＃xff0c;k1&＃61;‘two’且k2&＃61;4的数据有两条&＃xff0c;这三类都是data数据集中的重复数据。大家可能认为&＃xff0c;有重复数据有什么问题&＃xff1f;在一些数据分析场景中&＃xff0c;重复数据会影响数据分析结果&＃xff0c;以及反应客观现实的准确性。

话不多说&＃xff0c;接下来&＃xff0c;小编带领大家一起来学习如何通过python语言&＃xff0c;进行重复数据处理&＃xff0c;主要通过三步法来完成&＃xff0c;分别为判断重复行、删除重复行、保留最后一个。

重复数据处理三方法

python处理重复数据的三方法&＃xff0c;具体如下图所示&＃xff1a;

第一&＃xff1a;判断重复行

DataFrame的duplicated方法返回一个布尔型Series&＃xff0c;表示各行是否是重复行&＃xff1a;

第二&＃xff1a;删除重复行

还有一个与此相关的drop_duplicates方法&＃xff0c;它用于返回一个移除了重复行的DataFrame&＃xff1a;

这两个方法默认会判断全部列&＃xff0c;也可以指定部分列进行重复项判断&＃xff0c;假设还有一列值&＃xff0c;且只希望根据k1列过滤重复项&＃xff1a;

第三&＃xff1a;保留最后一个

Duplicated和drop_duplicates默认保留的是第一个出现的值组合。传入take_last&＃61;True则保留最后一个&＃xff1a;

总结

重复数据问题重要性从未改变&＃xff0c;3种方法清楚认识python如何处理重复数据。python处理重复数据方法简单、方便、快捷、灵活性强&＃xff0c;大家不妨亲自体验一下&＃xff0c;更多分享内容&＃xff0c;可关注小编&＃xff0c;感谢&＃xff01;