PandasDataFrame中去除重复记录的方法详解

1. 使用duplicated()方法检测重复项

在Pandas中，可以通过`duplicated()`方法来检查DataFrame中的行是否有重复。此方法会返回一个布尔值的Series，其中True表示该行存在重复，而False则表示没有重复。

2. 利用drop_duplicates()方法删除重复行

`drop_duplicates()`方法能够直接从DataFrame中移除重复的数据行，并返回一个新的DataFrame，其中只包含第一次出现的行（即`duplicated()`方法返回False的那些行）。

若需查看哪些具体行被标记为重复或未重复，可以在调用`duplicated()`或`drop_duplicates()`时指定额外的参数，如列名列表等。


默认情况下，这两个方法都会保留首次出现的重复项。如果希望保留最后一次出现的重复项，可以通过设置`keep='last'`参数实现。