当前位置：首页 > 脚本中心 > python > 详细页面

python按照list中字典的某key去重的示例代码

时间：2020-10-13来源：www.pcxitongcheng.com作者：电脑系统城

一、需求说明

当我们写爬虫的时候，经常会遇到json格式的数据，它通常是如下结构：

1
2
3
4 data = [{'name':'小K','score':100},
{'name':'小J','score':98},
{'name':'小Q','score':95},
{'name':'小K','score':100}]

很显然名字为小K的数据重复了，我们需要进行去重。通常对于list的去重，我们可以用set()函数，即：

1	`data` `=` `list(set(data))`

然而，运行之后你会发现它报错了：

list里的数据不能是dict类型，那么该怎么办呢？

二、我的解决方案

定义一个去重的函数即可，根据里面的某个key，对数据进行筛选去重：

1
2
3
4
5
6
7
8 def DelRepeat(data,key):
new_data = [] # 用于存储去重后的list
values = [] # 用于存储当前已有的值
for d in data:
if d[key] not in values:
new_data.append(d)
values.append(d[key])
return new_data