python查找重复数据_在pythonndarray中查找重复行的索引

我编写了for循环以枚举包含n行28x28像素值的多维ndarray。在

我在寻找每一行被复制的索引和没有冗余的重复的索引。在

我发现了这个代码here(感谢unutbu)并修改了它以读取ndarray&＃xff0c;它70%的时间都能工作&＃xff0c;但是30%的时间它会将错误的图像识别为重复的。在

如何改进它来检测正确的行&＃xff1f;在def overlap_same(arr):

seen &＃61; []

dups &＃61; collections.defaultdict(list)

for i, item in enumerate(arr):

for j, orig in enumerate(seen):

if np.array_equal(item, orig):

dups[j].append(i)

break

else:

seen.append(item)

return dups

例如&＃xff0c;返回重叠同一(列车)返回&＃xff1a;

^{pr2}$

在matplotlib上绘制一些正确案例的示例可以得到&＃xff1a;fig &＃61; plt.figure()

a&＃61;fig.add_subplot(1,2,1)

plt.imshow(train[35])

a.set_title(&＃39;train[35]&＃39;)

a&＃61;fig.add_subplot(1,2,2)

plt.imshow(train[1815])

a.set_title(&＃39;train[1815]&＃39;)

plt.show

哪个是正确的

但是&＃xff1a;fig &＃61; plt.figure()

a&＃61;fig.add_subplot(1,2,1)

plt.imshow(train[3208])

a.set_title(&＃39;train[3208]&＃39;)

a&＃61;fig.add_subplot(1,2,2)

plt.imshow(train[4426])

a.set_title(&＃39;train[4426]&＃39;)

plt.show

不正确&＃xff0c;因为它们不匹配

样本数据(列车[&＃xff1a;3])array([[[-0.5 , -0.5 , -0.5 , ..., 0.48823529,

0.5 , 0.17058824],

[-0.5 , -0.5 , -0.5 , ..., 0.48823529,

0.5 , -0.0372549 ],

[-0.5 , -0.5 , -0.5 , ..., 0.5 ,

0.47647059, -0.24509804],

...,

[-0.49215686, 0.34705883, 0.5 , ..., -0.5 ,

-0.5 , -0.5 ],

[-0.31176472, 0.44901961, 0.5 , ..., -0.5 ,

-0.5 , -0.5 ],

[-0.11176471, 0.5 , 0.49215686, ..., -0.5 ,

-0.5 , -0.5 ]],

[[-0.24509804, 0.2764706 , 0.5 , ..., 0.5 ,

0.25294119, -0.36666667],

[-0.5 , -0.47254902, -0.02941176, ..., 0.20196079,

-0.46862745, -0.5 ],

[-0.49215686, -0.5 , -0.5 , ..., -0.47647059,

-0.5 , -0.49607843],

...,

[-0.49215686, -0.49607843, -0.5 , ..., -0.5 ,

-0.5 , -0.49215686],

[-0.5 , -0.5 , -0.26862746, ..., 0.13137256,

-0.46470588, -0.5 ],

[-0.30000001, 0.11960784, 0.48823529, ..., 0.5 ,

0.28431374, -0.24117647]],

[[-0.5 , -0.5 , -0.5 , ..., -0.5 ,

-0.5 , -0.5 ],

[-0.5 , -0.5 , -0.5 , ..., -0.5 ,

-0.5 , -0.5 ],

[-0.5 , -0.5 , -0.5 , ..., -0.5 ,

-0.5 , -0.5 ],

...,

[-0.5 , -0.5 , -0.5 , ..., 0.48431373,

0.5 , 0.31568629],

[-0.5 , -0.49215686, -0.5 , ..., 0.49215686,

0.5 , 0.04901961],

[-0.5 , -0.5 , -0.5 , ..., 0.04117647,

-0.17450981, -0.45686275]]], dtype&＃61;float32)