0

0

python如何判断文件夹内的重复图片

冷漠man

冷漠man

发布时间:2025-11-01 11:19:02

|

766人浏览过

|

来源于php中文网

原创

答案:通过计算图片哈希值可判断文件夹内是否有重复图片。1. 使用imagehash库的average_hash进行感知哈希比对,识别视觉相似图像;2. 用MD5哈希检测字节完全相同的文件;3. 统一转换为RGB模式后再计算哈希,解决不同格式但内容相同问题;4. 结合文件大小筛选、跳过特定文件、递归遍历子目录提升效率。根据需求选择合适方法即可准确找出重复图片。

python如何判断文件夹内的重复图片

判断文件夹内是否有重复图片,关键不是看文件名,而是比较图片内容是否相同。Python可以通过计算图片的哈希值来快速识别重复项。以下是几种实用方法:

1. 使用图像哈希(Image Hash)

将图片转换为哈希值,内容相同的图片哈希一致。常用的是感知哈希(Perceptual Hash),对轻微变化不敏感,适合找视觉上几乎一样的图。

# 安装依赖:pip install Pillow imagehash

示例代码:

import os
from PIL import Image
import imagehash
<p>def find_duplicate_images(folder_path):
hashes = {}
duplicates = []</p><pre class="brush:php;toolbar:false;">for filename in os.listdir(folder_path):
    filepath = os.path.join(folder_path, filename)
    if not os.path.isfile(filepath):
        continue

    try:
        with Image.open(filepath) as img:
            img_hash = imagehash.average_hash(img)

        if img_hash in hashes:
            duplicates.append((filename, hashes[img_hash]))
        else:
            hashes[img_hash] = filename
    except Exception as e:
        print(f"无法处理文件 {filename}: {e}")

return duplicates

立即学习Python免费学习笔记(深入)”;

运行后返回重复图片对,比如 ('pic2.jpg', 'pic1.jpg') 表示 pic2 和 pic1 内容重复。

2. 精确比对:使用MD5哈希

如果想找出完全一致的文件(字节级别相同),可以用文件的MD5值:

千问智学
千问智学

阿里旗下AI教育应用(原夸克学习APP)

下载
import os
import hashlib
<p>def get_file_hash(filepath):
with open(filepath, 'rb') as f:
return hashlib.md5(f.read()).hexdigest()</p><p>def find_exact_duplicates(folder_path):
hash_dict = {}
duplicates = []</p><pre class="brush:php;toolbar:false;">for filename in os.listdir(folder_path):
    filepath = os.path.join(folder_path, filename)
    if not os.path.isfile(filepath):
        continue

    file_hash = get_file_hash(filepath)
    if file_hash in hash_dict:
        duplicates.append((filename, hash_dict[file_hash]))
    else:
        hash_dict[file_hash] = filename

return duplicates

立即学习Python免费学习笔记(深入)”;

3. 处理不同格式但内容相同的图

有时同一张图保存为 .jpg 和 .png,内容一样但格式不同。这时用PIL加载后转成统一格式再哈希更可靠:

with Image.open(filepath) as img:
    img = img.convert('RGB')  # 统一颜色模式
    img_hash = imagehash.average_hash(img)

这样即使格式不同,只要视觉内容接近,也能识别为重复。

4. 提高效率的小技巧

  • 先按文件大小粗筛:大小不同的文件不可能完全一致
  • 跳过缩略图或特定名称文件(如 thumbs.db)
  • 支持子目录递归扫描时,用 os.walk() 替代 os.listdir()

基本上就这些。用 imagehash 最省事,准确率高;用 MD5 可以确保字节一致。根据需求选合适的方法就行。

相关文章

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习?python怎么入门?python在哪学?python怎么学才快?不用担心,这里为大家提供了python速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

373

2023.10.09

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

431

2024.12.20

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

793

2024.12.23

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

369

2025.07.23

Swift iOS架构设计与MVVM模式实战
Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践,系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例,帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

2

2026.03.03

C++高性能网络编程与Reactor模型实践
C++高性能网络编程与Reactor模型实践

本专题围绕 C++ 在高性能网络服务开发中的应用展开,深入讲解 Socket 编程、多路复用机制、Reactor 模型设计原理以及线程池协作策略。内容涵盖 epoll 实现机制、内存管理优化、连接管理策略与高并发场景下的性能调优方法。通过构建高并发网络服务器实战案例,帮助开发者掌握 C++ 在底层系统与网络通信领域的核心技术。

8

2026.03.03

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

68

2026.02.28

Golang 工程化架构设计:可维护与可演进系统构建
Golang 工程化架构设计:可维护与可演进系统构建

Go语言工程化架构设计专注于构建高可维护性、可演进的企业级系统。本专题深入探讨Go项目的目录结构设计、模块划分、依赖管理等核心架构原则,涵盖微服务架构、领域驱动设计(DDD)在Go中的实践应用。通过实战案例解析接口抽象、错误处理、配置管理、日志监控等关键工程化技术,帮助开发者掌握构建稳定、可扩展Go应用的最佳实践方法。

59

2026.02.28

Golang 性能分析与运行时机制:构建高性能程序
Golang 性能分析与运行时机制:构建高性能程序

Go语言以其高效的并发模型和优异的性能表现广泛应用于高并发、高性能场景。其运行时机制包括 Goroutine 调度、内存管理、垃圾回收等方面,深入理解这些机制有助于编写更高效稳定的程序。本专题将系统讲解 Golang 的性能分析工具使用、常见性能瓶颈定位及优化策略,并结合实际案例剖析 Go 程序的运行时行为,帮助开发者掌握构建高性能应用的关键技能。

46

2026.02.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号