北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

WBOY

发布时间：2023-09-11 18:53:07

830人浏览过

来源于机器之心

转载

近年来，针对视觉感知系统安全性评估的探索逐步深入，先后有研究者成功实现基于眼镜、贴纸、衣服等不同载体的可见光模态安全评估技术，也有一些针对红外模态的新尝试。但是它们都只能作用于单一模态。

随着人工智能技术的发展，可见光 - 热红外成像技术已同时应用于治安监控、自动驾驶等诸多安全关键任务中，其中可见光成像可以在白天提供丰富的纹理信息，红外成像则可以在夜间清晰显示目标的热辐射分布，二者结合更为视觉感知系统带来 24 小时全覆盖和不受环境局限等诸多优势。因此，针对多模态视觉感知系统的统一安全评估方法也亟须研究。

然而，实现多模态评估极具挑战性。首先，在不同成像机制下攻击方法通用难。以前的方法都分别基于特定目标模态成像特点提出，在其他模态下很难起到作用。再者，平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易，实现低成本便捷制作与使用更是难上加难。

面对诸多挑战，来自北航人工智能研究院的研究者挖掘可见光 - 红外模态间通用的形状属性，创新性地提出「跨模态通用对抗补丁」，实现可见光 - 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片，即拆即用，在填补当前物理世界可见光 - 红外多模态检测系统鲁棒性评估技术缺失的同时，兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性，以及多场景下的泛化性。目前，该论文已被 ICCV 2023 接收。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

甲骨文AI协同平台

专门用于甲骨文研究的革命性平台

下载

论文链接：https://arxiv.org/abs/2307.07859

代码链接：https://github.com/Aries-iai/Cross-modal_Patch_Attack

技术要点

该研究以进化算法为基础框架，立足形状建模、形状优化、模态平衡三个角度进行方案设计与效果改进，具体流程如图所示：

1. 基于样条插值的多锚点形状建模

对于基础形状建模部分，研究人员设计点优化建模新范式，其可通过改变点坐标直接调整补丁形状，此过程中锚点的运动不会受方向、距离等限制，有效增大了补丁形状的搜索空间。在此基础上，为了确保形状自然性，其还利用样条插值方法实现平滑连接，样条会更紧密地跟随控制点。

2. 基于差分进化的边界限定形状优化算法

实现攻击需要有效的优化手段，为此研究人员从时间成本、实际效果等角度考量，以进化算法作为基本框架，并从边界设定、适应度函数两个角度改进：

（1）边界设定：针对锚点进行边界设定提高形变有效性，降低时间成本。其具有以下设定：不会在曲线段内形成循环或自交；在曲线段内不容易出现尖点；不会出现在无效区域。

以锚点

为例，下图蓝色部分为边界设定图例，橙色部分为错误实例：

关于锚点

的边界判定

数学表达如下所示：

（2）适应度函数：不同于前人工作仅针对于单个模态进行攻击评估，本文工作聚焦于可见光 - 红外两个模态，天然存在平衡模态效果差异的问题。因此为了避免走向易优化单一模态极端，研究人员创新性提出了基于检测器置信度得分感知的跨模态适应度函数，鼓励探索成功方向的同时平衡两模态效果差异，最后根据评分优胜劣汰。考虑到初始阶段和后期阶段攻击难度的不同，其使用指数函数代替线性函数，更加突出不同阶段攻击进度的差异性。

算法迭代该探索过程直至两模态都攻击成功，输出最优形状策略。完整优化流程如下所示：

实验结果

实验一：针对不同系列检测器的跨模态攻击性能验证

实验二：针对形状的消融实验

实验三：针对跨模态适应度函数的消融实验

实验四：物理实施偏差下的方法鲁棒性验证

实验五：不同物理条件下的方法有效性验证

不同角度、距离、姿势、场景下的性能验证可视化结果

总结

本文工作以自然形状优化为核心，将形变补丁与跨模态攻击相结合，设计了一种物理环境下可见光 - 红外多模态鲁棒性评估方法。该方法可对多模态（可见光 - 红外）目标检测系统的鲁棒性进行评估，根据评估结果有效修正检测器模型，同时提高可见光、红外两种模态下目标图像检测的准确性，在物理环境下做到真正的可实施、可应用，为多模态检测系统的鲁棒性评估与改进作出贡献。

Stable Diffusion如何安装ControlNet插件？SD精准控图模型配置方法【攻略】

DeepSeek生成代码时如何避免逻辑漏洞_要求AI在输出前先进行自我逻辑推演和边缘测试

Stable Diffusion的ControlNet是什么？精准控制AI绘画姿势教程

ChatGPT长文本提示词怎么分段_处理超长内容策略【管理】

如何辨别图片是AI生成的？5个实用技巧分享

相关专题

页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章，大家可以免费体验。

403

2023.08.14

人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容，供大家免费下载体验。

411

2023.08.17

人工智能的基本概念是什么

人工智能的英文缩写为AI，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

305

2024.01.09

人工智能不能取代人类的原因是什么

人工智能不能取代人类的原因包括情感与意识、创造力与想象力、伦理与道德、社会交往与沟通能力、灵活性与适应性、持续学习和自我提升等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

632

2024.09.10

Python 人工智能

本专题聚焦 Python 在人工智能与机器学习领域的核心应用，系统讲解数据预处理、特征工程、监督与无监督学习、模型训练与评估、超参数调优等关键知识。通过实战案例（如房价预测、图像分类、文本情感分析），帮助学习者全面掌握 Python 机器学习模型的构建与实战能力。

2025.10.21

http与https有哪些区别

http与https的区别：1、协议安全性；2、连接方式；3、证书管理；4、连接状态；5、端口号；6、资源消耗；7、兼容性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

1999

2024.08.16

Java JVM 原理与性能调优实战

本专题系统讲解 Java 虚拟机（JVM）的核心工作原理与性能调优方法，包括 JVM 内存结构、对象创建与回收流程、垃圾回收器（Serial、CMS、G1、ZGC）对比分析、常见内存泄漏与性能瓶颈排查，以及 JVM 参数调优与监控工具（jstat、jmap、jvisualvm）的实战使用。通过真实案例，帮助学习者掌握 Java 应用在生产环境中的性能分析与优化能力。

2026.01.20