0

0

图片迟迟加载不了、一片马赛克?谷歌开源模型优先显示图像受关注部分

WBOY

WBOY

发布时间:2023-04-13 17:10:03

|

1177人浏览过

|

来源于51CTO.COM

转载

当观察一副图像时,你会先注意图像的哪些内容,或者说图像中的哪些区域会首先吸引你的注意力,机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中,他们开源的注意力中心模型(attention center model)可以做到这一点。并且该模型可用于 JPEG XL 图像格式上。

举例来说,下图是注意力中心模型的一些预测示例,其中绿点为预测的图像的注意力中心点。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

图像来自 Kodak 图像数据集:http://r0k.us/graphics/kodak/

注意力中心模型大小为 2MB,格式为 TensorFlow Lite。它以 RGB 图像作为输入,并输出一个 2D 点,该点是图像上的预测注意力中心点。

为了训练模型来预测注意力中心,首先需要一些来自注意力中心的真实数据。给定一张图像,一些注意力点可以通过眼动仪收集,或者通过鼠标点击图像来接近。该研究首先对这些注意点进行时间滤波,只保留最初的注意力点,然后应用空间滤波去除噪声。最后,计算剩余注意力点的中心作为真值注意力中心。下面显示了获取真值过程的示例说明图。

图片

项目地址:https://github.com/google/attention-center

注意力中心模型架构

注意力中心模型是一个深度神经网络,以一张图像为输入,使用预训练分类网络如 ResNet、MobileNet 等作为骨干。从骨干网络输出的几个中间层被用作注意力中心预测模块的输入。这些不同的中间层包含不同的信息,例如,浅层通常包含较低层次的信息,如强度 / 颜色 / 纹理,而更深层次通常包含更高、更语义的信息,如形状 / 目标。

注意中心预测采用卷积、反卷积调整算子,并结合聚合和 sigmoid 函数,生成注意力中心的权重图。然后一个算子(在例子中是爱因斯坦求和算子)可用于从加权图中计算中心。预测注意力中心和真实注意力中心之间的 L2 范数作为训练损失。

图片

此外 JPEG XL 是一种新的图像格式,允许用户在对图像编码时,确保有趣的部分率先显示。这样做的好处是,当用户在网上浏览图像时,图像中吸引人的部分可以率先显示出来,也就是用户首先看到的部分,在理想情况下,一旦用户看向图片其余地方时,图像的其他部分也已经就位并已解码。

在 JPEG XL 中,图像通常被划分为大小为 256 x 256 的矩阵, JPEG XL 编码器将在图像中选择一个起始组,然后围绕该组生成同心正方形。Chrome 浏览器从 107 版增加了对 JPEG XL 图像的渐进解码功能。目前,JPEG XL 还是一个实验性的产物,在 chrome://flags 中通过搜索 jxl 即可启用。

要想了解渐进式加载 JPEG XL 图像的效果,可以访问网址进行查看:

秘塔AI搜索
秘塔AI搜索

秘塔AI搜索,没有广告,直达结果

下载

https://google.github.io/attention-center/

相关文章

谷歌浏览器
谷歌浏览器

谷歌浏览器Google Chrome是一款可让您更快速、轻松且安全地使用网络的浏览器。Google Chrome的设计超级简洁,使用起来得心应手。这里提供了谷歌浏览器纯净安装包,有需要的小伙伴快来保存下载体验吧!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C++ 高级模板编程与元编程
C++ 高级模板编程与元编程

本专题深入讲解 C++ 中的高级模板编程与元编程技术,涵盖模板特化、SFINAE、模板递归、类型萃取、编译时常量与计算、C++17 的折叠表达式与变长模板参数等。通过多个实际示例,帮助开发者掌握 如何利用 C++ 模板机制编写高效、可扩展的通用代码,并提升代码的灵活性与性能。

10

2026.01.23

php远程文件教程合集
php远程文件教程合集

本专题整合了php远程文件相关教程,阅读专题下面的文章了解更多详细内容。

29

2026.01.22

PHP后端开发相关内容汇总
PHP后端开发相关内容汇总

本专题整合了PHP后端开发相关内容,阅读专题下面的文章了解更多详细内容。

21

2026.01.22

php会话教程合集
php会话教程合集

本专题整合了php会话教程相关合集,阅读专题下面的文章了解更多详细内容。

21

2026.01.22

宝塔PHP8.4相关教程汇总
宝塔PHP8.4相关教程汇总

本专题整合了宝塔PHP8.4相关教程,阅读专题下面的文章了解更多详细内容。

13

2026.01.22

PHP特殊符号教程合集
PHP特殊符号教程合集

本专题整合了PHP特殊符号相关处理方法,阅读专题下面的文章了解更多详细内容。

11

2026.01.22

PHP探针相关教程合集
PHP探针相关教程合集

本专题整合了PHP探针相关教程,阅读专题下面的文章了解更多详细内容。

8

2026.01.22

菜鸟裹裹入口以及教程汇总
菜鸟裹裹入口以及教程汇总

本专题整合了菜鸟裹裹入口地址及教程分享,阅读专题下面的文章了解更多详细内容。

55

2026.01.22

Golang 性能分析与pprof调优实战
Golang 性能分析与pprof调优实战

本专题系统讲解 Golang 应用的性能分析与调优方法,重点覆盖 pprof 的使用方式,包括 CPU、内存、阻塞与 goroutine 分析,火焰图解读,常见性能瓶颈定位思路,以及在真实项目中进行针对性优化的实践技巧。通过案例讲解,帮助开发者掌握 用数据驱动的方式持续提升 Go 程序性能与稳定性。

9

2026.01.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Django 教程
Django 教程

共28课时 | 3.4万人学习

Go 教程
Go 教程

共32课时 | 4.1万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 2.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号