0

0

微博为何让人上瘾?幕后推荐算法解密

WBOY

WBOY

发布时间:2023-04-10 18:21:03

|

1295人浏览过

|

来源于51CTO.COM

转载

2021年7月13日,劳累了一天的年轻人们,正准备躺平拿出手机,打开那熟悉的小破站App,一键三连自己最喜爱的up主的最新视频。

结果突然发现,自己的眼前一黑:

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

时隔一年,B站终于揭晓了这其中的奥秘:一个「诡计多端的0」。

图片

不过,你有没有想过,即便是经历着用户的疯狂涌入,为啥这个微博,它没崩呢?

图片

AI和微博有啥关系?

在揭开这个谜底之前,还需要从人工智能的发展说起。

7月27日,由中国互联网协会指导、微博和新浪新闻主办的「融合生态 价值共创」2022新智者大会顺利召开。

在「智驱万物:AI推动万物互联的加速到来」议题中,微博COO、新浪移动CEO、新浪AI媒体研究院院长王巍发表了题为《云为数智 技术融合应用 赋能微博复杂业务场景》的主题演讲。

王巍表示,如果我们回顾机器学习的发展历程,可以看出AI的总体发展趋势是:训练数据的海量化及多样化,AI模型的复杂化及通用化,算力的高效化及规模化。

图片

第一,是多模态数据融合。

随着5G的快速发展,图片、视频类型模态内容在网络内容中占比越来越高,所以进行模态融合非常必要。

对于微博来说,如果能同时对文本、图片、视频进行多模态融合,也就可以更好理解这条微博所讲的内容了。

第二,是超大规模图计算。

相对其他机器学习模型,超大规模图计算有个特殊的优势:通过信息在网络中的传递,促进信息的流动、汇聚与集成。

比如对于行为少的冷启动用户,我们可以通过他关注列表中的人,以及这些人发布的内容,通过信息传播来推导这个用户的兴趣。

图片

第三,是AI研发的哑铃模式。

目前的AI研发重点,一个是越来越大的超级大模型,一个是模型小型化技术。

我们都知道,目前随着模型参数规模越来越大,模型效果越来越好,高精度模型仍然在持续增大,比如2018年Google的Bert刚出来的时候,模型参数规模是3亿,不算太大,但是之后这个数字一直在飞速增长。

OpenAI研发的GPT-2模型,参数规模15亿,GPT-3模型,参数规模1750亿,而到了2021年Google发布的Switch Transformer,参数规模已经达到了1.6万亿。

图片

另一方面,虽然说模型越大效果越好,但是因为模型过大,有时会导致无法让实际应用落地。所以研发的另外一个重点,是将这些大模型小型化、轻量化,比如模型蒸馏、模型剪枝等技术。

第四,是AI模型从专用模型走向通用模型。

谷歌在2021年下半年公开了Pathways模型框架,首先提出了这一构想,希望通过构造一个通用的大模型,达到「一个模型做千万件事」的目标。

具体的思路是,不同任务数据输入后,通过路由算法,选择神经网络的部分路径,到达模型输出层。不同任务既有参数共享,也有任务独有的模型参数。

微博为何让人上瘾?幕后推荐算法解密

10亿节点+100亿边的超大规模图

为何讲了这么半天机器学习?因为接下来要登场的,就是「微博特色推荐系统」了。

众所周知,作为国内最大的社交媒体网络,微博目前的月活用户已经达到5.82亿了!这样大的用户规模,必然会让微博上的网络环境十分复杂。

再加上内容时效性强、多样性高,现在的网络大事都会第一时间在微博上引爆。

另外,微博面临的场景还很多元化,需要在关系流、热点流、视频流等众多场景中给用户分发他们感兴趣的「千人千面」的内容。

图片

我可以没有手指,但不能没有手机

面对复杂的业务场景,微博是怎样通过AI和大数据,做出能随机应变的推荐系统的呢?

一点PPT
一点PPT

一句话生成专业PPT,AI自动排版配图

下载

王巍向我们介绍说,微博推荐系统整体由三部分构成:内容理解、用户理解,以及推荐系统。

首先,是内容理解。

如果要想搞明白一个微博到底在说什么,仅仅理解文本内容是不够的,必须采用多模态理解技术,融合博文、图片、视频等多种媒体信息。

为此,微博训练了自己的微博多模态预训练模型,通过「对比学习」,用这种自监督学习方法,来进行多模态预训练。

下图的这例子就展示了微博是怎样利用自带的「话题」来自动构造训练数据的。

图片

比如,我们把两个都写着「训练中的拉什福德」的微博当作正例,随机选择一些不同话题的微博作为负例,这样就能自动构造训练数据。

对于某条微博,其中的文本内容通过Bert编码,图像和视频内容通过ViT编码,然后通过fusion子网络进行信息融合,形成微博的embedding编码。这就是一种预训练过程。

经过预训练,学好的微博编码器可以拿来对新的微博内容进行多模态编码,形成embedding,应用在推荐等下游任务中。

其次,在用户理解方面,微博采取了超大规模图计算,来更好地理解用户的阅读兴趣。毕竟微博自带社交媒体属性,天然地就和大规模图计算非常匹配。

利用用户和博文作为图中的节点,以用户间的关注关系、用户和博文的阅读及转评赞等互动行为构造图中的边,微博建立起了包含10亿规模节点、100亿规模边的超大规模图。

通过大规模图计算中的信息传播、汇聚和集成,形成表征用户兴趣的embedding向量,可以更好地理解用户兴趣。

如此一来,也就可以同时搞定用户之间的关注关系、用户和博文的转评赞等等的互动行为了。

在理解了用户在讲什么、理解了微博用户的兴趣之后,微博推荐系统就会将高质量的微博,个性化地分发给感兴趣的用户。

那么,如何在这种复杂场景下构造高效率的推荐系统呢?

微博采取的是采取了多场景建模的方式。最理想的情况是,只构建一个推荐模型,用它来服务多个场景。

那么如何表示场景间的共性和个性呢?可以通过网络参数在场景间共享,或者场景自己独享私有网络参数,来体现场景的共性与个性。

图片

比如这张模型图,在模型的底层特征输入层,以及网络中间的一部分「专家子网络」,这些网络参数是各个场景共享的;而其他子网络参数则是某个场景所独有的

通过这种方式,就能够通过一个模型服务多个场景,节省模型资源。

唐山事件:流量暴涨一倍怎么办?

现在,说回到最初的那个「悬念」上来。

对于微博来说,这个保不齐什么时候就会「炸」的热点,一直以来都是非常大的挑战。

比如,最近全民关注的「唐山事件」,事件当天的热点流量,比日常流量峰值翻了整整一倍。

图片

对此王巍表示,微博在很早就应用了微服务+Docker容器化技术,不仅提升服务运维的效率,而且还实现了服务动态扩缩容能力。当前,微博已经具备了10分钟调度超过一万台的扩容能力,可以有足够的服务器来应对热点流量。

此外,微博还建立了热点监测机制和热点联动体系,并通过微博自研的Weibo Mesh技术,实现不同服务间跨语言的高效调用,提升整体服务的性能,和联动扩容效率。

最后,微博采用了在离线实时混合部署技术。利用CPU实时抢占式调度技术与容器化技术相结合,实现微博服务在离线实时混合部署能力。

图片

综合了上面这些操作之后,在有热点流量来袭时,就可以秒级承接核心服务的热点流量了。最后,让我们再来回顾下互联网的发展历程。

如果说PC互联网是网络世界的开端,那么移动互联网的兴起则让我们将这无形的信息空间装进了口袋。随着大数据、云计算、人工智能等技术与移动互联网的叠加融合,我们进入了智能信息时代。

而现在,最火的话题就要数元宇宙了。从去年开始,元宇宙就引发了广泛的讨论,比如数字孪生、数字人、XR、区块链技术等。

王巍认为,目前基于AI、区块链、XR等前沿技术的应用场景,已经体现了一些元宇宙的雏形。诸如游戏、社交等领域,都是元宇宙非常好的应用场景,会引爆大家参与元宇宙的热情。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

46

2026.03.12

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

178

2026.03.11

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

51

2026.03.10

Kotlin Android模块化架构与组件化开发实践
Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开,重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析,帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系,提升团队协作效率与项目迭代速度。

92

2026.03.09

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

102

2026.03.06

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

227

2026.03.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

532

2026.03.04

AI安装教程大全
AI安装教程大全

2026最全AI工具安装教程专题:包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好,附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新,收藏这一篇就够了,让AI安装不再报错!

171

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Node.js 教程
Node.js 教程

共57课时 | 13.3万人学习

ASP 教程
ASP 教程

共34课时 | 5.9万人学习

Python 教程
Python 教程

共137课时 | 11.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号