0

0

Linux sriov 的 VF 分配与 DPDK 应用在 Kubernetes 中的实践

舞姬之光

舞姬之光

发布时间:2026-02-17 15:31:47

|

327人浏览过

|

来源于php中文网

原创

vf需经sr-iov插件注册为扩展资源(如intel.com/sriov_net_0),pod须声明该资源、挂载/dev/vfio、启用特权或特定capabilities,并绕过cni直接通过hostnetwork/loadbalancer接入流量。

linux sriov 的 vf 分配与 dpdk 应用在 kubernetes 中的实践

VF 设备怎么被 Pod 正确识别并挂载

DPDK 应用在容器里跑不起来,八成卡在 VF 没进到 Pod 里。Kubernetes 默认不把 SR-IOV 设备当“可调度资源”处理,vfio-pci 驱动加载后,VF 只是 Linux 设备树里的一个节点,K8s 完全看不见。

必须靠 SR-IOV Network Device Plugin(官方维护的 k8s-sriov-network-device-plugin)把 VF 注册成扩展资源,比如 intel.com/sriov_net_0。它会扫描 /sys/class/net/ 下绑定 vfio-pci 的 VF 接口,生成节点标签和资源名。

  • 确保 VF 已用 echo "vfio-pci" > /sys/bus/pci/devices/0000:xx:yy.z/driver_overridebindvfio-pci,否则插件直接跳过
  • 插件 DaemonSet 必须用 hostNetwork: true,否则无法访问宿主机 PCI 设备路径
  • Pod 的 resources.limits["intel.com/sriov_net_0"] 值必须为 1(不能是 "1" 字符串),否则调度失败且无明确报错

DPDK 应用启动时找不到 VF PCI 地址

即使 VF 进了 Pod,dpdk-devbind.py -s 看不到设备,或 rte_eal_init()EAL: Couldn't get fd on hugepage fileNo probed devices,本质是容器没拿到 VF 的 PCI 设备节点和 IOMMU 组权限。

VF 不是普通网卡——它需要完整的 PCI 设备文件(/dev/vfio/xxx)+ hugepage + udev 规则 + cgroup device 白名单,缺一不可。

  • Pod spec 中必须显式挂载 /dev/vfio 目录:volumeMounts: [{name: vfio, mountPath: /dev/vfio}],对应 volumes: [{name: vfio, hostPath: {path: /dev/vfio}}]
  • 启用 securityContext.privileged: true(DPDK 早期版本绕不开);若用较新 DPDK(22.11+)且内核支持,可改用 capabilities: {add: ["SYS_ADMIN", "IPC_LOCK"]} + 显式 device_cgroup_rules
  • 确保宿主机已开启 IOMMU(intel_iommu=onamd_iommu=on),且 vfio-pci 在 initramfs 里加载(否则重启后 VF 绑定丢失)

Kubernetes Service 和 CNI 怎么绕过 VF 流量

VF 被 Pod 独占后,传统 CNI(如 Calico、Cilium)的 veth pair、iptables、eBPF 转发全部失效。Service ClusterIP 流量不会自动进入 VF,更不会被 DPDK 应用收到。

Heeyo
Heeyo

Heeyo:AI儿童启蒙陪伴师,风靡于硅谷的儿童AI导师和玩伴

下载

这不是配置问题,是架构冲突:DPDK 绕过内核协议栈,而 K8s Service 依赖内核 netfilter。想让外部流量进 VF,只能走外部负载均衡或 HostPort + 物理网络直通。

  • 不要给 DPDK Pod 配 service: ClusterIP,它根本收不到请求;可用 type: LoadBalancer 并配合 MetalLB 或硬件 LB 将流量导向宿主机物理端口
  • 若需同节点其他 Pod 访问该 DPDK 服务,必须走 HostNetwork + NodePort,并在宿主机上用 iptables DNAT 把目标端口映射到 VF 绑定的物理 IP(注意:不是容器 IP)
  • CNI 插件如 multus 可为 Pod 添加第二接口(例如 macvlan 到 VF 所在物理网卡),但该接口仍需 DPDK 应用自己调用 rte_eth_dev_start() 启用,CNI 不参与数据面

VF 数量变化时 Pod 调度失败却没提示

宿主机上增删 VF(echo 4 > /sys/class/net/enp1s0f0/device/sriov_numvfs)后,kubectl describe nodeintel.com/sriov_net_0 的 Allocatable 数没更新,旧 Pod 可能卡在 Pending,新 Pod 调度失败但事件里只显示 “0/1 nodes are available”,完全不提 SR-IOV 资源不足。

因为 Device Plugin 不监听 sysfs 变化,只在启动时扫描一次。手动触发重发现必须删掉插件的 DaemonSet 再重装,或者用它的 rescan 接口(如果启用了 HTTP endpoint)。

  • 上线前务必固定 VF 数量,避免运行时调整;生产环境建议用 modprobe.conf 设置 options ixgbe max_vfs=4 等参数固化
  • 检查 Device Plugin 日志:kubectl logs -n kube-system ds/sriov-network-device-plugin -c sriov-network-device-plugin | grep -i "found.*vf",确认实际发现数量
  • 别依赖 kubectl top node 查 SR-IOV 资源,它只显示 CPU/Mem;要用 kubectl describe nodeCapacityAllocatable 下的自定义资源行

VF 生命周期和内核驱动状态强耦合,任何一步绑定失败都不会抛出清晰错误,而是静默降级到普通网卡模式——这时候 DPDK 应用可能还在跑,但早已不在预期的数据路径上。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

553

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

216

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1553

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

640

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

945

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

876

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

185

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

89

2025.08.07

pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

462

2026.02.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 9.3万人学习

Git 教程
Git 教程

共21课时 | 3.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号